JP2020145538A - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP2020145538A JP2020145538A JP2019039428A JP2019039428A JP2020145538A JP 2020145538 A JP2020145538 A JP 2020145538A JP 2019039428 A JP2019039428 A JP 2019039428A JP 2019039428 A JP2019039428 A JP 2019039428A JP 2020145538 A JP2020145538 A JP 2020145538A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- image signal
- level
- edge enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 117
- 238000003672 processing method Methods 0.000 title claims 5
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 6
- 230000006866 deterioration Effects 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Abstract
Description
本発明は、撮像素子により撮像された画像信号を処理する技術に関する。 The present invention relates to a technique for processing an image signal captured by an image sensor.
従来、夜景や星空を撮影する場合には、機材の準備や撮影条件の設定などの事前準備が必要であった。一方、近年は夜景や星空を撮影しやすくするための撮影モードを搭載したデジタルカメラがあり、このカメラによれば、暗所でも適切な露出設定やピント位置で撮影でき、より手軽に撮影できるようになっている。さらにデジタルカメラには、天候や空の明るさなどの条件が悪い場合でも星を認識しやすいようにする星の強調処理等を画像処理にて施す機能を備えたものもある。また、特許文献1には、星の強調処理において、オーバーシュートとアンダーシュートを独立にゲインを制御して最適化する方法が開示されている。 In the past, when shooting a night view or a starry sky, it was necessary to prepare equipment and set shooting conditions in advance. On the other hand, in recent years, there is a digital camera equipped with a shooting mode to make it easier to shoot night views and starry sky. It has become. In addition, some digital cameras have a function of performing image processing such as star enhancement processing that makes it easier to recognize stars even when conditions such as weather and sky brightness are bad. Further, Patent Document 1 discloses a method of optimizing an overshoot and an undershoot by independently controlling the gain in the star enhancement process.
ここで、星強調処理のように、暗い背景の中に僅かに明るい点のような被写体が存在する場合の強調処理としては、例えばエッジ強調処理がある。しかしながら、暗い背景内の星のような被写体に対する強調処理として、通常の明るいシーンでのエッジ強調量と同等のエッジ強調処理を行った場合、例えば背景が特に暗い場合には、アンダーシュートがクリップされてしまい、被写体である星に対する強調効果が弱まってしまう。 Here, as the enhancement process when a subject such as a slightly bright spot exists in a dark background as in the star enhancement process, there is, for example, an edge enhancement process. However, when the edge enhancement process equivalent to the edge enhancement amount in a normal bright scene is performed as the enhancement process for a subject such as a star in a dark background, for example, when the background is particularly dark, the undershoot is clipped. This will weaken the emphasis effect on the subject star.
そこで、本発明は、アンダーシュートの目立たない強調処理を可能とし、また特に暗い背景であっても強調効果が弱まることのない強調処理を実現可能にすることを目的とする。 Therefore, an object of the present invention is to enable an inconspicuous enhancement process of undershoot, and to realize an enhancement process in which the enhancement effect is not weakened even in a particularly dark background.
本発明の画像処理装置は、画像信号の輝度レベルを調整するレベル調整手段と、前記画像信号にエッジ強調処理を施すエッジ強調手段と、を有し、前記エッジ強調手段は、前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理手段を含み、前記レベル調整手段は、前記画像信号の輝度レベルが閾値より低い場合には、前記画像信号の輝度レベルを上げるように調整してから前記エッジ強調手段へ入力することを特徴とする。 The image processing apparatus of the present invention includes a level adjusting means for adjusting the brightness level of the image signal and an edge enhancing means for performing edge enhancing processing on the image signal, and the edge enhancing means is for the edge enhancing processing. The level adjusting means includes a processing means for processing the undershoot component of the image signal as an overshoot component, and the level adjusting means increases the brightness level of the image signal when the brightness level of the image signal is lower than the threshold value. It is characterized in that it is input to the edge enhancing means after adjusting to.
本発明によれば、特に暗い背景であっても強調効果が弱まることのない強調処理を実現可能となる。 According to the present invention, it is possible to realize an enhancement process in which the enhancement effect is not weakened even on a particularly dark background.
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
図1は本実施形態の画像処理装置の一適用例としての撮像装置100の概略構成を示した図である。本実施形態では撮像装置100としてデジタルカメラを例に挙げている。
撮影レンズ10はフォーカスレンズやズームレンズなどを含む光学レンズである。シャッター12は、絞り機能を備える機械式シャッターである。撮像素子14は、撮影レンズ10及びシャッター12などの光学系を介して入射される光学像を電気信号に変換する。A/D変換器16は、撮像素子14からのアナログ信号出力をデジタル信号に変換するアナログ/デジタル変換器である。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration shown in the following embodiments is only an example, and the present invention is not limited to the illustrated configuration.
FIG. 1 is a diagram showing a schematic configuration of an
The photographing
タイミング発生回路18は、撮像素子14、A/D変換器16にクロック信号や制御信号を供給する回路である。タイミング発生回路18は、メモリ制御回路22及びシステム制御回路50により制御される。また露光時間に関する制御としては、シャッター12による機械的な時間制御以外に、タイミング発生回路18が撮像素子14のリセットタイミングを制御する電子シャッター制御による蓄積時間制御も行われる。電子シャッターによる蓄積時間制御は、動画撮影などに使用可能である。
The
画像処理回路20は、A/D変換器16からのデータ或いはメモリ制御回路22を介してメモリ30から読み出されたデータに対して、所定の画素補間処理や色変換処理、現像処理などを行う。また画像処理回路20は、画像の切り出し、変倍処理を行うことで電子ズーム機能を実現する。また画像処理回路20は、撮像した画像データを用いて所定の演算処理を行い、その演算処理の結果をシステム制御回路50に送る。システム制御回路50は、画像処理回路20からの演算結果に基づいて、測距制御部42におけるAF(オートフォーカス)動作および処理の制御、露光制御部40におけるAE(自動露光)動作および処理の制御、EF(フラッシュ調光)処理の制御等を行う。さらに画像処理回路20は、AWB(オートホワイトバランス)処理も行う。
The
また本実施形態の撮像装置100は、被写体検出部74をも有している。被写体検出部74での被写体検出方法は、パターンマッチング、特徴点抽出など、公知の方法を適用可能であり特に限定されない。また被写体検出部74が検出する被写体は、一例として人物の顔などを挙げることができる。なお、顔検出が行われる場合、被写体検出部74は、その検出結果として、顔領域の座標(領域情報)、目の座標などを出力する。また被写体検出部74は、公知の被写体検出方法を用いて他の被写体(被写体領域)を検出するものであってもよく、検出される被写体は限定されない。
The
メモリ制御回路22は、システム制御回路50による指示の下で、A/D変換器16、タイミング発生回路18、画像処理回路20、メモリ30、圧縮伸長回路32を制御する。例えば、メモリ制御回路22は、A/D変換器16のデータを画像処理回路20やメモリ制御回路22を介して、或いはA/D変換器16からのデータを直接、メモリ30に書き込む。
The
画像表示部28は、TFT、LCD等から成る表示装置に対して画像等を表示させる。メモリ30に書き込まれた表示用の画像データはメモリ制御回路22を介して画像表示部28に送られ、画像表示部28はその表示用の画像データに基づく画像を表示装置の画面上に表示させる。なお、撮像した画像データを逐次表示する場合には、電子ファインダ機能が実現されることになる。また画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には撮像装置100の電力消費を大幅に低減することが出来る。
The
メモリ30は、撮影した静止画像や動画像のデータを格納可能なメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、メモリ30は、高速かつ大量の画像のデータを蓄積することができる。また、メモリ30は、システム制御回路50の作業領域としても使用することが可能である。
The
圧縮伸長回路32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
The compression /
露光制御部40は、絞り機能を備えるシャッター12を駆動制御する。また露光制御部40は、フラッシュ48と連動することによりフラッシュ調光機能も制御する。
測距制御部42は、撮影レンズ10のフォーカスレンズの駆動およびフォーカシング制御を行う。ズーム制御部44は、撮影レンズ10のズームレンズの駆動およびズーミング制御を行う。
これら露光制御部40と測距制御部42は、システム制御回路50により制御される。
フラッシュ48は、AF補助光の投光機能、フラッシュ調光機能を有する。
The exposure control unit 40 drives and controls the
The distance
The exposure control unit 40 and the distance
The
システム制御回路50は、撮像装置100の全体を制御する。例えば、TTL方式を用いた制御を行う場合、システム制御回路50は、撮像した画像データを画像処理回路20で所定の演算処理を行った演算結果に基づいて、露光制御部40と測距制御部42を制御する。
The
モードダイアル60、シャッタースイッチ62および64、表示切替スイッチ66、操作部70、ズームスイッチ72は、システム制御回路50に対する各種の動作指示をユーザが入力するための操作デバイスである。これらは、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
The
モードダイアル60は、電源オフ、自動撮影モード、撮影モード、HDR撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定する際にユーザにより操作されるダイアルである。
The
シャッタースイッチ62は、シャッターボタン押下の操作途中(いわゆる半押し)でONとなるスイッチSW1である。スイッチSW1がONになると、システム制御回路50は、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等の動作開始を指示する。
The
シャッタースイッチ64は、シャッターボタン押下の操作完了(いわゆる全押し)でONとなるスイッチSW2である。スイッチSW2がONになると、システム制御回路50は、AE処理で決定された露光時間分、撮像素子14を露光させる。なおフラッシュ撮影が行われる場合、スイッチSW2がONになると、システム制御回路50は、EF(フラッシュプリ発光)処理を行った後に、AE処理で決定された露光時間分、撮像素子14を露光させる。フラッシュ撮影の場合、システム制御回路50は、この露光期間中にフラッシュ48を発光させ、露光期間終了と同時に、露光制御部40を介して撮像素子14の露光を終了させる。またシステム制御回路50は、撮像素子14における撮像から、画像データを記録媒体120へ書き込む記録処理までの一連の処理の動作を制御する。一連の処理とは、A/D変換器16でのA/D変換、メモリ制御回路22を介したメモリ30への画像データの書き込み/読み出し処理、画像処理回路20やメモリ制御回路22での演算処理、圧縮伸長回路32の圧縮伸長処理などである。
The
表示切替スイッチ66は、画像表示部28の表示切替を行うためのスイッチである。表示切替スイッチ66は、ユーザによって操作されるスイッチの他、例えば光学ファインダ104にユーザが顔を近づけたことを検知する近接検知センサーであってもよい。システム制御回路50は、表示切替スイッチ66の出力を基に画像表示部28の表示切替制御を行う。例えば、光学ファインダ104を用いて撮影を行う際に、システム制御回路50は、画像表示部28への電流供給を遮断することにより、省電力を図ることが可能となる。
The
操作部70は、各種ボタン、タッチパネルや回転式ダイアル等からなる。操作部70には、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン等が含まれる。また、操作部70には、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等も含まれる。
The
ズームスイッチ72は、ユーザが撮像画像の倍率変更指示を行うズーム操作用のスイッチである。ズームスイッチ72は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとからなる。システム制御回路50は、ズームスイッチ72の出力に基づいて、ズーム制御部44を介して撮影レンズ10の撮影画角の変更を指示する。これにより光学ズーム操作が行われる。また、システム制御回路50は、ズームスイッチ72の出力に基づいて、画像処理回路20による画像の切り出しや画素補間処理などによる撮像画角の電子的なズーミング変更の制御も行うことができる。
The
電源86は、アルカリ電池等の一次電池や、NiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプター等からなる電源部である。
光学ファインダ104は、画像表示部28による電子ファインダ機能を使用すること無しに撮影を行う際に用いられるファインダである。
The
The
I/F90は、メモリカードやハードディスク等の記録媒体120との間でデータをやり取りするためのインタフェース部である。コネクタ92は、メモリカードやハードディスク等の記録媒体と接続を行うためのコネクタ部である。
通信部110は、例えばUSBやIEEE1394、LAN、無線通信、等の各種通信を行うための通信機能部である。
コネクタ112は、通信部110を介して本実施形態の撮像装置100と他の機器とを接続するためのコネクタ部である。なお、コネクタ112には、無線通信が行われる場合のアンテナが含まれていてもよい。
記録媒体120は、半導体メモリ(メモリカード等)や磁気ディスク(ハードディスク等)から構成される記録部122、撮像装置100との間のI/F124、撮像装置100と接続をするためのコネクタ126等を備えている。
The I /
The
The
The
ここで、本実施形態の撮像装置100は、例えば夜景や星空の撮影を行う場合に、それら夜景や星空を撮影しやすくするための撮影モードを備えている。この撮影モードによれば、暗所でも適切な露出設定やピント位置の撮影がより手軽に行える。また、本実施形態の撮像装置100は、夜景や星空の撮影モードにおいて、天候や空の明るさなどの条件が悪い場合でも星を認識しやすいようにする強調処理を実行可能となされている。本実施形態の撮像装置100において、暗い背景の中に僅かに明るい星のような被写体が存在する場合の強調処理は、画像処理回路20により行われる。
Here, the
図2は、本実施形態に係る画像処理回路20の概略的な構成例を示した図である。
画像処理回路20には、撮像素子14から出力されてA/D変換器16でA/D変換された後の画像信号が入力される。なお、撮像素子14からの画像信号はいわゆるベイヤ配列の信号であるとする。輝度生成部201は、ベイヤ配列の信号から輝度信号Yを生成する。色生成部202は、ベイヤ配列の信号から色差信号UVを生成する。エッジ強調部203は、入力された画像信号に対してエッジ強調処理を行う。そしてこれら輝度生成部201、色生成部202、エッジ強調部203の処理により得られたYUV信号は、後処理部204と検出系205とに送られる。後処理部204は、YUV信号に対して、リサイズ処理、彩度変更処理、エッジ強調処理等の後処理を、撮影シーン等に応じて実施する。検出系205は、画像全体や被写体の輝度レベルの検出、顔の検出、シーンの検出等を行う検出処理を実施する。そして、検出系205は、それら検出した輝度レベル、顔、シーン等に基づいて、輝度生成部201や色生成部202、エッジ強調部203、後処理部204における各処理で用いる各種のパラメータを適宜変更する。
FIG. 2 is a diagram showing a schematic configuration example of the
An image signal output from the
図3(a)から図3(e)は、本実施形態に係る画像処理回路20のうち、星等の被写体に対する強調処理を行う構成およびその説明に用いる図である。
図3(a)は星等の被写体に対する強調処理を行う構成を示した図である。なお、本実施形態では、夜空の星を強調する星強調処理が、エッジ強調部203のエッジ強調処理で行われる例を挙げるが、後処理部204における後処理のエッジ強調処理の際に行われてもよい。
3 (a) to 3 (e) are views of the
FIG. 3A is a diagram showing a configuration in which a subject such as a star is emphasized. In the present embodiment, an example in which the star enhancement process for emphasizing the stars in the night sky is performed by the edge enhancement process of the
図3(a)において、加減算回路300は、入力された画像信号の輝度レベルをシフトさせることで輝度レベルを調整することが可能なレベル調整回路である。加減算回路300による輝度レベルのシフトは、例えば、図2の検出系205により検出される画像の輝度レベルや被写体領域の輝度レベルに基づいて行われる。例えば、輝度レベルが所定の閾値より低い場合、検出系205は、加減算回路300で画像の輝度レベルを上げるレベル調整が行われるように、加減算回路300のパラメータを変更する。これにより、加減算回路300では、画像の輝度レベルが所定の閾値より低い場合には、輝度レベルを上げるようにシフトする処理が実施される。なお、検出された輝度レベルが所定の閾値以上である場合、検出系205は、加減算回路300で輝度レベルを上げるレベル調整が行われないように、加減算回路300のパラメータを設定する。
In FIG. 3A, the addition /
加減算回路300から出力された画像信号は、減算回路302の非反転入力端子(+側端子)と、減算回路303の反転入力端子(−側端子)と、ローパスフィルタ(LPF)301とに入力する。また、ローパスフィルタ301によるローパスフィルタ処理後の画像信号は、減算回路302の反転入力端子と、減算回路303の非反転入力端子とに入力する。ここで、図3(b)は、加減算回路300に入力された画像信号の水平方向の波形の一部を示した図であり、縦軸方向が輝度レベル、横軸方向が画像の水平方向の座標を表しているとする。図3(c)は、図3(b)の信号がローパスフィルタ301によって処理された後の信号波形を表した図である。図3(c)に示すように、ローパスフィルタ処理後の信号波形は、図3(b)の信号から高周波成分がほぼ除去された信号波形となる。
The image signal output from the addition /
減算回路302と減算回路303では、加減算回路300から出力された画像信号と、ローパスフィルタ301による処理後の画像信号との差分が求められる。この際、負の信号は考慮しないことにより、減算回路302からは、高輝度側に凸のエッジ信号であるオーバーシュート成分の信号が得られる。図3(d)は減算回路302による処理後の信号波形を示している。減算回路302では、図3(b)の画像信号から図3(c)のローパスフィルタ処理後の画像信号が減算されることで、図3(d)中の斜線部分311がオーバーシュート成分となる信号が得られる。
In the
逆に、減算回路303からは、低輝度側に凸のエッジ信号であるアンダーシュート成分の反転した信号が得られる。図3(e)は減算回路303による処理後の信号波形を示している。減算回路303では、図3(c)のローパスフィルタ処理後の画像信号から、図3(b)の画像信号が減算されることで、図3(e)中の網掛け部分321がアンダーシュート成分の反転した信号が得られる。
On the contrary, from the
減算回路302から出力された信号はゲイン回路(AMP)304に入力する。また、減算回路303から出力された信号はゲイン回路306に入力する。ゲイン回路304は、ゲイン制御回路(CTRL)305からの制御信号により、オーバーシュート成分の信号に対してゲインおよび振幅を制限するクリップ処理を施す。また、本実施形態のゲイン回路306は、ゲイン制御回路307からの制御信号により、アンダーシュート成分の反転した信号に対してゲインおよび振幅を制限するクリップ処理を施す。本実施形態では、通常のエッジ強調処理のようにアンダーシュート成分を付与(つまり元信号からアンダーシュート成分の絶対値を減算)した信号値が計算上負の値になった場合に、信号値をゼロとして扱うこととしている。したがって、通常のエッジ強調処理では、背景が暗い画像の場合は、アンダーシュート成分を付与した信号値が突然ゼロに張り付いてしまう。そこでゲイン回路304は、上述のように信号値がゼロに張り付いてしまう場合には、エッジ強調効果の急激な変化を抑制するよう、クリップ処理を施す回路として機能する。
The signal output from the
ゲイン回路304の出力信号は加算回路308に入力する。加算回路308は、加減算回路300に入力される前の元の画像信号と、ゲイン回路304によりオーバーシュート成分の信号がクリップ処理された後の信号とを加算する。そして、加算回路308の出力信号は加算回路309に入力する。
また加算回路309には、ゲイン回路306の出力信号が入力される。加算回路309は、加算回路308の出力信号と、ゲイン回路306の出力信号とを加算する。つまり加算回路309は、加減算回路300に入力される前の元の画像信号とゲイン回路304によるクリップ処理後のオーバーシュート成分の信号とを加算した信号と、ゲイン回路306によるクリップ処理後のアンダーシュート成分の反転した信号とを加算する。そして、この加算回路309の出力信号が強調処理後の信号となる。
The output signal of the
Further, the output signal of the
上述したように、図3(a)の構成においては、エッジ強調処理を行う際に、画像信号のアンダーシュート成分を加算せずに減算することによってオーバーシュート成分として扱うようになされている。したがって、前述したようにアンダーシュート成分の付加により信号値がゼロに張り付くことはない。このような場合にクリップ処理を行うゲイン回路306を通してしまうと、アンダーシュート成分を反転することで得られるオーバーシュート成分がかえって抑制されることになってしまう。そこで図3(a)の構成は、画像の輝度レベルが所定の閾値より低い場合には、被写体の輝度レベルが低いことによるエッジ強調のアンダーシュート成分がクリップされないレベル分だけ画像の輝度レベルを上げてから、エッジ強調処理へ投入する構成となっている。また、画像の輝度レベルを上げてからエッジ強調処理へ投入する代わりに、星等の強調処理を行う構成は、ゲイン回路(304,306)でクリップ処理のゲインが適用される前の信号を用いてエッジ強調処理を実施する構成であってもよい。
As described above, in the configuration of FIG. 3A, when the edge enhancement process is performed, the undershoot component of the image signal is subtracted without being added to be treated as an overshoot component. Therefore, as described above, the signal value does not stick to zero due to the addition of the undershoot component. In such a case, if the
なお、ここで用いるローパスフィルタ301は、例えば着目画素について、その着目画素とそれに隣接する画素とで、1:2:1(/4)となる割合で着目画素の値を置き換えるようなフィルタであるとする。
また、本実施形態では、加減算回路300から出力された画像信号と、ローパスフィルタ処理後の画像信号との差分を求めたが、それに限らず、高周波成分を含む信号と高周波成分を含まない信号との差分を求めることができればよい。
The low-
Further, in the present embodiment, the difference between the image signal output from the addition /
図4は、本実施形態の撮像装置100において星等の被写体に対する強調処理が行われる際の処理の流れを示すフローチャートである。図4のフローチャートの処理は、主に画像処理回路20において行われるが、一部はシステム制御回路50に係る処理が含まれている。
FIG. 4 is a flowchart showing the flow of processing when the
図4において、システム制御回路50は、シャッタースイッチ64が操作されてスイッチSW2のON信号を受け取ると、ステップS401の処理として、撮像装置100における撮影動作を開始する。ステップS401で撮影が開始されると、画像処理回路20は、ステップS402の処理として、撮像素子14で撮像されてA/D変換器16から入力された撮像画像の平均輝度レベルを取得する。
In FIG. 4, when the
次にステップS403に進むと、画像処理回路20は、輝度レベルについて予め設定されている閾値と、ステップS402で取得された平均輝度レベルとを比較するレベル判定の処理を行う。そして、画像処理回路20は、平均輝度レベルが閾値より低い低輝度であると判定した場合にはステップS404に処理を進める。一方、画像処理回路20は、平均輝度レベルが閾値以上であると判定された場合、つまりある程度高い輝度である場合にはステップS405に処理を進める。
Next, when the process proceeds to step S403, the
ステップS404に進むと、画像処理回路20では、加減算回路300によって画像の輝度レベルを上げるようにシフトする処理が行われる。
その後、画像処理回路20は、ステップS405に進むと、星等の被写体に対する強調処理としてのエッジ強調を行う。
Proceeding to step S404, in the
After that, when the
なお、ステップS402で行われる輝度レベルの取得は、画像全体の輝度レベルの平均値を求める前提で記載したが、例えば空と地面や建物などの領域検出を行ない、所定の領域として、例えば空領域についての輝度レベルの平均値を取得するようにしてもよい。この場合、その後のステップS403では、空領域の輝度レベルの平均値と閾値との比較が行われることになる。 The acquisition of the brightness level performed in step S402 is described on the premise that the average value of the brightness level of the entire image is obtained. However, for example, the sky and the ground, the building, and the like are detected, and the predetermined area is, for example, the empty area. You may want to get the average value of the luminance levels for. In this case, in the subsequent step S403, the average value of the brightness levels in the empty region and the threshold value are compared.
以上説明したように、本実施形態によれば、画像の輝度レベルが低いことによるエッジ強調のアンダーシュート成分がクリップされないようにすることで、アンダーシュート成分の目立たない強調処理が可能となる。また本実施形態によれば、特に暗い背景であっても強調効果が弱まることのない強調処理を実現可能となる。 As described above, according to the present embodiment, by preventing the undershoot component of edge enhancement due to the low brightness level of the image from being clipped, it is possible to enhance the undershoot component inconspicuously. Further, according to the present embodiment, it is possible to realize an enhancement process in which the enhancement effect is not weakened even on a particularly dark background.
以上、本発明の各実施形態について詳述してきたが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
また前述した実施形態の画像処理装置に係る各機能やフローチャートの処理は、ハードウェア構成のみで実現されてもよいし、CPU等がプログラムを実行することによるソフトウェアモジュールとして構成されていてもよい。また、一部がハードウェア構成で残りがソフトウェアモジュールとして構成されていてもよい。このソフトウェアモジュールを構成するためのプログラムは、予め用意されて内部メモリ等に記憶されている場合だけでなく、外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。
Although each embodiment of the present invention has been described in detail above, the present invention is not limited to these embodiments, and various embodiments within the scope of the gist of the present invention are also included in the present invention.
Further, the processing of each function and the flowchart related to the image processing device of the above-described embodiment may be realized only by the hardware configuration, or may be configured as a software module by executing a program by a CPU or the like. Further, a part may be configured as a hardware configuration and the rest may be configured as a software module. The program for configuring this software module is not only when it is prepared in advance and stored in an internal memory or the like, but also when it is acquired from a recording medium such as an external memory or via a network (not shown). You may.
また前述の実施形態では、デジタルカメラへの適用例を挙げたが、例えば監視カメラ、工業用カメラ、車載カメラ、医療用カメラ、撮影機能を備えたスマートフォン、タブレット端末などにも適用可能である。 Further, in the above-described embodiment, an example of application to a digital camera has been given, but it can also be applied to, for example, a surveillance camera, an industrial camera, an in-vehicle camera, a medical camera, a smartphone having a photographing function, a tablet terminal, and the like.
本発明に係る信号処理における1以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの1つ以上のプロセッサーにより読また出し実行されることで実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 A program that realizes one or more functions in signal processing according to the present invention can be supplied to a system or device via a network or storage medium, and is read and executed by one or more processors of the computer of the system or device. It is feasible by being done. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
100:撮像装置、14:撮像素子、20:画像処理回路、50:システム制御回路 100: image pickup device, 14: image sensor, 20: image processing circuit, 50: system control circuit
Claims (9)
前記画像信号にエッジ強調処理を施すエッジ強調手段と、を有し、
前記エッジ強調手段は、前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理手段を含み、
前記レベル調整手段は、前記画像信号の輝度レベルが閾値より低い場合には、前記画像信号の輝度レベルを上げるように調整してから前記エッジ強調手段へ入力することを特徴とする画像処理装置。 Level adjustment means for adjusting the brightness level of the image signal,
It has an edge enhancement means for performing edge enhancement processing on the image signal.
The edge enhancing means includes a processing means for processing an undershoot component of the image signal as an overshoot component during the edge enhancing process.
The image processing apparatus is characterized in that, when the brightness level of the image signal is lower than the threshold value, the level adjusting means adjusts the brightness level of the image signal so as to increase the brightness level and then inputs the image signal to the edge enhancing means.
前記レベル調整手段は、前記画像信号の輝度レベルが閾値より低い場合、前記エッジ強調処理でアンダーシュート成分がクリップ処理されないレベルだけ、前記画像信号の輝度レベルを上げるように調整することを特徴とする請求項1に記載の画像処理装置。 The edge enhancement process includes a clip process that limits the gain and amplitude of the signal.
The level adjusting means is characterized in that when the brightness level of the image signal is lower than the threshold value, the brightness level of the image signal is increased by the level at which the undershoot component is not clipped by the edge enhancement processing. The image processing apparatus according to claim 1.
前記画像信号にエッジ強調処理を施すエッジ強調手段と、を有し、
前記エッジ強調処理は信号のゲインおよび振幅を制限するクリップ処理を含み、
前記エッジ強調手段は、
前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理手段を含み、
前記レベル判定手段によって前記画像信号の輝度レベルが閾値より低いと判定された場合には、前記クリップ処理が行われる前の信号を用いて前記エッジ強調処理を行うことを特徴とする画像処理装置。 A level determination means for determining the luminance level of an image signal and
It has an edge enhancement means for performing edge enhancement processing on the image signal.
The edge enhancement process includes a clip process that limits the gain and amplitude of the signal.
The edge enhancing means
A processing means for processing an undershoot component of the image signal as an overshoot component during the edge enhancement process is included.
An image processing apparatus characterized in that when the luminance level of the image signal is determined by the level determining means to be lower than the threshold value, the edge enhancement processing is performed using the signal before the clipping processing is performed.
画像信号の輝度レベルを調整するレベル調整工程と、
前記画像信号にエッジ強調処理を施すエッジ強調工程と、を有し、
前記エッジ強調工程は、前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理工程を含み、
前記レベル調整工程では、前記画像信号の輝度レベルが閾値より低い場合には、前記画像信号の輝度レベルを上げるように調整してから前記エッジ強調工程へ入力することを特徴とする画像処理方法。 An image processing method executed by an image processing device.
A level adjustment process that adjusts the brightness level of the image signal,
It has an edge enhancement step of performing edge enhancement processing on the image signal.
The edge enhancement step includes a processing step of processing an undershoot component of the image signal as an overshoot component during the edge enhancement process.
In the level adjusting step, when the brightness level of the image signal is lower than the threshold value, the image processing method is characterized in that the brightness level of the image signal is adjusted to be raised and then input to the edge enhancement step.
画像信号の輝度レベルを判定するレベル判定工程と、
前記画像信号にエッジ強調処理を施すエッジ強調工程と、を有し、
前記エッジ強調処理は信号のゲインおよび振幅を制限するクリップ処理を含み、
前記エッジ強調工程は、
前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理工程を含み、
前記レベル判定工程によって前記画像信号の輝度レベルが閾値より低いと判定された場合には、クリップ処理が行われる前のエッジ信号を用いて前記エッジ強調処理を行うことを特徴とする画像処理方法。 An image processing method executed by an image processing device.
The level determination process for determining the brightness level of the image signal and
It has an edge enhancement step of performing edge enhancement processing on the image signal.
The edge enhancement process includes a clip process that limits the gain and amplitude of the signal.
The edge enhancement step is
A processing step of processing an undershoot component of the image signal as an overshoot component during the edge enhancement process is included.
An image processing method characterized in that when the brightness level of the image signal is determined to be lower than the threshold value by the level determination step, the edge enhancement process is performed using the edge signal before the clip process is performed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019039428A JP2020145538A (en) | 2019-03-05 | 2019-03-05 | Image processing device, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019039428A JP2020145538A (en) | 2019-03-05 | 2019-03-05 | Image processing device, image processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020145538A true JP2020145538A (en) | 2020-09-10 |
Family
ID=72355580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019039428A Pending JP2020145538A (en) | 2019-03-05 | 2019-03-05 | Image processing device, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020145538A (en) |
-
2019
- 2019-03-05 JP JP2019039428A patent/JP2020145538A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7973848B2 (en) | Method and apparatus for providing composition information in digital image processing device | |
US9838609B2 (en) | Image capturing apparatus, control apparatus and control method for controlling zooming function | |
JP6460721B2 (en) | Image processing apparatus, image processing method, and program | |
JP6116299B2 (en) | Imaging apparatus and control method thereof | |
US20160028944A1 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP5889247B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
US10839497B2 (en) | Image processing apparatus and method | |
JP5576706B2 (en) | Image processing apparatus, control method therefor, and imaging apparatus | |
JP6192416B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP2007081732A (en) | Imaging apparatus | |
JP6116436B2 (en) | Image processing apparatus and image processing method | |
JP2010050573A (en) | Image capturing apparatus and method of controlling the same | |
JP2012090041A (en) | Image processing device, method, and program | |
US10674092B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2014143457A (en) | HDR switching control method | |
JP2020145538A (en) | Image processing device, image processing method, and program | |
JP6353585B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP6433177B2 (en) | Image processing apparatus and image processing method | |
JP2015053652A (en) | Imaging apparatus, and control method and control program for the same | |
JP2020042497A (en) | Image processing device, control method thereof and program | |
JP2017038300A (en) | Image processing apparatus and method | |
JP2012039178A (en) | Imaging apparatus, exposure control method and program | |
JP2011039112A (en) | Imaging device | |
JP6800693B2 (en) | Imaging device and driving method of imaging device | |
JP2016163327A (en) | Image processing apparatus, image processing method, and program |