JP2020145538A - Image processing device, image processing method, and program - Google Patents

Image processing device, image processing method, and program Download PDF

Info

Publication number
JP2020145538A
JP2020145538A JP2019039428A JP2019039428A JP2020145538A JP 2020145538 A JP2020145538 A JP 2020145538A JP 2019039428 A JP2019039428 A JP 2019039428A JP 2019039428 A JP2019039428 A JP 2019039428A JP 2020145538 A JP2020145538 A JP 2020145538A
Authority
JP
Japan
Prior art keywords
image
processing
image signal
level
edge enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019039428A
Other languages
Japanese (ja)
Inventor
小笠原 努
Tsutomu Ogasawara
努 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019039428A priority Critical patent/JP2020145538A/en
Publication of JP2020145538A publication Critical patent/JP2020145538A/en
Pending legal-status Critical Current

Links

Images

Abstract

To realize an emphasis process in which deterioration of an emphasis effect is prevented particularly even in a dark background.SOLUTION: An image processing device comprises means (301, 302, 303, 304, 306, 308, 309) for processing an undershoot component of an image signal as an overshoot component in an edge emphasis process. In a case where the luminance level of the image signal is lower than a threshold, the device performs adjustment (300) to raise the luminance level of the image signal and thereafter inputs the image signal to the edge emphasis process.SELECTED DRAWING: Figure 3

Description

本発明は、撮像素子により撮像された画像信号を処理する技術に関する。 The present invention relates to a technique for processing an image signal captured by an image sensor.

従来、夜景や星空を撮影する場合には、機材の準備や撮影条件の設定などの事前準備が必要であった。一方、近年は夜景や星空を撮影しやすくするための撮影モードを搭載したデジタルカメラがあり、このカメラによれば、暗所でも適切な露出設定やピント位置で撮影でき、より手軽に撮影できるようになっている。さらにデジタルカメラには、天候や空の明るさなどの条件が悪い場合でも星を認識しやすいようにする星の強調処理等を画像処理にて施す機能を備えたものもある。また、特許文献1には、星の強調処理において、オーバーシュートとアンダーシュートを独立にゲインを制御して最適化する方法が開示されている。 In the past, when shooting a night view or a starry sky, it was necessary to prepare equipment and set shooting conditions in advance. On the other hand, in recent years, there is a digital camera equipped with a shooting mode to make it easier to shoot night views and starry sky. It has become. In addition, some digital cameras have a function of performing image processing such as star enhancement processing that makes it easier to recognize stars even when conditions such as weather and sky brightness are bad. Further, Patent Document 1 discloses a method of optimizing an overshoot and an undershoot by independently controlling the gain in the star enhancement process.

特開2016−15600号公報Japanese Unexamined Patent Publication No. 2016-15600

ここで、星強調処理のように、暗い背景の中に僅かに明るい点のような被写体が存在する場合の強調処理としては、例えばエッジ強調処理がある。しかしながら、暗い背景内の星のような被写体に対する強調処理として、通常の明るいシーンでのエッジ強調量と同等のエッジ強調処理を行った場合、例えば背景が特に暗い場合には、アンダーシュートがクリップされてしまい、被写体である星に対する強調効果が弱まってしまう。 Here, as the enhancement process when a subject such as a slightly bright spot exists in a dark background as in the star enhancement process, there is, for example, an edge enhancement process. However, when the edge enhancement process equivalent to the edge enhancement amount in a normal bright scene is performed as the enhancement process for a subject such as a star in a dark background, for example, when the background is particularly dark, the undershoot is clipped. This will weaken the emphasis effect on the subject star.

そこで、本発明は、アンダーシュートの目立たない強調処理を可能とし、また特に暗い背景であっても強調効果が弱まることのない強調処理を実現可能にすることを目的とする。 Therefore, an object of the present invention is to enable an inconspicuous enhancement process of undershoot, and to realize an enhancement process in which the enhancement effect is not weakened even in a particularly dark background.

本発明の画像処理装置は、画像信号の輝度レベルを調整するレベル調整手段と、前記画像信号にエッジ強調処理を施すエッジ強調手段と、を有し、前記エッジ強調手段は、前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理手段を含み、前記レベル調整手段は、前記画像信号の輝度レベルが閾値より低い場合には、前記画像信号の輝度レベルを上げるように調整してから前記エッジ強調手段へ入力することを特徴とする。 The image processing apparatus of the present invention includes a level adjusting means for adjusting the brightness level of the image signal and an edge enhancing means for performing edge enhancing processing on the image signal, and the edge enhancing means is for the edge enhancing processing. The level adjusting means includes a processing means for processing the undershoot component of the image signal as an overshoot component, and the level adjusting means increases the brightness level of the image signal when the brightness level of the image signal is lower than the threshold value. It is characterized in that it is input to the edge enhancing means after adjusting to.

本発明によれば、特に暗い背景であっても強調効果が弱まることのない強調処理を実現可能となる。 According to the present invention, it is possible to realize an enhancement process in which the enhancement effect is not weakened even on a particularly dark background.

画像処理装置の適用例である撮像装置の概略構成を示す図である。It is a figure which shows the schematic structure of the image pickup apparatus which is an application example of an image processing apparatus. 画像処理回路の構成例を示す図である。It is a figure which shows the structural example of an image processing circuit. 画像処理回路のうち星強調回路の構成例を示す図である。It is a figure which shows the structural example of the star enhancement circuit among the image processing circuits. 星強調処理のフローチャートである。It is a flowchart of a star emphasis processing.

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
図1は本実施形態の画像処理装置の一適用例としての撮像装置100の概略構成を示した図である。本実施形態では撮像装置100としてデジタルカメラを例に挙げている。
撮影レンズ10はフォーカスレンズやズームレンズなどを含む光学レンズである。シャッター12は、絞り機能を備える機械式シャッターである。撮像素子14は、撮影レンズ10及びシャッター12などの光学系を介して入射される光学像を電気信号に変換する。A/D変換器16は、撮像素子14からのアナログ信号出力をデジタル信号に変換するアナログ/デジタル変換器である。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration shown in the following embodiments is only an example, and the present invention is not limited to the illustrated configuration.
FIG. 1 is a diagram showing a schematic configuration of an image pickup apparatus 100 as an application example of the image processing apparatus of the present embodiment. In this embodiment, a digital camera is taken as an example of the image pickup apparatus 100.
The photographing lens 10 is an optical lens including a focus lens, a zoom lens, and the like. The shutter 12 is a mechanical shutter having an aperture function. The image sensor 14 converts an optical image incident through an optical system such as a photographing lens 10 and a shutter 12 into an electric signal. The A / D converter 16 is an analog / digital converter that converts an analog signal output from the image sensor 14 into a digital signal.

タイミング発生回路18は、撮像素子14、A/D変換器16にクロック信号や制御信号を供給する回路である。タイミング発生回路18は、メモリ制御回路22及びシステム制御回路50により制御される。また露光時間に関する制御としては、シャッター12による機械的な時間制御以外に、タイミング発生回路18が撮像素子14のリセットタイミングを制御する電子シャッター制御による蓄積時間制御も行われる。電子シャッターによる蓄積時間制御は、動画撮影などに使用可能である。 The timing generation circuit 18 is a circuit that supplies a clock signal and a control signal to the image sensor 14 and the A / D converter 16. The timing generation circuit 18 is controlled by the memory control circuit 22 and the system control circuit 50. As the control regarding the exposure time, in addition to the mechanical time control by the shutter 12, the accumulation time control by the electronic shutter control in which the timing generation circuit 18 controls the reset timing of the image sensor 14 is also performed. The accumulation time control by the electronic shutter can be used for moving image shooting and the like.

画像処理回路20は、A/D変換器16からのデータ或いはメモリ制御回路22を介してメモリ30から読み出されたデータに対して、所定の画素補間処理や色変換処理、現像処理などを行う。また画像処理回路20は、画像の切り出し、変倍処理を行うことで電子ズーム機能を実現する。また画像処理回路20は、撮像した画像データを用いて所定の演算処理を行い、その演算処理の結果をシステム制御回路50に送る。システム制御回路50は、画像処理回路20からの演算結果に基づいて、測距制御部42におけるAF(オートフォーカス)動作および処理の制御、露光制御部40におけるAE(自動露光)動作および処理の制御、EF(フラッシュ調光)処理の制御等を行う。さらに画像処理回路20は、AWB(オートホワイトバランス)処理も行う。 The image processing circuit 20 performs predetermined pixel interpolation processing, color conversion processing, development processing, and the like on the data from the A / D converter 16 or the data read from the memory 30 via the memory control circuit 22. .. Further, the image processing circuit 20 realizes an electronic zoom function by cutting out an image and performing scaling processing. Further, the image processing circuit 20 performs a predetermined arithmetic processing using the captured image data, and sends the result of the arithmetic processing to the system control circuit 50. The system control circuit 50 controls AF (autofocus) operation and processing in the distance measuring control unit 42, and controls AE (autoexposure) operation and processing in the exposure control unit 40 based on the calculation result from the image processing circuit 20. , EF (flash dimming) processing is controlled. Further, the image processing circuit 20 also performs AWB (auto white balance) processing.

また本実施形態の撮像装置100は、被写体検出部74をも有している。被写体検出部74での被写体検出方法は、パターンマッチング、特徴点抽出など、公知の方法を適用可能であり特に限定されない。また被写体検出部74が検出する被写体は、一例として人物の顔などを挙げることができる。なお、顔検出が行われる場合、被写体検出部74は、その検出結果として、顔領域の座標(領域情報)、目の座標などを出力する。また被写体検出部74は、公知の被写体検出方法を用いて他の被写体(被写体領域)を検出するものであってもよく、検出される被写体は限定されない。 The imaging device 100 of the present embodiment also has a subject detection unit 74. The subject detection method in the subject detection unit 74 is not particularly limited as known methods such as pattern matching and feature point extraction can be applied. Further, as an example, the subject detected by the subject detection unit 74 may be a person's face or the like. When face detection is performed, the subject detection unit 74 outputs the coordinates of the face region (area information), the coordinates of the eyes, and the like as the detection result. Further, the subject detection unit 74 may detect another subject (subject area) by using a known subject detection method, and the detected subject is not limited.

メモリ制御回路22は、システム制御回路50による指示の下で、A/D変換器16、タイミング発生回路18、画像処理回路20、メモリ30、圧縮伸長回路32を制御する。例えば、メモリ制御回路22は、A/D変換器16のデータを画像処理回路20やメモリ制御回路22を介して、或いはA/D変換器16からのデータを直接、メモリ30に書き込む。 The memory control circuit 22 controls the A / D converter 16, the timing generation circuit 18, the image processing circuit 20, the memory 30, and the compression / expansion circuit 32 under the instruction of the system control circuit 50. For example, the memory control circuit 22 writes the data of the A / D converter 16 to the memory 30 directly via the image processing circuit 20 or the memory control circuit 22, or the data from the A / D converter 16.

画像表示部28は、TFT、LCD等から成る表示装置に対して画像等を表示させる。メモリ30に書き込まれた表示用の画像データはメモリ制御回路22を介して画像表示部28に送られ、画像表示部28はその表示用の画像データに基づく画像を表示装置の画面上に表示させる。なお、撮像した画像データを逐次表示する場合には、電子ファインダ機能が実現されることになる。また画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には撮像装置100の電力消費を大幅に低減することが出来る。 The image display unit 28 displays an image or the like on a display device including a TFT, an LCD, or the like. The image data for display written in the memory 30 is sent to the image display unit 28 via the memory control circuit 22, and the image display unit 28 displays an image based on the image data for display on the screen of the display device. .. In addition, when the captured image data is sequentially displayed, the electronic finder function is realized. Further, the image display unit 28 can arbitrarily turn on / off the display according to the instruction of the system control circuit 50, and when the display is turned off, the power consumption of the image pickup apparatus 100 can be significantly reduced. ..

メモリ30は、撮影した静止画像や動画像のデータを格納可能なメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、メモリ30は、高速かつ大量の画像のデータを蓄積することができる。また、メモリ30は、システム制御回路50の作業領域としても使用することが可能である。 The memory 30 is a memory capable of storing captured still image and moving image data, and has a sufficient storage capacity for storing a predetermined number of still images and moving images for a predetermined time. As a result, the memory 30 can store a large amount of image data at high speed even in the case of continuous shooting or panoramic shooting in which a plurality of still images are continuously shot. The memory 30 can also be used as a work area of the system control circuit 50.

圧縮伸長回路32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。 The compression / decompression circuit 32 is a circuit that compresses / decompresses image data by adaptive discrete cosine transform (ADCT) or the like, reads an image stored in a memory 30 and performs compression processing or decompression processing, and stores the processed data in memory. Write in 30.

露光制御部40は、絞り機能を備えるシャッター12を駆動制御する。また露光制御部40は、フラッシュ48と連動することによりフラッシュ調光機能も制御する。
測距制御部42は、撮影レンズ10のフォーカスレンズの駆動およびフォーカシング制御を行う。ズーム制御部44は、撮影レンズ10のズームレンズの駆動およびズーミング制御を行う。
これら露光制御部40と測距制御部42は、システム制御回路50により制御される。
フラッシュ48は、AF補助光の投光機能、フラッシュ調光機能を有する。
The exposure control unit 40 drives and controls the shutter 12 having an aperture function. The exposure control unit 40 also controls the flash dimming function by interlocking with the flash 48.
The distance measurement control unit 42 drives the focus lens of the photographing lens 10 and controls focusing. The zoom control unit 44 drives the zoom lens of the photographing lens 10 and controls zooming.
The exposure control unit 40 and the distance measurement control unit 42 are controlled by the system control circuit 50.
The flash 48 has an AF auxiliary light projection function and a flash dimming function.

システム制御回路50は、撮像装置100の全体を制御する。例えば、TTL方式を用いた制御を行う場合、システム制御回路50は、撮像した画像データを画像処理回路20で所定の演算処理を行った演算結果に基づいて、露光制御部40と測距制御部42を制御する。 The system control circuit 50 controls the entire image pickup apparatus 100. For example, when performing control using the TTL method, the system control circuit 50 has an exposure control unit 40 and a distance measurement control unit based on the calculation result of performing a predetermined calculation process on the captured image data by the image processing circuit 20. 42 is controlled.

モードダイアル60、シャッタースイッチ62および64、表示切替スイッチ66、操作部70、ズームスイッチ72は、システム制御回路50に対する各種の動作指示をユーザが入力するための操作デバイスである。これらは、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。 The mode dial 60, the shutter switches 62 and 64, the display changeover switch 66, the operation unit 70, and the zoom switch 72 are operation devices for the user to input various operation instructions to the system control circuit 50. These are composed of a single unit or a combination of a switch, a dial, a touch panel, a pointing by eye-gaze detection, a voice recognition device, and the like.

モードダイアル60は、電源オフ、自動撮影モード、撮影モード、HDR撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定する際にユーザにより操作されるダイアルである。 The mode dial 60 is a dial operated by the user when switching and setting each function mode such as power off, automatic shooting mode, shooting mode, HDR shooting mode, panoramic shooting mode, movie shooting mode, playback mode, and PC connection mode. Is.

シャッタースイッチ62は、シャッターボタン押下の操作途中(いわゆる半押し)でONとなるスイッチSW1である。スイッチSW1がONになると、システム制御回路50は、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等の動作開始を指示する。 The shutter switch 62 is a switch SW1 that is turned on during the operation of pressing the shutter button (so-called half-press). When the switch SW1 is turned on, the system control circuit 50 instructs the start of operations such as AF (autofocus) processing, AE (autoexposure) processing, and AWB (auto white balance) processing.

シャッタースイッチ64は、シャッターボタン押下の操作完了(いわゆる全押し)でONとなるスイッチSW2である。スイッチSW2がONになると、システム制御回路50は、AE処理で決定された露光時間分、撮像素子14を露光させる。なおフラッシュ撮影が行われる場合、スイッチSW2がONになると、システム制御回路50は、EF(フラッシュプリ発光)処理を行った後に、AE処理で決定された露光時間分、撮像素子14を露光させる。フラッシュ撮影の場合、システム制御回路50は、この露光期間中にフラッシュ48を発光させ、露光期間終了と同時に、露光制御部40を介して撮像素子14の露光を終了させる。またシステム制御回路50は、撮像素子14における撮像から、画像データを記録媒体120へ書き込む記録処理までの一連の処理の動作を制御する。一連の処理とは、A/D変換器16でのA/D変換、メモリ制御回路22を介したメモリ30への画像データの書き込み/読み出し処理、画像処理回路20やメモリ制御回路22での演算処理、圧縮伸長回路32の圧縮伸長処理などである。 The shutter switch 64 is a switch SW2 that is turned on when the operation of pressing the shutter button is completed (so-called full pressing). When the switch SW2 is turned on, the system control circuit 50 exposes the image sensor 14 for the exposure time determined by the AE process. When flash photography is performed, when the switch SW2 is turned on, the system control circuit 50 exposes the image sensor 14 for the exposure time determined by the AE process after performing the EF (flash pre-flash) process. In the case of flash photography, the system control circuit 50 causes the flash 48 to emit light during this exposure period, and at the same time as the end of the exposure period, the exposure of the image sensor 14 is completed via the exposure control unit 40. Further, the system control circuit 50 controls a series of processing operations from imaging by the image sensor 14 to recording processing for writing image data to the recording medium 120. The series of processing includes A / D conversion by the A / D converter 16, writing / reading processing of image data to the memory 30 via the memory control circuit 22, and calculation by the image processing circuit 20 and the memory control circuit 22. Processing, compression / expansion processing of the compression / expansion circuit 32, and the like.

表示切替スイッチ66は、画像表示部28の表示切替を行うためのスイッチである。表示切替スイッチ66は、ユーザによって操作されるスイッチの他、例えば光学ファインダ104にユーザが顔を近づけたことを検知する近接検知センサーであってもよい。システム制御回路50は、表示切替スイッチ66の出力を基に画像表示部28の表示切替制御を行う。例えば、光学ファインダ104を用いて撮影を行う際に、システム制御回路50は、画像表示部28への電流供給を遮断することにより、省電力を図ることが可能となる。 The display changeover switch 66 is a switch for switching the display of the image display unit 28. In addition to the switch operated by the user, the display changeover switch 66 may be, for example, a proximity detection sensor that detects that the user brings his / her face close to the optical finder 104. The system control circuit 50 controls the display switching of the image display unit 28 based on the output of the display switching switch 66. For example, when taking a picture using the optical finder 104, the system control circuit 50 can save power by cutting off the current supply to the image display unit 28.

操作部70は、各種ボタン、タッチパネルや回転式ダイアル等からなる。操作部70には、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン等が含まれる。また、操作部70には、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等も含まれる。 The operation unit 70 includes various buttons, a touch panel, a rotary dial, and the like. The operation unit 70 includes a menu button, a set button, a macro button, a multi-screen playback page break button, a flash setting button, a single shooting / continuous shooting / self-timer switching button, and the like. In addition, the operation unit 70 has a menu move + (plus) button, a menu move- (minus) button, a playback image move + (plus) button, a playback image- (minus) button, a shooting image quality selection button, and an exposure compensation button. A date / time setting button and the like are also included.

ズームスイッチ72は、ユーザが撮像画像の倍率変更指示を行うズーム操作用のスイッチである。ズームスイッチ72は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとからなる。システム制御回路50は、ズームスイッチ72の出力に基づいて、ズーム制御部44を介して撮影レンズ10の撮影画角の変更を指示する。これにより光学ズーム操作が行われる。また、システム制御回路50は、ズームスイッチ72の出力に基づいて、画像処理回路20による画像の切り出しや画素補間処理などによる撮像画角の電子的なズーミング変更の制御も行うことができる。 The zoom switch 72 is a switch for a zoom operation in which the user gives an instruction to change the magnification of the captured image. The zoom switch 72 includes a teleswitch that changes the imaging angle of view to the telephoto side and a wide switch that changes the imaging angle of view to the wide-angle side. The system control circuit 50 instructs the change of the shooting angle of view of the shooting lens 10 via the zoom control unit 44 based on the output of the zoom switch 72. As a result, the optical zoom operation is performed. Further, the system control circuit 50 can also control the electronic zooming change of the imaging angle of view by cutting out an image by the image processing circuit 20 or performing pixel interpolation processing based on the output of the zoom switch 72.

電源86は、アルカリ電池等の一次電池や、NiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプター等からなる電源部である。
光学ファインダ104は、画像表示部28による電子ファインダ機能を使用すること無しに撮影を行う際に用いられるファインダである。
The power supply 86 is a power supply unit including a primary battery such as an alkaline battery, a secondary battery such as a NiCd battery, a NiMH battery, and a Li ion battery, and an AC adapter.
The optical finder 104 is a finder used when taking a picture without using the electronic finder function by the image display unit 28.

I/F90は、メモリカードやハードディスク等の記録媒体120との間でデータをやり取りするためのインタフェース部である。コネクタ92は、メモリカードやハードディスク等の記録媒体と接続を行うためのコネクタ部である。
通信部110は、例えばUSBやIEEE1394、LAN、無線通信、等の各種通信を行うための通信機能部である。
コネクタ112は、通信部110を介して本実施形態の撮像装置100と他の機器とを接続するためのコネクタ部である。なお、コネクタ112には、無線通信が行われる場合のアンテナが含まれていてもよい。
記録媒体120は、半導体メモリ(メモリカード等)や磁気ディスク(ハードディスク等)から構成される記録部122、撮像装置100との間のI/F124、撮像装置100と接続をするためのコネクタ126等を備えている。
The I / F 90 is an interface unit for exchanging data with a recording medium 120 such as a memory card or a hard disk. The connector 92 is a connector portion for connecting to a recording medium such as a memory card or a hard disk.
The communication unit 110 is a communication function unit for performing various communications such as USB, IEEE1394, LAN, wireless communication, and the like.
The connector 112 is a connector unit for connecting the image pickup device 100 of the present embodiment to another device via the communication unit 110. The connector 112 may include an antenna for wireless communication.
The recording medium 120 includes a recording unit 122 composed of a semiconductor memory (memory card or the like) or a magnetic disk (hard disk or the like), an I / F 124 between the image pickup device 100, a connector 126 for connecting to the image pickup device 100, and the like. It has.

ここで、本実施形態の撮像装置100は、例えば夜景や星空の撮影を行う場合に、それら夜景や星空を撮影しやすくするための撮影モードを備えている。この撮影モードによれば、暗所でも適切な露出設定やピント位置の撮影がより手軽に行える。また、本実施形態の撮像装置100は、夜景や星空の撮影モードにおいて、天候や空の明るさなどの条件が悪い場合でも星を認識しやすいようにする強調処理を実行可能となされている。本実施形態の撮像装置100において、暗い背景の中に僅かに明るい星のような被写体が存在する場合の強調処理は、画像処理回路20により行われる。 Here, the imaging device 100 of the present embodiment is provided with a shooting mode for facilitating shooting of the night view or the starry sky, for example, when shooting the night view or the starry sky. According to this shooting mode, it is easier to shoot an appropriate exposure setting and focus position even in a dark place. Further, the image pickup apparatus 100 of the present embodiment is capable of executing an enhancement process that makes it easy to recognize a star even when conditions such as weather and sky brightness are bad in a shooting mode of a night view or a starry sky. In the image pickup apparatus 100 of the present embodiment, when a slightly bright star-like subject exists in a dark background, the enhancement process is performed by the image processing circuit 20.

図2は、本実施形態に係る画像処理回路20の概略的な構成例を示した図である。
画像処理回路20には、撮像素子14から出力されてA/D変換器16でA/D変換された後の画像信号が入力される。なお、撮像素子14からの画像信号はいわゆるベイヤ配列の信号であるとする。輝度生成部201は、ベイヤ配列の信号から輝度信号Yを生成する。色生成部202は、ベイヤ配列の信号から色差信号UVを生成する。エッジ強調部203は、入力された画像信号に対してエッジ強調処理を行う。そしてこれら輝度生成部201、色生成部202、エッジ強調部203の処理により得られたYUV信号は、後処理部204と検出系205とに送られる。後処理部204は、YUV信号に対して、リサイズ処理、彩度変更処理、エッジ強調処理等の後処理を、撮影シーン等に応じて実施する。検出系205は、画像全体や被写体の輝度レベルの検出、顔の検出、シーンの検出等を行う検出処理を実施する。そして、検出系205は、それら検出した輝度レベル、顔、シーン等に基づいて、輝度生成部201や色生成部202、エッジ強調部203、後処理部204における各処理で用いる各種のパラメータを適宜変更する。
FIG. 2 is a diagram showing a schematic configuration example of the image processing circuit 20 according to the present embodiment.
An image signal output from the image sensor 14 and A / D converted by the A / D converter 16 is input to the image processing circuit 20. It is assumed that the image signal from the image sensor 14 is a so-called bayer array signal. The luminance generation unit 201 generates a luminance signal Y from the signals in the bayer array. The color generation unit 202 generates a color difference signal UV from the signals of the bayer array. The edge enhancement unit 203 performs edge enhancement processing on the input image signal. Then, the YUV signal obtained by the processing of the luminance generation unit 201, the color generation unit 202, and the edge enhancement unit 203 is sent to the post-processing unit 204 and the detection system 205. The post-processing unit 204 performs post-processing such as resizing processing, saturation changing processing, and edge enhancement processing on the YUV signal according to the shooting scene and the like. The detection system 205 performs detection processing for detecting the brightness level of the entire image or the subject, detecting the face, detecting the scene, and the like. Then, the detection system 205 appropriately sets various parameters used in each processing in the brightness generation unit 201, the color generation unit 202, the edge enhancement unit 203, and the post-processing unit 204 based on the detected brightness level, face, scene, and the like. change.

図3(a)から図3(e)は、本実施形態に係る画像処理回路20のうち、星等の被写体に対する強調処理を行う構成およびその説明に用いる図である。
図3(a)は星等の被写体に対する強調処理を行う構成を示した図である。なお、本実施形態では、夜空の星を強調する星強調処理が、エッジ強調部203のエッジ強調処理で行われる例を挙げるが、後処理部204における後処理のエッジ強調処理の際に行われてもよい。
3 (a) to 3 (e) are views of the image processing circuit 20 according to the present embodiment, which is used for a configuration and an explanation thereof for emphasizing a subject such as a star.
FIG. 3A is a diagram showing a configuration in which a subject such as a star is emphasized. In the present embodiment, an example in which the star enhancement process for emphasizing the stars in the night sky is performed by the edge enhancement process of the edge enhancement unit 203 is performed, but it is performed during the edge enhancement process of the post-processing in the post-processing unit 204. You may.

図3(a)において、加減算回路300は、入力された画像信号の輝度レベルをシフトさせることで輝度レベルを調整することが可能なレベル調整回路である。加減算回路300による輝度レベルのシフトは、例えば、図2の検出系205により検出される画像の輝度レベルや被写体領域の輝度レベルに基づいて行われる。例えば、輝度レベルが所定の閾値より低い場合、検出系205は、加減算回路300で画像の輝度レベルを上げるレベル調整が行われるように、加減算回路300のパラメータを変更する。これにより、加減算回路300では、画像の輝度レベルが所定の閾値より低い場合には、輝度レベルを上げるようにシフトする処理が実施される。なお、検出された輝度レベルが所定の閾値以上である場合、検出系205は、加減算回路300で輝度レベルを上げるレベル調整が行われないように、加減算回路300のパラメータを設定する。 In FIG. 3A, the addition / subtraction circuit 300 is a level adjustment circuit capable of adjusting the luminance level by shifting the luminance level of the input image signal. The luminance level shift by the addition / subtraction circuit 300 is performed based on, for example, the luminance level of the image detected by the detection system 205 of FIG. 2 and the luminance level of the subject area. For example, when the luminance level is lower than a predetermined threshold value, the detection system 205 changes the parameters of the addition / subtraction circuit 300 so that the addition / subtraction circuit 300 adjusts the level to raise the luminance level of the image. As a result, in the addition / subtraction circuit 300, when the brightness level of the image is lower than a predetermined threshold value, a process of shifting to raise the brightness level is performed. When the detected luminance level is equal to or higher than a predetermined threshold value, the detection system 205 sets the parameters of the addition / subtraction circuit 300 so that the level adjustment for raising the luminance level is not performed in the addition / subtraction circuit 300.

加減算回路300から出力された画像信号は、減算回路302の非反転入力端子(+側端子)と、減算回路303の反転入力端子(−側端子)と、ローパスフィルタ(LPF)301とに入力する。また、ローパスフィルタ301によるローパスフィルタ処理後の画像信号は、減算回路302の反転入力端子と、減算回路303の非反転入力端子とに入力する。ここで、図3(b)は、加減算回路300に入力された画像信号の水平方向の波形の一部を示した図であり、縦軸方向が輝度レベル、横軸方向が画像の水平方向の座標を表しているとする。図3(c)は、図3(b)の信号がローパスフィルタ301によって処理された後の信号波形を表した図である。図3(c)に示すように、ローパスフィルタ処理後の信号波形は、図3(b)の信号から高周波成分がほぼ除去された信号波形となる。 The image signal output from the addition / subtraction circuit 300 is input to the non-inverting input terminal (+ side terminal) of the subtraction circuit 302, the inverting input terminal (-side terminal) of the subtraction circuit 303, and the low-pass filter (LPF) 301. .. Further, the image signal after the low-pass filter processing by the low-pass filter 301 is input to the inverting input terminal of the subtraction circuit 302 and the non-inverting input terminal of the subtraction circuit 303. Here, FIG. 3B is a diagram showing a part of the horizontal waveform of the image signal input to the addition / subtraction circuit 300, in which the vertical axis direction is the brightness level and the horizontal axis direction is the horizontal direction of the image. It is assumed that it represents coordinates. FIG. 3C is a diagram showing a signal waveform after the signal of FIG. 3B is processed by the low-pass filter 301. As shown in FIG. 3C, the signal waveform after the low-pass filter processing is a signal waveform in which high frequency components are substantially removed from the signal of FIG. 3B.

減算回路302と減算回路303では、加減算回路300から出力された画像信号と、ローパスフィルタ301による処理後の画像信号との差分が求められる。この際、負の信号は考慮しないことにより、減算回路302からは、高輝度側に凸のエッジ信号であるオーバーシュート成分の信号が得られる。図3(d)は減算回路302による処理後の信号波形を示している。減算回路302では、図3(b)の画像信号から図3(c)のローパスフィルタ処理後の画像信号が減算されることで、図3(d)中の斜線部分311がオーバーシュート成分となる信号が得られる。 In the subtraction circuit 302 and the subtraction circuit 303, the difference between the image signal output from the addition / subtraction circuit 300 and the image signal processed by the low-pass filter 301 is obtained. At this time, by not considering the negative signal, a signal of an overshoot component, which is an edge signal convex toward the high luminance side, can be obtained from the subtraction circuit 302. FIG. 3D shows the signal waveform after processing by the subtraction circuit 302. In the subtraction circuit 302, the image signal after the low-pass filter processing of FIG. 3 (c) is subtracted from the image signal of FIG. 3 (b), so that the shaded portion 311 in FIG. 3 (d) becomes an overshoot component. A signal is obtained.

逆に、減算回路303からは、低輝度側に凸のエッジ信号であるアンダーシュート成分の反転した信号が得られる。図3(e)は減算回路303による処理後の信号波形を示している。減算回路303では、図3(c)のローパスフィルタ処理後の画像信号から、図3(b)の画像信号が減算されることで、図3(e)中の網掛け部分321がアンダーシュート成分の反転した信号が得られる。 On the contrary, from the subtraction circuit 303, a signal in which the undershoot component, which is an edge signal convex toward the low luminance side, is inverted can be obtained. FIG. 3E shows the signal waveform after processing by the subtraction circuit 303. In the subtraction circuit 303, the shaded portion 321 in FIG. 3 (e) is an undershoot component by subtracting the image signal of FIG. 3 (b) from the image signal after the low-pass filter processing of FIG. 3 (c). The inverted signal of is obtained.

減算回路302から出力された信号はゲイン回路(AMP)304に入力する。また、減算回路303から出力された信号はゲイン回路306に入力する。ゲイン回路304は、ゲイン制御回路(CTRL)305からの制御信号により、オーバーシュート成分の信号に対してゲインおよび振幅を制限するクリップ処理を施す。また、本実施形態のゲイン回路306は、ゲイン制御回路307からの制御信号により、アンダーシュート成分の反転した信号に対してゲインおよび振幅を制限するクリップ処理を施す。本実施形態では、通常のエッジ強調処理のようにアンダーシュート成分を付与(つまり元信号からアンダーシュート成分の絶対値を減算)した信号値が計算上負の値になった場合に、信号値をゼロとして扱うこととしている。したがって、通常のエッジ強調処理では、背景が暗い画像の場合は、アンダーシュート成分を付与した信号値が突然ゼロに張り付いてしまう。そこでゲイン回路304は、上述のように信号値がゼロに張り付いてしまう場合には、エッジ強調効果の急激な変化を抑制するよう、クリップ処理を施す回路として機能する。 The signal output from the subtraction circuit 302 is input to the gain circuit (AMP) 304. Further, the signal output from the subtraction circuit 303 is input to the gain circuit 306. The gain circuit 304 performs a clip process for limiting the gain and amplitude on the signal of the overshoot component by the control signal from the gain control circuit (CTRL) 305. Further, the gain circuit 306 of the present embodiment is subjected to a clip process for limiting the gain and amplitude with respect to the signal in which the undershoot component is inverted by the control signal from the gain control circuit 307. In the present embodiment, when the signal value to which the undershoot component is added (that is, the absolute value of the undershoot component is subtracted from the original signal) becomes a negative value in calculation as in the normal edge enhancement processing, the signal value is set. It is treated as zero. Therefore, in the normal edge enhancement process, when the background is a dark image, the signal value to which the undershoot component is added suddenly sticks to zero. Therefore, the gain circuit 304 functions as a circuit that performs clipping processing so as to suppress a sudden change in the edge enhancement effect when the signal value sticks to zero as described above.

ゲイン回路304の出力信号は加算回路308に入力する。加算回路308は、加減算回路300に入力される前の元の画像信号と、ゲイン回路304によりオーバーシュート成分の信号がクリップ処理された後の信号とを加算する。そして、加算回路308の出力信号は加算回路309に入力する。
また加算回路309には、ゲイン回路306の出力信号が入力される。加算回路309は、加算回路308の出力信号と、ゲイン回路306の出力信号とを加算する。つまり加算回路309は、加減算回路300に入力される前の元の画像信号とゲイン回路304によるクリップ処理後のオーバーシュート成分の信号とを加算した信号と、ゲイン回路306によるクリップ処理後のアンダーシュート成分の反転した信号とを加算する。そして、この加算回路309の出力信号が強調処理後の信号となる。
The output signal of the gain circuit 304 is input to the adder circuit 308. The addition circuit 308 adds the original image signal before being input to the addition / subtraction circuit 300 and the signal after the signal of the overshoot component is clipped by the gain circuit 304. Then, the output signal of the adder circuit 308 is input to the adder circuit 309.
Further, the output signal of the gain circuit 306 is input to the adder circuit 309. The adder circuit 309 adds the output signal of the adder circuit 308 and the output signal of the gain circuit 306. That is, the addition circuit 309 adds the original image signal before being input to the addition / subtraction circuit 300 and the signal of the overshoot component after the clip processing by the gain circuit 304, and the undershoot after the clip processing by the gain circuit 306. The signal with the inverted component is added. Then, the output signal of the addition circuit 309 becomes a signal after the enhancement process.

上述したように、図3(a)の構成においては、エッジ強調処理を行う際に、画像信号のアンダーシュート成分を加算せずに減算することによってオーバーシュート成分として扱うようになされている。したがって、前述したようにアンダーシュート成分の付加により信号値がゼロに張り付くことはない。このような場合にクリップ処理を行うゲイン回路306を通してしまうと、アンダーシュート成分を反転することで得られるオーバーシュート成分がかえって抑制されることになってしまう。そこで図3(a)の構成は、画像の輝度レベルが所定の閾値より低い場合には、被写体の輝度レベルが低いことによるエッジ強調のアンダーシュート成分がクリップされないレベル分だけ画像の輝度レベルを上げてから、エッジ強調処理へ投入する構成となっている。また、画像の輝度レベルを上げてからエッジ強調処理へ投入する代わりに、星等の強調処理を行う構成は、ゲイン回路(304,306)でクリップ処理のゲインが適用される前の信号を用いてエッジ強調処理を実施する構成であってもよい。 As described above, in the configuration of FIG. 3A, when the edge enhancement process is performed, the undershoot component of the image signal is subtracted without being added to be treated as an overshoot component. Therefore, as described above, the signal value does not stick to zero due to the addition of the undershoot component. In such a case, if the gain circuit 306 that performs the clipping process is passed through, the overshoot component obtained by inverting the undershoot component will be rather suppressed. Therefore, in the configuration of FIG. 3A, when the brightness level of the image is lower than a predetermined threshold value, the brightness level of the image is raised by the level at which the undershoot component of edge enhancement due to the low brightness level of the subject is not clipped. After that, it is configured to be input to the edge enhancement processing. Further, in the configuration in which the enhancement processing such as stars is performed instead of inputting to the edge enhancement processing after increasing the brightness level of the image, the signal before the gain of the clip processing is applied by the gain circuit (304, 306) is used. The edge enhancement process may be performed.

なお、ここで用いるローパスフィルタ301は、例えば着目画素について、その着目画素とそれに隣接する画素とで、1:2:1(/4)となる割合で着目画素の値を置き換えるようなフィルタであるとする。
また、本実施形態では、加減算回路300から出力された画像信号と、ローパスフィルタ処理後の画像信号との差分を求めたが、それに限らず、高周波成分を含む信号と高周波成分を含まない信号との差分を求めることができればよい。
The low-pass filter 301 used here is, for example, a filter that replaces the value of the pixel of interest with the pixel of interest and the pixel adjacent thereto at a ratio of 1: 2: 1 (/4). And.
Further, in the present embodiment, the difference between the image signal output from the addition / subtraction circuit 300 and the image signal after the low-pass filter processing is obtained, but the difference is not limited to this, and a signal containing a high frequency component and a signal not containing a high frequency component It is only necessary to be able to obtain the difference between.

図4は、本実施形態の撮像装置100において星等の被写体に対する強調処理が行われる際の処理の流れを示すフローチャートである。図4のフローチャートの処理は、主に画像処理回路20において行われるが、一部はシステム制御回路50に係る処理が含まれている。 FIG. 4 is a flowchart showing the flow of processing when the imaging device 100 of the present embodiment performs enhancement processing for a subject such as a star. The processing of the flowchart of FIG. 4 is mainly performed by the image processing circuit 20, but a part of the processing is related to the system control circuit 50.

図4において、システム制御回路50は、シャッタースイッチ64が操作されてスイッチSW2のON信号を受け取ると、ステップS401の処理として、撮像装置100における撮影動作を開始する。ステップS401で撮影が開始されると、画像処理回路20は、ステップS402の処理として、撮像素子14で撮像されてA/D変換器16から入力された撮像画像の平均輝度レベルを取得する。 In FIG. 4, when the shutter switch 64 is operated and the ON signal of the switch SW2 is received, the system control circuit 50 starts the photographing operation in the image pickup apparatus 100 as the process of step S401. When shooting is started in step S401, the image processing circuit 20 acquires the average luminance level of the captured image captured by the image sensor 14 and input from the A / D converter 16 as the process of step S402.

次にステップS403に進むと、画像処理回路20は、輝度レベルについて予め設定されている閾値と、ステップS402で取得された平均輝度レベルとを比較するレベル判定の処理を行う。そして、画像処理回路20は、平均輝度レベルが閾値より低い低輝度であると判定した場合にはステップS404に処理を進める。一方、画像処理回路20は、平均輝度レベルが閾値以上であると判定された場合、つまりある程度高い輝度である場合にはステップS405に処理を進める。 Next, when the process proceeds to step S403, the image processing circuit 20 performs a level determination process for comparing the threshold value preset for the luminance level with the average luminance level acquired in step S402. Then, when the image processing circuit 20 determines that the average brightness level is lower than the threshold value, the image processing circuit 20 proceeds to step S404. On the other hand, the image processing circuit 20 proceeds to step S405 when it is determined that the average brightness level is equal to or higher than the threshold value, that is, when the brightness is high to some extent.

ステップS404に進むと、画像処理回路20では、加減算回路300によって画像の輝度レベルを上げるようにシフトする処理が行われる。
その後、画像処理回路20は、ステップS405に進むと、星等の被写体に対する強調処理としてのエッジ強調を行う。
Proceeding to step S404, in the image processing circuit 20, the addition / subtraction circuit 300 performs a process of shifting so as to raise the brightness level of the image.
After that, when the image processing circuit 20 proceeds to step S405, the image processing circuit 20 performs edge enhancement as an enhancement process for a subject such as a star.

なお、ステップS402で行われる輝度レベルの取得は、画像全体の輝度レベルの平均値を求める前提で記載したが、例えば空と地面や建物などの領域検出を行ない、所定の領域として、例えば空領域についての輝度レベルの平均値を取得するようにしてもよい。この場合、その後のステップS403では、空領域の輝度レベルの平均値と閾値との比較が行われることになる。 The acquisition of the brightness level performed in step S402 is described on the premise that the average value of the brightness level of the entire image is obtained. However, for example, the sky and the ground, the building, and the like are detected, and the predetermined area is, for example, the empty area. You may want to get the average value of the luminance levels for. In this case, in the subsequent step S403, the average value of the brightness levels in the empty region and the threshold value are compared.

以上説明したように、本実施形態によれば、画像の輝度レベルが低いことによるエッジ強調のアンダーシュート成分がクリップされないようにすることで、アンダーシュート成分の目立たない強調処理が可能となる。また本実施形態によれば、特に暗い背景であっても強調効果が弱まることのない強調処理を実現可能となる。 As described above, according to the present embodiment, by preventing the undershoot component of edge enhancement due to the low brightness level of the image from being clipped, it is possible to enhance the undershoot component inconspicuously. Further, according to the present embodiment, it is possible to realize an enhancement process in which the enhancement effect is not weakened even on a particularly dark background.

以上、本発明の各実施形態について詳述してきたが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
また前述した実施形態の画像処理装置に係る各機能やフローチャートの処理は、ハードウェア構成のみで実現されてもよいし、CPU等がプログラムを実行することによるソフトウェアモジュールとして構成されていてもよい。また、一部がハードウェア構成で残りがソフトウェアモジュールとして構成されていてもよい。このソフトウェアモジュールを構成するためのプログラムは、予め用意されて内部メモリ等に記憶されている場合だけでなく、外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。
Although each embodiment of the present invention has been described in detail above, the present invention is not limited to these embodiments, and various embodiments within the scope of the gist of the present invention are also included in the present invention.
Further, the processing of each function and the flowchart related to the image processing device of the above-described embodiment may be realized only by the hardware configuration, or may be configured as a software module by executing a program by a CPU or the like. Further, a part may be configured as a hardware configuration and the rest may be configured as a software module. The program for configuring this software module is not only when it is prepared in advance and stored in an internal memory or the like, but also when it is acquired from a recording medium such as an external memory or via a network (not shown). You may.

また前述の実施形態では、デジタルカメラへの適用例を挙げたが、例えば監視カメラ、工業用カメラ、車載カメラ、医療用カメラ、撮影機能を備えたスマートフォン、タブレット端末などにも適用可能である。 Further, in the above-described embodiment, an example of application to a digital camera has been given, but it can also be applied to, for example, a surveillance camera, an industrial camera, an in-vehicle camera, a medical camera, a smartphone having a photographing function, a tablet terminal, and the like.

本発明に係る信号処理における1以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの1つ以上のプロセッサーにより読また出し実行されることで実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 A program that realizes one or more functions in signal processing according to the present invention can be supplied to a system or device via a network or storage medium, and is read and executed by one or more processors of the computer of the system or device. It is feasible by being done. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.

100:撮像装置、14:撮像素子、20:画像処理回路、50:システム制御回路 100: image pickup device, 14: image sensor, 20: image processing circuit, 50: system control circuit

Claims (9)

画像信号の輝度レベルを調整するレベル調整手段と、
前記画像信号にエッジ強調処理を施すエッジ強調手段と、を有し、
前記エッジ強調手段は、前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理手段を含み、
前記レベル調整手段は、前記画像信号の輝度レベルが閾値より低い場合には、前記画像信号の輝度レベルを上げるように調整してから前記エッジ強調手段へ入力することを特徴とする画像処理装置。
Level adjustment means for adjusting the brightness level of the image signal,
It has an edge enhancement means for performing edge enhancement processing on the image signal.
The edge enhancing means includes a processing means for processing an undershoot component of the image signal as an overshoot component during the edge enhancing process.
The image processing apparatus is characterized in that, when the brightness level of the image signal is lower than the threshold value, the level adjusting means adjusts the brightness level of the image signal so as to increase the brightness level and then inputs the image signal to the edge enhancing means.
前記エッジ強調処理は信号のゲインおよび振幅を制限するクリップ処理を含み、
前記レベル調整手段は、前記画像信号の輝度レベルが閾値より低い場合、前記エッジ強調処理でアンダーシュート成分がクリップ処理されないレベルだけ、前記画像信号の輝度レベルを上げるように調整することを特徴とする請求項1に記載の画像処理装置。
The edge enhancement process includes a clip process that limits the gain and amplitude of the signal.
The level adjusting means is characterized in that when the brightness level of the image signal is lower than the threshold value, the brightness level of the image signal is increased by the level at which the undershoot component is not clipped by the edge enhancement processing. The image processing apparatus according to claim 1.
前記レベル調整手段は、前記画像信号による画像全体の平均輝度レベル、もしくは前記画像信号の中の所定の領域の平均輝度レベルが、前記閾値より低い場合に、前記輝度レベルの前記調整を行うことを特徴とする請求項1または2に記載の画像処理装置。 When the average luminance level of the entire image by the image signal or the average luminance level of a predetermined region in the image signal is lower than the threshold value, the level adjusting means performs the adjustment of the luminance level. The image processing apparatus according to claim 1 or 2. 画像信号の輝度レベルを判定するレベル判定手段と、
前記画像信号にエッジ強調処理を施すエッジ強調手段と、を有し、
前記エッジ強調処理は信号のゲインおよび振幅を制限するクリップ処理を含み、
前記エッジ強調手段は、
前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理手段を含み、
前記レベル判定手段によって前記画像信号の輝度レベルが閾値より低いと判定された場合には、前記クリップ処理が行われる前の信号を用いて前記エッジ強調処理を行うことを特徴とする画像処理装置。
A level determination means for determining the luminance level of an image signal and
It has an edge enhancement means for performing edge enhancement processing on the image signal.
The edge enhancement process includes a clip process that limits the gain and amplitude of the signal.
The edge enhancing means
A processing means for processing an undershoot component of the image signal as an overshoot component during the edge enhancement process is included.
An image processing apparatus characterized in that when the luminance level of the image signal is determined by the level determining means to be lower than the threshold value, the edge enhancement processing is performed using the signal before the clipping processing is performed.
前記レベル判定手段は、前記画像信号による画像全体の平均輝度レベル、もしくは前記画像信号の中の所定の領域の平均輝度レベルが、前記閾値より低いか否かを判定することを特徴とする請求項4に記載の画像処理装置。 The level determining means is characterized in that it determines whether or not the average luminance level of the entire image based on the image signal or the average luminance level of a predetermined region in the image signal is lower than the threshold value. The image processing apparatus according to 4. 前記処理手段は、前記エッジ強調処理の際に、前記画像信号に対して前記アンダーシュート成分を減算することにより、前記アンダーシュート成分を前記オーバーシュート成分として処理することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。 The processing means according to claim 1, wherein the undershoot component is processed as the overshoot component by subtracting the undershoot component from the image signal at the time of the edge enhancement processing. 5. The image processing apparatus according to any one of 5. 画像処理装置が実行する画像処理方法であって、
画像信号の輝度レベルを調整するレベル調整工程と、
前記画像信号にエッジ強調処理を施すエッジ強調工程と、を有し、
前記エッジ強調工程は、前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理工程を含み、
前記レベル調整工程では、前記画像信号の輝度レベルが閾値より低い場合には、前記画像信号の輝度レベルを上げるように調整してから前記エッジ強調工程へ入力することを特徴とする画像処理方法。
An image processing method executed by an image processing device.
A level adjustment process that adjusts the brightness level of the image signal,
It has an edge enhancement step of performing edge enhancement processing on the image signal.
The edge enhancement step includes a processing step of processing an undershoot component of the image signal as an overshoot component during the edge enhancement process.
In the level adjusting step, when the brightness level of the image signal is lower than the threshold value, the image processing method is characterized in that the brightness level of the image signal is adjusted to be raised and then input to the edge enhancement step.
画像処理装置が実行する画像処理方法であって、
画像信号の輝度レベルを判定するレベル判定工程と、
前記画像信号にエッジ強調処理を施すエッジ強調工程と、を有し、
前記エッジ強調処理は信号のゲインおよび振幅を制限するクリップ処理を含み、
前記エッジ強調工程は、
前記エッジ強調処理の際に前記画像信号のアンダーシュート成分をオーバーシュート成分として処理する処理工程を含み、
前記レベル判定工程によって前記画像信号の輝度レベルが閾値より低いと判定された場合には、クリップ処理が行われる前のエッジ信号を用いて前記エッジ強調処理を行うことを特徴とする画像処理方法。
An image processing method executed by an image processing device.
The level determination process for determining the brightness level of the image signal and
It has an edge enhancement step of performing edge enhancement processing on the image signal.
The edge enhancement process includes a clip process that limits the gain and amplitude of the signal.
The edge enhancement step is
A processing step of processing an undershoot component of the image signal as an overshoot component during the edge enhancement process is included.
An image processing method characterized in that when the brightness level of the image signal is determined to be lower than the threshold value by the level determination step, the edge enhancement process is performed using the edge signal before the clip process is performed.
コンピュータを、請求項1から6のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the image processing apparatus according to any one of claims 1 to 6.
JP2019039428A 2019-03-05 2019-03-05 Image processing device, image processing method, and program Pending JP2020145538A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019039428A JP2020145538A (en) 2019-03-05 2019-03-05 Image processing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019039428A JP2020145538A (en) 2019-03-05 2019-03-05 Image processing device, image processing method, and program

Publications (1)

Publication Number Publication Date
JP2020145538A true JP2020145538A (en) 2020-09-10

Family

ID=72355580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019039428A Pending JP2020145538A (en) 2019-03-05 2019-03-05 Image processing device, image processing method, and program

Country Status (1)

Country Link
JP (1) JP2020145538A (en)

Similar Documents

Publication Publication Date Title
US7973848B2 (en) Method and apparatus for providing composition information in digital image processing device
US9838609B2 (en) Image capturing apparatus, control apparatus and control method for controlling zooming function
JP6460721B2 (en) Image processing apparatus, image processing method, and program
JP6116299B2 (en) Imaging apparatus and control method thereof
US20160028944A1 (en) Image processing apparatus, imaging apparatus, and image processing method
JP5889247B2 (en) Image processing apparatus, image processing method, image processing program, and imaging apparatus
US10839497B2 (en) Image processing apparatus and method
JP5576706B2 (en) Image processing apparatus, control method therefor, and imaging apparatus
JP6192416B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2007081732A (en) Imaging apparatus
JP6116436B2 (en) Image processing apparatus and image processing method
JP2010050573A (en) Image capturing apparatus and method of controlling the same
JP2012090041A (en) Image processing device, method, and program
US10674092B2 (en) Image processing apparatus and method, and image capturing apparatus
JP2014143457A (en) HDR switching control method
JP2020145538A (en) Image processing device, image processing method, and program
JP6353585B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP6433177B2 (en) Image processing apparatus and image processing method
JP2015053652A (en) Imaging apparatus, and control method and control program for the same
JP2020042497A (en) Image processing device, control method thereof and program
JP2017038300A (en) Image processing apparatus and method
JP2012039178A (en) Imaging apparatus, exposure control method and program
JP2011039112A (en) Imaging device
JP6800693B2 (en) Imaging device and driving method of imaging device
JP2016163327A (en) Image processing apparatus, image processing method, and program