JP2017050693A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2017050693A JP2017050693A JP2015172319A JP2015172319A JP2017050693A JP 2017050693 A JP2017050693 A JP 2017050693A JP 2015172319 A JP2015172319 A JP 2015172319A JP 2015172319 A JP2015172319 A JP 2015172319A JP 2017050693 A JP2017050693 A JP 2017050693A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- time
- luminance
- edge portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.
近年のデジタルカメラなどの画像処理装置では、音声付き動画を撮影記録する様々な方式が採られており、最近では、露光時間を変更しながらオーバー露光、適正露光、アンダー露光の画像を連続撮像して各画像を合成するものが知られている。この合成により、ダイナミックレンジの広い動画(以下、HDR動画という)を生成することができる。 In recent image processing devices such as digital cameras, various methods of capturing and recording moving images with sound have been adopted. Recently, overexposure, proper exposure, and underexposure images are continuously captured while changing the exposure time. There is known a technique for combining images. Through this synthesis, a moving image having a wide dynamic range (hereinafter referred to as an HDR moving image) can be generated.
特許文献1では、連続撮像した各画像の被写体に変化があり、画像合成に不具合が発生する場合には、画像合成を行わないと判断し、撮像した画像をそのまま利用する方法が開示されている。 Patent Document 1 discloses a method of determining that image composition is not performed and using the captured image as it is when there is a change in the subject of each continuously captured image and a problem occurs in image composition. .
しかし、特許文献1では、画像合成を行う各画像のうち、例えば最後の画像で画像合成を行わないと判断された場合、以下の2点の課題がある。1点目は、最後の画像以前の画像に対して合成のために行った処理が無駄となってしまうことである。2点目は、撮像した画像をそのまま利用するために、画像合成を行わないことが決定する時(最後の画像の被写体の変化の検出時)まで、撮像した画像をメモリに保持しておかなければならないことである。つまり、特許文献1では、電力とメモリを無駄に消費してしまうという課題がある。 However, in Patent Document 1, when it is determined that image synthesis is not performed on, for example, the last image among the images to be synthesized, there are the following two problems. The first point is that processing performed for composition on the image before the last image is wasted. Secondly, in order to use the captured image as it is, the captured image must be held in the memory until it is decided not to combine the images (when the change in the subject of the last image is detected). It must be done. That is, Patent Document 1 has a problem that power and memory are wasted.
本発明の目的は、電力及びメモリの消費を低減することができる画像処理装置、画像処理方法及びプログラムを提供することである。 An object of the present invention is to provide an image processing apparatus, an image processing method, and a program capable of reducing power consumption and memory consumption.
本発明の画像処理装置は、画像を生成する撮像部と、前記撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出部と、前記エッジ部輝度算出部により算出された輝度に応じて、異なる順序で露光時間が異なる複数の画像を前記撮像部に生成させる制御部と、前記露光時間が異なる複数の画像を合成する画像合成部とを有することを特徴とする。 The image processing apparatus of the present invention includes an imaging unit that generates an image, an edge luminance calculation unit that calculates the luminance of an edge portion of the image generated by the imaging unit, and the luminance calculated by the edge luminance calculation unit And a control unit that causes the imaging unit to generate a plurality of images having different exposure times in different orders, and an image synthesis unit that synthesizes the plurality of images having different exposure times.
露光時間の順序を異ならせることにより、電力及びメモリの消費を低減することができる。 By varying the order of exposure times, power consumption and memory consumption can be reduced.
図1は、本発明の実施形態による画像処理装置100の構成例を示すブロック図である。画像処理装置100は、例えばカメラであり、ズームレンズ110、カメラのブレを補正するシフトレンズ111、及び焦点調節用フォーカスレンズ112を有する。メカニカルシャッタ113は、レンズ110〜112から撮像素子115への光束を遮断する。絞り114は、撮像素子115への光束を調節する。撮像素子115は、光電変換により、被写体の光像を基に画像信号を生成する撮像部である。タイミング発生部116は、撮像素子115を駆動し、サンプリングに必要なタイミングパルスを画像処理部117に出力する。
FIG. 1 is a block diagram illustrating a configuration example of an
画像処理部117は、SSG回路145、前処理回路141、AF評価値演算回路142、輝度積分回路143、信号処理回路146、画像合成回路144、縮小回路147、ラスタブロック変換回路148及び圧縮回路149を有する。SSG回路145は、撮像駆動用の同期信号を生成する。具体的には、SSG回路145は、タイミング発生部116から撮像駆動用クロック信号を入力し、水平及び垂直同期信号を生成してタイミング発生部116及び撮像素子115に出力する。前処理回路141は、入力画像を行単位で輝度積分回路143と信号処理回路146とに分配する。また、前処理回路141は、撮像データに必要となるチャネル間のデータ補正等の処理を行う。AF評価値演算回路142は、設定された複数の評価領域内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストを表す所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。輝度積分回路143は、RGB信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。信号処理回路146は、撮像素子115の出力データに対して、色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、信号処理回路146は、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部123にYUV形式の画像データを格納する。また、信号処理回路146は、生成するYUV形式の画像データの輝度信号(Y)をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。画像合成回路144は、メモリ部123に格納された複数のRGB形式の撮像画像、又はその撮像画像に対して信号処理を施した複数のYUV形式の画像データを入力し、画像データに対し画素単位で設定された係数を乗じて加算することにより合成画像を生成する。縮小回路147は、信号処理回路146の出力信号を入力し、入力される画素データの切り出し、間引き、及び線形補間処理等を行い、水平及び垂直方向に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路148は、縮小回路147で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部123がバッファメモリとして用いられて実現される。圧縮回路149は、バッファメモリでブロックスキャンデータに変換されたYUV画像データを動画圧縮方式に従って圧縮して、動画ビットストリームを出力する。
The
露出制御部118は、メカニカルシャッタ113及び絞り114を制御する。レンズ駆動部119は、ズームレンズ110及び焦点調節用フォーカスレンズ112を光軸上に沿って移動させ、被写体像を撮像素子115上に結像させる。また、レンズ駆動部119は、角速度センサ及び加速度センサの出力に応じてシフトレンズ111を駆動し、画像処理装置100の手ブレを光学的に補正する。また、レリーズスイッチ120は、撮影指示を行うためのスイッチである。また、動画ボタン180は、動画記録を指示するスイッチである。
The
システム制御部121は、CPUと、インターフェース回路と、DMAC(Direct・Memory・Access・Controller)と、バスアービターとを有する。システム制御部121が実行するプログラムは、フラッシュメモリ122に記憶されている。また、メモリ部123は、DRAM等であり、各処理途中のデータを一時保存する他、フラッシュメモリ122内のプログラムを展開して使用される。インターフェース部124は、記録媒体200とのインターフェースである。コネクタ125は、記録媒体200と接続を行う。記録媒体着脱検知スイッチ126は、記録媒体200の着脱を検知する。
The
マイクロフォン127は、入力された音声を音声信号に変換する。A/D変換器128は、マイクロフォン127のアナログ音声出力をデジタル音声信号に変換する。音声処理部129は、デジタル音声データに所定の音声処理を施し、音声ビットストリームを出力する。
The
電源制御部130は、電池検出回路及びDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。電源132は、一次電池あるいは二次電池あるいはACアダプター等であり、電源コネクタ131を介して電源制御部130に接続される。これらの制御は、システム制御部121で行われる。
The power
再生回路150は、画像処理部117で生成され、メモリ部123に記憶された画像データを表示用画像に変換してモニタ151に転送する。モニタ151は、表示装置である。再生回路150は、YUV形式の画像データを輝度成分信号Yと変調色差成分Cとに分離し、D/A変換を行ったアナログ化された輝度成分信号Yにローパスフィルタリング(LPF)を施す。また、再生回路150は、D/A変換を行ったアナログ変調色差成分Cにバンドパスフィルタリング(BPF)を施して変調色差成分Cの周波数成分のみを抽出する。再生回路150は、こうして生成された信号成分とサブキャリア周波数に基づいて、Y信号とRGB信号に変換生成して、モニタ151に出力する。このように、撮像素子115からの画像データを逐次処理してモニタ151に表示することによって電子ビューファインダ(EVF)が実現される。
The
記録媒体200は、半導体メモリ等から構成される記録部201、画像処理装置100とのインターフェース部202、画像処理装置100と接続を行うコネクタ203、媒体記録禁止スイッチ204を有する。
The
本実施形態では、露光時間を変えて連続する複数のフレームの画像を合成することによりHDR動画を生成する例を説明する。HDRは、ハイダイナミックレンジである。ここでは、画像の明暗差を判定し、その判定結果により、HDR動画もしくは通常動画を動的に切り替えながら記録を行う自動HDR動画について説明する。 In the present embodiment, an example will be described in which an HDR video is generated by combining images of a plurality of consecutive frames with different exposure times. HDR is a high dynamic range. Here, a description will be given of an automatic HDR moving image in which the contrast between images is determined and recording is performed while dynamically switching between an HDR moving image or a normal moving image based on the determination result.
なお、前提として、撮像素子115としてCMOSセンサを使用し、記録フレームレートは60FPSとする。HDR動画時の撮像駆動モードは少なくとも180FPS以上の高速読み出しが可能なモードを使用するものとする。ただし、撮像フレームレートは180FPS又は60FPSの可変設定とする。HDR動画では、撮像フレームレートを180FPSとして、連続撮像したオーバー露光、適正露光、アンダー露光の3枚を合成することで、1枚のHDRフレームを作成する。一方、通常動画では、撮像フレームレートを60FPSに切り替える。
As a premise, a CMOS sensor is used as the
図2は、画像処理装置100の画像処理方法(自動HDR動画記録処理)を示すフローチャートである。この各処理は、システム制御部121がフラッシュメモリ122に格納されたプログラムをメモリ部123に展開して実行することにより実現される。なお、図2は、動画ボタン180により動画記録開始が指示された後の処理を表している。
FIG. 2 is a flowchart showing an image processing method (automatic HDR moving image recording process) of the
まず、ステップS201では、システム制御部121は、画像処理部117に対して、通常動画用の60FPSの撮像駆動指示を行う。さらに、システム制御部121は、撮像素子115に対して、通常動画用のタイミング設定を行う。次に、ステップS202では、システム制御部121は、撮像素子115から画像処理部117に入力された画像を複数ブロックに分割し、ブロック毎に信号を積分した結果を基に画像が適正露光(M)となるような適正露光時間の設定を行う。そして、システム制御部121は、適正露光時間で撮像素子115に画像を生成させる。
First, in step S <b> 201, the
次に、ステップS203では、システム制御部(エッジ部抽出部)121は、ステップS202の適正露光時間で生成された適正露光画像(M)に対して、主要被写体のエッジ部を抽出する。次に、ステップS204では、システム制御部(エッジ部輝度算出部)121は、ステップS203により抽出されたエッジ部の輝度を算出する。次に、ステップS205では、システム制御部(明暗差検出部)121は、上記の適正露光画像のブロック毎に信号を積分し、その積分結果を基に適正露光画像内の高輝度ブロックと低輝度ブロックの間の明暗差を検出する。次に、ステップS206では、システム制御部121は、適正露光画像を動画の1フレームとしてエンコードして記録する。すなわち、画像処理部(画像合成部)117は、適正露光時間の画像を合成せずに出力する。次に、ステップS207では、システム制御部121は、動画ボタン180による動画記録停止が指示されているか否かを判定する。動画記録停止が指示されている場合にはステップS208へ進み、指示されていない場合にはステップS209へ進む。
Next, in step S203, the system control unit (edge portion extraction unit) 121 extracts the edge portion of the main subject from the proper exposure image (M) generated with the proper exposure time in step S202. Next, in step S204, the system control unit (edge portion luminance calculation unit) 121 calculates the luminance of the edge portion extracted in step S203. Next, in step S205, the system control unit (brightness / darkness difference detection unit) 121 integrates the signal for each block of the appropriate exposure image, and based on the integration result, the high luminance block and the low luminance in the appropriate exposure image. Detect the contrast between the blocks. Next, in step S206, the
ステップS209では、システム制御部121は、ステップS205又は後述するステップS216、S228で検出した明暗差が第2の閾値以上か否かを判定する。明暗差が第2の閾値未満である場合にはステップS201へ戻り、第2の閾値以上である場合にはステップS210へ進む。
In step S209, the
ステップS210では、システム制御部121は、画像処理部117に対して、HDR動画用の180FPSの撮像駆動指示を行う。さらに、システム制御部121は、撮像素子115に対して、HDR動画用のタイミング設定を行う。次に、ステップS211では、システム制御部121は、ステップS204又は後述するステップS215、S227で算出したエッジ部の輝度が第1の閾値以上か否かを判定する。輝度が第1の閾値未満である場合にはステップS212へ進み、第1の閾値以上である場合にはステップS224へ進む。
In step S210, the
ステップS212では、システム制御部121は、撮像素子115から画像処理部117に入力された画像を複数ブロックに分割し、ブロック毎に信号を積分した結果を基に画像が適正となる適正露光時間(M)を決定する。そして、システム制御部121は、フレーム毎に露光時間がアンダー露光時間、適正露光時間、オーバー露光時間の順序(L→M→H)で変わるように露光時間の設定を行い、各露光時間のフレームの画像を撮像素子115から読み出す。すなわち、システム制御部121は、アンダー露光時間、適正露光時間、オーバー露光時間の順序で撮像素子115に画像を生成させる。
In step S212, the
次に、ステップS213では、システム制御部(エッジ部抽出部)121は、ステップS212でアンダー露光時間で生成されたアンダー露光画像(L)から、主要被写体のエッジ部を抽出する。次に、ステップS214では、システム制御部(エッジ部抽出部)121は、ステップS212で適正露光時間で生成された適正露光画像(M)から、主要被写体のエッジ部を抽出する。次に、ステップS215では、システム制御部(エッジ部輝度算出部)121は、ステップS214で抽出されたエッジ部の輝度を算出する。次に、ステップS216では、システム制御部(明暗差検出部)121は、適正露光画像(M)のブロック毎に信号を積分し、その積分結果を基に適正露光画像内の高輝度ブロックと低輝度ブロックの間の明暗差を検出する。次に、ステップS217では、システム制御部121は、ステップS213で抽出したアンダー露光画像(L)のエッジ部の有無を判定する。エッジ部がある場合にはステップS218へ進み、エッジ部がない場合にはステップS223へ進む。
Next, in step S213, the system control unit (edge portion extraction unit) 121 extracts the edge portion of the main subject from the underexposure image (L) generated in step S212 with the underexposure time. Next, in step S214, the system control unit (edge portion extraction unit) 121 extracts the edge portion of the main subject from the appropriate exposure image (M) generated with the appropriate exposure time in step S212. Next, in step S215, the system control unit (edge portion luminance calculation unit) 121 calculates the luminance of the edge portion extracted in step S214. Next, in step S216, the system control unit (brightness / darkness difference detection unit) 121 integrates the signal for each block of the proper exposure image (M), and based on the integration result, the high luminance block in the proper exposure image and the low luminance block are integrated. Detect a light / dark difference between luminance blocks. Next, in step S217, the
ステップS218では、システム制御部121は、ステップS212で適正露光時間で生成された適正露光画像(M)から、合成用画像(M’)を生成する。次に、ステップS219では、システム制御部121は、ステップS212でアンダー露光時間で生成されたアンダー露光画像(L)とステップS218で生成された合成用画像(M’)とを画像処理部117により合成し、中間合成画像(L+M’=α)を生成する。次に、ステップS220では、システム制御部121は、ステップS212でオーバー露光時間で生成されたオーバー露光画像(H)から、合成用画像(H’)を生成する。次に、ステップS221では、システム制御部121は、ステップS219で生成された中間合成画像(L+M’=α)と、ステップS220で生成された合成用画像(H’)とを画像処理部117により合成し、HDR画像(L+M’+H’)を生成する。HDR画像(L+M’+H’)は、アンダー露光画像(L)に対して、適正露光画像(M)及びオーバー露光画像(H)を合成した画像である。すなわち、画像処理部(画像合成部)117は、アンダー露光時間、適正露光時間及びオーバー露光時間で生成された画像を合成し、その合成したHDR画像(L+M’+H’)を出力する。次に、ステップS222では、システム制御部121は、ステップS221で生成されたHDR画像(L+M’+H’)を動画の1フレームとしてエンコードして記録する。その後、ステップS207へ進む。
In step S218, the
ステップS223では、システム制御部121は、ステップS212で適正露光時間で生成された適正露光画像(M)を合成せずに動画の1フレームとしてエンコードして記録する。すなわち、画像処理部(画像合成部)117は、適正露光時間で生成された画像を合成せずに出力する。その後、ステップS207へ進む。
In step S223, the
ステップS224では、システム制御部121は、撮像素子115から画像処理部117に入力された画像を複数ブロックに分割し、ブロック毎に信号を積分した結果を基に画像が適正となる適正露光時間(M)を決定する。そして、システム制御部121は、フレーム毎に露光時間がオーバー露光時間、適正露光時間、アンダー露光時間の順序(H→M→L)で変わるように露光時間の設定を行い、各露光時間のフレームの画像を撮像素子115から読み出す。すなわち、システム制御部121は、オーバー露光時間、適正露光時間、アンダー露光時間の順序で撮像素子115に画像を生成させる。
In step S224, the
次に、ステップS225では、システム制御部(エッジ部抽出部)121は、ステップS224でオーバー露光時間で生成されたオーバー露光画像(H)から、主要被写体のエッジ部を抽出する。次に、ステップS226では、システム制御部(エッジ部抽出部)121は、ステップS224で適正露光時間で生成された適正露光画像(M)から、主要被写体のエッジ部を抽出する。次に、ステップS227では、システム制御部(エッジ部輝度算出部)121は、ステップS226で抽出されたエッジ部の輝度を算出する。次に、ステップS228では、システム制御部121は、適正露光画像(M)のブロック毎に信号を積分し、その積分結果を基に適正露光画像内の高輝度ブロックと低輝度ブロックの間の明暗差を検出する。次に、ステップS229では、システム制御部121は、ステップS225で抽出されたオーバー露光画像(H)のエッジ部の有無を判定する。エッジ部がある場合にはステップS230へ進み、エッジ部がない場合にはステップS223へ進む。
Next, in step S225, the system control unit (edge portion extraction unit) 121 extracts the edge portion of the main subject from the overexposure image (H) generated with the overexposure time in step S224. Next, in step S226, the system control unit (edge portion extraction unit) 121 extracts the edge portion of the main subject from the appropriate exposure image (M) generated with the appropriate exposure time in step S224. Next, in step S227, the system control unit (edge portion luminance calculation unit) 121 calculates the luminance of the edge portion extracted in step S226. Next, in step S228, the
ステップS230では、システム制御部121は、ステップS224で適正露光時間で生成された適正露光画像(M)から、合成用画像(M’)を生成する。次に、ステップS231では、システム制御部121は、ステップS224でオーバー露光時間で生成されたオーバー露光画像(H)とステップS230で生成された合成用画像(M’)とを画像処理部117により合成し、中間合成画像(H+M’=β)を生成する。次に、ステップS232では、システム制御部121は、ステップS224でアンダー露光時間で生成されたアンダー露光画像(L)から、合成用画像(L’)を生成する。次に、ステップS233では、システム制御部121は、ステップS231で生成された中間合成画像(H+M’=β)と、ステップS232で生成された合成用画像(L’)とを画像処理部117により合成し、HDR画像(H+M’+L’)を生成する。HDR画像(H+M’+L’)は、オーバー露光画像(H)に対して、適正露光画像(M)及びアンダー露光画像(L)を合成した画像である。すなわち、画像処理部(画像合成部)117は、オーバー露光時間、適正露光時間及びアンダー露光時間で生成された画像を合成し、その合成したHDR画像(H+M’+L’)を出力する。次に、ステップS234では、システム制御部121は、ステップS233で生成されたHDR画像(H+M’+L’)を動画の1フレームとしてエンコードして記録する。その後、ステップS207へ進む。
In step S230, the
ステップS208では、システム制御部121は、ステップS207にて動画ボタン180による動画記録停止が指示されていると判定された場合であるので、動画記録を停止し、本処理を終了する。
In step S208, since it is determined that the moving image recording stop by the moving
以上のように、システム制御部121は、ステップS211の輝度に応じて、異なる順序で露光時間が異なる複数の画像を撮像素子115に生成させる(S212又はS224)。
As described above, the
図3は、本実施形態において、自動HDR動画記録中に、撮像フレームレートが60FPSから180FPSへ切り替える際の、画像の読み出しから動画エンコードまでの様子を時系列で表した図である。撮像VD3aは、撮像垂直同期信号である。センサ読み出し3bは、撮像素子115からの読み出し処理を表す。エッジ部抽出3cは、読み出し画像からの主要被写体のエッジ部抽出処理を表す。エッジ部輝度算出3dは、抽出したエッジ部の輝度算出処理を表す。明暗差検出3eは、画像内の明暗差検出処理を表す。合成用画像生成3fは、合成用画像を生成する処理を表す。合成3gは、画像合成処理を表す。動画エンコード3hは、動画をエンコードする処理を表す。記録VD3iは、記録垂直同期信号である。
FIG. 3 is a diagram showing, in time series, the state from image readout to video encoding when the imaging frame rate is switched from 60 FPS to 180 FPS during automatic HDR video recording in the present embodiment. The
時刻t1〜t2では、システム制御部121は、通常動画記録を行っている状態であり、撮像フレームレートは60FPS、1垂直期間は16.67msとなっている。時刻t1では、システム制御部121は、センサ読み出し3bに示すように、適正露光画像(M)の読み出しを行う(S202)。次に、システム制御部121は、エッジ抽出3cに示すように、その画像から主要被写体のエッジ部を抽出する(S203)。次に、システム制御部121は、エッジ部輝度算出3dに示すように、そのエッジ部の輝度を算出する(S204)。次に、システム制御部121は、明暗差検出3eに示すように、画像内の明暗差を検出する(S205)。次に、システム制御部121は、動画エンコード3hに示すように、動画をエンコード処理する(S206)。
From time t1 to t2, the
時刻t2では、システム制御部121は、画像内から検出した明暗差が第2の閾値以上と判定し(S209)、撮像フレームレートを60FPSから180FPSへ切り替える(S210)。これにより、撮像フレームレートは180FPS、1垂直期間は5.56msとなる。ここで、ステップS211で、時刻t1で読み出された画像のエッジ部の輝度が第1の閾値未満である場合を説明する。システム制御部121は、センサ読み出し3bに示すように、アンダー露光画像(L)の読み出しを行う(S212)。次に、システム制御部121は、エッジ部抽出3cに示すように、そのアンダー露光画像(L)から主要被写体のエッジ部を抽出する(S213)。その結果、ステップS217で、エッジ部がないと判定される場合を説明する。
At time t2, the
時刻t3では、システム制御部121は、センサ読み出し3bに示すように、適正露光画像(M)の読み出しを行う(S212)。上記のステップS217で、エッジ部がないと判定されているので、システム制御部121は、適正露光画像(M)に対して、主要被写体のエッジ部抽出3c(S214)、エッジ部輝度算出3d(S215)、合成用画像生成3f(S218)を行わない。さらに、システム制御部121は、合成3g(S219,S221)を行わず、動画エンコード3hを行う(S223)。
At time t3, the
時刻t4では、上記のステップS217で、エッジ部がないと判定されているので、システム制御部121は、センサ読み出し3bのオーバー露光画像(H)の読み出し(S212)を行わない。その後、時刻t2〜t4の処理が繰り返される。
At time t4, since it is determined in step S217 that there is no edge portion, the
時刻t5では、システム制御部121は、センサ読み出し3bに示すように、アンダー露光画像(L)の読み出しを行う(S212)。次に、システム制御部121は、エッジ部抽出3cに示すように、アンダー露光画像(L)から主要被写体のエッジ部を抽出する(S213)。その結果、ステップS217で、エッジ部があると判定される場合を説明する。
At time t5, the
時刻t6では、システム制御部121は、センサ読み出し3bに示すように、適正露光画像(M)の読み出しを行う(S212)。次に、システム制御部121は、エッジ部抽出3cに示すように、適正露光画像(M)から主要被写体のエッジ部を抽出する(S214)。次に、システム制御部121は、明暗差検出3eに示すように、適正露光画像(M)内の明暗差を検出する(3e)。次に、システム制御部121は、合成用画像生成3fに示すように、合成用画像(M’)を生成する(S218)。次に、システム制御部121は、合成3gに示すように、アンダー露光画像(L)と合成用画像(M’)とを合成し、合成画像(L+M’=α)を生成する(S219)。
At time t6, the
時刻t7では、システム制御部121は、センサ読み出し3bに示すように、オーバー露光画像(H)の読み出しを行う(S212)。次に、システム制御部121は、合成用画像生成3fに示すように、オーバー露光画像(H)から主要被写体の合成用画像(H’)を生成する(S220)。次に、システム制御部121は、合成3gに示すように、合成画像(α)と合成用画像(H’)とを合成し、合成画像(α+H’=β)を生成する(S221)。次に、システム制御部121は、動画エンコード3hに示すように、動画をエンコード処理する(S222)。
At time t7, the
図4は、比較例において、撮像フレームレートが60FPSから180FPSへ切り替える際の、画像の読み出しから動画エンコードまでの様子を時系列で表した図である。撮像VD4aは、撮像垂直同期信号である。センサ読み出し4bは、撮像素子115からの読み出し処理を表す。エッジ部抽出4cは、読み出し画像からの主要被写体のエッジ部抽出処理を表す。明暗差検出4dは、画像内の明暗差検出処理を表す。合成用画像生成4eは、合成用画像を生成する処理を表す。合成4fは、画像合成処理を表す。動画エンコード4gは、動画をエンコードする処理を表す。記録VD4hは、記録垂直同期信号である。
FIG. 4 is a diagram showing, in a time series, states from image reading to video encoding when the imaging frame rate is switched from 60 FPS to 180 FPS in the comparative example. The
時刻t1〜t2では、システム制御部121は、通常動画記録を行っている状態であり、撮像フレームレートは60FPS、1垂直期間は16.67msとなっている。時刻t1では、システム制御部121は、センサ読み出し4bに示すように、適正露光画像(M)の読み出しを行う。次に、システム制御部121は、明暗差検出4dに示すように、適正露光画像(M)から画像内の明暗差を検出する。次に、システム制御部121は、動画エンコード4gに示すように、動画をエンコード処理する。
From time t1 to t2, the
時刻t2では、上記の検出した明暗差が第2の閾値以上となり、システム制御部121は、撮像フレームレートを60FPSから180FPSへ切り替える。これにより、撮像フレームレートは180FPS、1垂直期間は5.56msとなる。なお、図4では、システム制御部121は、撮像フレームレートが180FPSの際の露光時間の変更順序を、常にオーバー露光、適正露光、アンダー露光(H→M→L)としている。
At time t2, the detected brightness difference becomes equal to or greater than the second threshold, and the
時刻t2では、システム制御部121は、センサ読み出し4bに示すように、オーバー露光画像(H)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、オーバー露光画像(H)から主要被写体のエッジ部を抽出する。
At time t2, the
時刻t3では、システム制御部121は、センサ読み出し4bに示すように、適正露光画像(M)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、適正露光画像(M)から主要被写体のエッジ部を抽出する。次に、システム制御部121は、明暗差検出4dに示すように、適正露光画像(M)内の明暗差を検出する。次に、システム制御部121は、合成用画像生成4eに示すように、合成用画像(M’)を生成する。次に、システム制御部121は、合成4fに示すように、オーバー露光画像(H)と合成用画像(M’)とを合成し、合成画像(H+M’=α)を生成する。
At time t3, the
時刻t4では、システム制御部121は、センサ読み出し4bに示すように、アンダー露光画像(L)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、アンダー露光画像(L)から主要被写体のエッジ部を抽出する。その結果、エッジ部がないと判定される場合を説明する。その場合、システム制御部121は、動画エンコード4gに示すように、時刻t3で読み出された適正露光画像(M)に対して動画エンコード処理を行う。
At time t4, the
図3の本実施形態と比較して、図4の比較例の無駄な処理を説明する。図4の比較例では、時刻t2におけるオーバー露光画像(H)の読み出し、時刻t3における適正露光画像(M)に対する主要被写体のエッジ部抽出処理4c、合成用画像(M’)生成処理4e、合成画像(H+M’=α)の生成処理4fが無駄な処理である。これにより、図4の比較例では、余計な電力を消費してしまっている。逆に、図3の本実施形態は、図4の比較例に比較して、無駄な処理及び余計な電力消費を低減することができる。
Compared with the present embodiment of FIG. 3, a wasteful process of the comparative example of FIG. 4 will be described. In the comparative example of FIG. 4, the overexposure image (H) is read at time t2, the
時刻t5では、システム制御部121は、センサ読み出し4bに示すように、オーバー露光画像(H)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、オーバー露光画像(H)から主要被写体のエッジ部を抽出する。
At time t5, the
時刻t6では、システム制御部121は、センサ読み出し4bに示すように、適正露光画像(M)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、適正露光画像(M)から主要被写体のエッジ部を抽出する。次に、システム制御部121は、明暗差検出4dに示すように、適正露光画像(M)内の明暗差を検出する。次に、システム制御部121は、合成用画像生成4eに示すように、合成用画像(M’)を生成する。次に、システム制御部121は、合成4fに示すように、合成画像(H+M’=α)を生成する。
At time t6, the
時刻t7では、システム制御部121は、センサ読み出し4bに示すように、アンダー露光画像(L)の読み出しを行う。次に、システム制御部121は、エッジ部抽出4cに示すように、アンダー露光画像(L)から主要被写体のエッジ部を抽出する。その結果、エッジ部があると判定される場合を説明する。その場合、システム制御部121は、合成用画像生成4eに示すように、アンダー露光画像(L)から主要被写体の合成用画像(L’)を生成する。次に、システム制御部121は、合成4fに示すように、合成画像(α+L’=β)を生成する。
At time t7, the
つまり、図3の本実施形態と比較して、図4の比較例では、時刻t7におけるアンダー露光画像(L)の主要被写体のエッジ部抽出処理4cが無駄な処理であり、余計な電力を消費してしまっている。逆に、図3の本実施形態は、図4の比較例に比較して、無駄な処理及び余計な電力消費を低減することができる。
That is, compared with the present embodiment of FIG. 3, in the comparative example of FIG. 4, the
図5は、本実施形態によるHDR動画時のメモリ部123の使用状況を表した図である。なお、適正露光画像(M)から抽出されたエッジ部の輝度算出結果が第1の閾値未満であり(S211)、撮像フレームレートが180FPSの際の露光時間の変更順序は、アンダー露光、適正露光、オーバー露光(L→M→H)の場合を例に示している(S212)。
FIG. 5 is a diagram illustrating a usage state of the
まず、時刻5aでは、システム制御部121は、アンダー露光画像(L)をメモリ部123内の領域Aに格納する。システム制御部121は、このアンダー露光画像(L)から主要被写体のエッジ部を抽出し、エッジ部があると判定される場合を説明する(S217)。
First, at
次に、時刻5bでは、システム制御部121は、適正露光画像(M)をメモリ部123内の領域Bに格納する。次に、時刻5cでは、システム制御部121は、オーバー露光画像(H)をメモリ部123内の領域Cに格納する。また、時刻5cでは、システム制御部121は、メモリ部123内の領域Bに格納された適正露光画像(M)から生成した合成用画像(M’)をメモリ部123内の領域Dに格納する。
Next, at
なお、アンダー露光、適正露光、オーバー露光(L→M→H)の順に露光した画像を合成することは前述の通りであるため、適正露光画像(M)のみを動画エンコードすることはない。つまり、適正露光画像(M)は、合成用画像(M’)を生成後は不要となり、メモリ部123から削除して構わない。
Note that since the images exposed in the order of underexposure, proper exposure, and overexposure (L → M → H) are synthesized as described above, only the proper exposure image (M) is not encoded as a moving image. That is, the proper exposure image (M) is not necessary after the synthesis image (M ′) is generated, and may be deleted from the
次に、時刻5dでは、システム制御部121は、メモリ部123内の領域Aに格納されたアンダー露光画像(L)と領域Dに格納された合成用画像(M’)とを合成した中間合成画像(L+M’)をメモリ部123内の領域Bへ格納する。その際、領域Bに格納されていた適正露光画像(M)は上書きされる。また、時刻5dでは、システム制御部121は、メモリ部123内の領域Cに格納されたオーバー露光画像(H)から生成した合成用画像(H’)をメモリ部123内の領域Eに格納する(5d)。
Next, at
次に、時刻5eでは、システム制御部121は、メモリ部123内の領域Bに格納された中間合成画像(L+M’)と領域Eに格納された合成用画像(H’)とを合成したHDR画像(L+M’+H’)をメモリ部123内の領域Cに格納する。その際、領域Cに格納されていたオーバー露光画像(H)は上書きされる。
Next, at
図6は、比較例によるHDR動画時のメモリ部123の使用状況を表した図である。なお、撮像フレームレートが180FPSの際の露光時間の変更順序は、常にオーバー露光、適正露光、アンダー露光(H→M→L)である。
FIG. 6 is a diagram illustrating a usage state of the
まず、時刻6aでは、システム制御部121は、オーバー露光画像(H)をメモリ部123内の領域Aに格納する。次に、時刻6bでは、システム制御部121は、適正露光画像(M)をメモリ部123内の領域Bに格納する。
First, at
次に、時刻6cでは、システム制御部121は、アンダー露光画像(L)をメモリ部123内の領域Cに格納する。また、時刻6cでは、システム制御部121は、メモリ部123内の領域Bに格納された適正露光画像(M)から生成した合成用画像(M’)をメモリ部123内の領域Dに格納する。
Next, at
次に、時刻6dでは、システム制御部121は、メモリ部123内の領域Cに格納されたアンダー露光画像(L)から生成した合成用画像(L’)をメモリ部123内の領域Eに格納する。また、時刻6dでは、システム制御部121は、メモリ部123内の領域Aに格納されたオーバー露光画像(H)と領域Dに格納された合成用画像(M’)とを合成した中間合成画像(H+M’)をメモリ部123内の領域Fに格納する。
Next, at
ここで、オーバー露光、適正露光、アンダー露光を合成できるかどうかは、時刻6cにてメモリ部123内の領域Cに格納されたアンダー露光画像(L)から主要被写体のエッジ部を抽出しないと判断できない。つまり、この時点では、適正露光画像(M)のみを動画エンコードする可能性があり、適正露光画像(M)が格納されたメモリ部123内の領域Bを他の画像で上書きすることはできない。よって、前述の中間合成画像(H+M’)は、メモリ部123内の領域Fへ格納される。
Here, whether overexposure, proper exposure, and underexposure can be combined is determined not to extract the edge portion of the main subject from the underexposure image (L) stored in the area C in the
次に、時刻6eでは、システム制御部121は、メモリ部123内の領域Fに格納された中間合成画像(H+M’)と領域Eに格納された合成用画像(L’)とを合成したHDR画像(H+M’+L’)をメモリ部123内の領域Dに格納する。その際、領域Cに格納されていた合成用画像(M’)は、上書きされる。
Next, at time 6e, the
つまり、図5の本実施形態と比較して、図6の比較例では、メモリ部123は、画像1枚分の領域Fの余計なメモリを消費してしまっている。逆に、図5の本実施形態は、図6の比較例と比較して、余計なメモリ消費を低減することができる。以上のように、本実施形態によれば、HDR動画生成の際に、電力及びメモリの消費を低減することができる。
That is, compared with the present embodiment in FIG. 5, in the comparative example in FIG. 6, the
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
115 撮像素子、117 画像処理部、121 システム制御部 115 imaging device, 117 image processing unit, 121 system control unit
Claims (10)
前記撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出部と、
前記エッジ部輝度算出部により算出された輝度に応じて、異なる順序で露光時間が異なる複数の画像を前記撮像部に生成させる制御部と、
前記露光時間が異なる複数の画像を合成する画像合成部と
を有することを特徴とする画像処理装置。 An imaging unit for generating an image;
An edge luminance calculation unit for calculating the luminance of the edge of the image generated by the imaging unit;
A controller that causes the imaging unit to generate a plurality of images with different exposure times in different orders according to the luminance calculated by the edge luminance calculation unit;
An image processing apparatus comprising: an image composition unit configured to compose a plurality of images having different exposure times.
前記明暗差検出部により検出された明暗差が第2の閾値以上であり、かつ前記エッジ部輝度算出部により算出された輝度が前記第1の閾値未満であり、かつ前記アンダー露光時間で生成された画像にエッジ部がある場合には、前記画像合成部は、前記アンダー露光時間、前記適正露光時間及び前記オーバー露光時間で生成された画像を合成して出力し、
前記明暗差検出部により検出された明暗差が前記第2の閾値未満である場合には、前記制御部は、適正露光時間で前記撮像部に画像を生成させ、前記画像合成部は、前記生成された適正露光時間の画像を合成せずに出力することを特徴とする請求項3記載の画像処理装置。 Furthermore, it has a light and dark difference detection unit for detecting a light and dark difference in the image generated by the imaging unit,
The brightness difference detected by the brightness difference detection unit is greater than or equal to a second threshold value, and the brightness calculated by the edge brightness calculation unit is less than the first threshold value and is generated with the underexposure time. When the image has an edge portion, the image composition unit synthesizes and outputs the image generated with the underexposure time, the appropriate exposure time, and the overexposure time,
When the brightness difference detected by the brightness difference detection unit is less than the second threshold, the control unit causes the imaging unit to generate an image with an appropriate exposure time, and the image synthesis unit 4. The image processing apparatus according to claim 3, wherein the image having the proper exposure time is output without being synthesized.
前記明暗差検出部により検出された明暗差が第2の閾値以上であり、かつ前記エッジ部輝度算出部により算出された輝度が前記第1の閾値以上であり、かつ前記オーバー露光時間で生成された画像にエッジ部がある場合には、前記画像合成部は、前記オーバー露光時間、前記適正露光時間及び前記アンダー露光時間で生成された画像を合成して出力し、
前記明暗差検出部により検出された明暗差が前記第2の閾値未満である場合には、前記制御部は、適正露光時間で前記撮像部に画像を生成させ、前記画像合成部は、前記生成された適正露光時間の画像を合成せずに出力することを特徴とする請求項4記載の画像処理装置。 Furthermore, it has a light and dark difference detection unit for detecting a light and dark difference in the image generated by the imaging unit,
The brightness difference detected by the brightness difference detection unit is greater than or equal to a second threshold value, and the brightness calculated by the edge brightness calculation unit is greater than or equal to the first threshold value and is generated with the overexposure time. When the image has an edge portion, the image synthesis unit synthesizes and outputs the image generated with the overexposure time, the appropriate exposure time, and the underexposure time,
When the brightness difference detected by the brightness difference detection unit is less than the second threshold, the control unit causes the imaging unit to generate an image with an appropriate exposure time, and the image synthesis unit 5. The image processing apparatus according to claim 4, wherein the image having the appropriate exposure time is output without being synthesized.
制御部により、前記エッジ部輝度算出ステップで算出された輝度に応じて、異なる順序で露光時間が異なる複数の画像を前記撮像部に生成させる制御ステップと、
画像合成部により、前記露光時間が異なる複数の画像を合成する画像合成ステップと
を有することを特徴とする画像処理方法。 An edge luminance calculation step for calculating the luminance of the edge portion of the image generated by the imaging unit by the edge luminance calculation unit;
A control step for causing the imaging unit to generate a plurality of images having different exposure times in different orders according to the luminance calculated in the edge portion luminance calculating step;
An image synthesizing step of synthesizing a plurality of images having different exposure times by an image synthesizing unit.
前記エッジ部輝度算出ステップで算出された輝度に応じて、異なる順序で露光時間が異なる複数の画像を前記撮像部に生成させる制御ステップと、
前記露光時間が異なる複数の画像を合成する画像合成ステップと
をコンピュータに実行させるためのプログラム。 An edge portion luminance calculation step for calculating the luminance of the edge portion of the image generated by the imaging unit;
A control step of causing the imaging unit to generate a plurality of images having different exposure times in different orders according to the luminance calculated in the edge portion luminance calculating step;
A program for causing a computer to execute an image synthesis step of synthesizing a plurality of images having different exposure times.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015172319A JP6635722B2 (en) | 2015-09-01 | 2015-09-01 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015172319A JP6635722B2 (en) | 2015-09-01 | 2015-09-01 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017050693A true JP2017050693A (en) | 2017-03-09 |
JP6635722B2 JP6635722B2 (en) | 2020-01-29 |
Family
ID=58280350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015172319A Expired - Fee Related JP6635722B2 (en) | 2015-09-01 | 2015-09-01 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6635722B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011087269A (en) * | 2009-09-18 | 2011-04-28 | Sony Corp | Image processing apparatus, image capturing apparatus, image processing method, and program |
JP2011103558A (en) * | 2009-11-11 | 2011-05-26 | Casio Computer Co Ltd | Imaging device, imaging method, and imaging program |
JP2011188277A (en) * | 2010-03-09 | 2011-09-22 | Sony Corp | Image processor, image processing method and program |
JP2013074335A (en) * | 2011-09-26 | 2013-04-22 | Canon Inc | Image processing apparatus and method, and imaging apparatus |
JP2013074334A (en) * | 2011-09-26 | 2013-04-22 | Canon Inc | Image processing apparatus and method, and imaging apparatus |
JP2015144475A (en) * | 2015-03-11 | 2015-08-06 | キヤノン株式会社 | Imaging apparatus, control method of the same, program and storage medium |
-
2015
- 2015-09-01 JP JP2015172319A patent/JP6635722B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011087269A (en) * | 2009-09-18 | 2011-04-28 | Sony Corp | Image processing apparatus, image capturing apparatus, image processing method, and program |
JP2011103558A (en) * | 2009-11-11 | 2011-05-26 | Casio Computer Co Ltd | Imaging device, imaging method, and imaging program |
JP2011188277A (en) * | 2010-03-09 | 2011-09-22 | Sony Corp | Image processor, image processing method and program |
JP2013074335A (en) * | 2011-09-26 | 2013-04-22 | Canon Inc | Image processing apparatus and method, and imaging apparatus |
JP2013074334A (en) * | 2011-09-26 | 2013-04-22 | Canon Inc | Image processing apparatus and method, and imaging apparatus |
JP2015144475A (en) * | 2015-03-11 | 2015-08-06 | キヤノン株式会社 | Imaging apparatus, control method of the same, program and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6635722B2 (en) | 2020-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007251860A (en) | Color noise elimination method for image data and imaging apparatus using the same | |
JP6116299B2 (en) | Imaging apparatus and control method thereof | |
JP2008148180A (en) | Imaging apparatus, image processing device and method, and computer program | |
JP2009169282A (en) | Imaging apparatus and its program | |
CN110278375B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
JP6831493B2 (en) | Imaging equipment, imaging methods, and programs | |
JP6118118B2 (en) | Imaging apparatus and control method thereof | |
JP5797072B2 (en) | Imaging apparatus, control method therefor, and program | |
JP2005055746A (en) | Imaging apparatus, focusing control method and program | |
JP6278729B2 (en) | Imaging apparatus, control method thereof, and program | |
JP6152009B2 (en) | Imaging apparatus, imaging method, program, and recording medium | |
JP2008136113A (en) | Image processor, imaging apparatus and image processing method | |
JP6147116B2 (en) | Imaging apparatus, control method thereof, and control program | |
JP5947625B2 (en) | Imaging apparatus and control method thereof | |
JP2012090041A (en) | Image processing device, method, and program | |
JP6635722B2 (en) | Image processing apparatus, image processing method, and program | |
JP5264541B2 (en) | Imaging apparatus and control method thereof | |
JP6800693B2 (en) | Imaging device and driving method of imaging device | |
JP2014027460A (en) | Imaging apparatus, camera system, control method of imaging apparatus, program and storage medium | |
JP5351663B2 (en) | Imaging apparatus and control method thereof | |
JP2012129900A (en) | Imaging apparatus and imaging method | |
JP2011175608A (en) | Image processing device and image processing method | |
JP6486132B2 (en) | Imaging apparatus, control method therefor, and program | |
JP2006050308A (en) | Image pickup device | |
JP2010193180A (en) | Image processing unit, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191217 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6635722 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |