JP2021164112A - 撮像装置、画像処理装置、および画像処理プログラム - Google Patents
撮像装置、画像処理装置、および画像処理プログラム Download PDFInfo
- Publication number
- JP2021164112A JP2021164112A JP2020066815A JP2020066815A JP2021164112A JP 2021164112 A JP2021164112 A JP 2021164112A JP 2020066815 A JP2020066815 A JP 2020066815A JP 2020066815 A JP2020066815 A JP 2020066815A JP 2021164112 A JP2021164112 A JP 2021164112A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- correction
- imaging device
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 title claims description 28
- 238000012937 correction Methods 0.000 claims abstract description 152
- 238000000034 method Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 14
- 239000000203 mixture Substances 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 11
- 230000003321 amplification Effects 0.000 description 8
- 238000003199 nucleic acid amplification method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
【課題】制御露出限界を下回る暗さであっても表示画像の明るさを確保すること。【解決手段】撮像装置は、被写体を撮像して、第1フレームと、前記第1フレームの後の第2フレームと、を出力する撮像部と、前記第2フレームの輝度値に基づいて、前記第1フレームを用いた前記第2フレームの補正条件を決定する決定部と、前記第2フレームの輝度値と、前記決定部によって決定された前記第1フレームを用いた前記第2フレームの補正条件と、に基づいて、前記第2フレームの輝度値を補正する補正部と、前記補正部による補正後の第2フレームを出力する出力部と、を有する。【選択図】図2
Description
本発明は、撮像装置、画像処理装置、および画像処理プログラムに関する。
被写体に対する撮影画像の輝度が結果的に不足する場合に、少なくとも撮像された画像信号を増幅する増幅回路の利得を増大変更するスチルカメラがある(たとえば、下記特許文献1を参照。)。しかしながら、上述した特許文献1では、連続するフレームの画像信号を用いて補正する点は考慮されていない。
第1開示技術の撮像装置は、被写体を撮像して、第1フレームと、前記第1フレームの後の第2フレームと、を出力する撮像部と、前記第2フレームの輝度値に基づいて、前記第1フレームを用いた前記第2フレームの補正条件を決定する決定部と、前記第2フレームの輝度値と、前記決定部によって決定された前記第1フレームを用いた前記第2フレームの補正条件と、に基づいて、前記第2フレームの輝度値を補正する補正部と、前記補正部による補正後の第2フレームを出力する出力部と、を有する。
第2開示技術の画像処理装置は、第1フレームと、前記第1フレームの後の第2フレームと、を取得する取得部と、前記第2フレームの輝度値に基づいて、前記第1フレームを用いた前記第2フレームの補正条件を決定する決定部と、前記第2フレームの輝度値と、前記決定部によって決定された前記第1フレームを用いた前記第2フレームの補正条件と、に基づいて、前記第2フレームの輝度値を補正する補正部と、前記補正部による補正後の第2フレームを出力する出力部と、を有する。
第3開示技術の画像処理プログラムは、プロセッサに、第1フレームと、前記第1フレームの後の第2フレームと、を取得する取得処理と、前記第2フレームの輝度値に基づいて、前記第1フレームを用いた前記第2フレームの補正条件を決定する決定処理と、前記第2フレームの輝度値と、前記決定処理によって決定された前記第1フレームを用いた前記第2フレームの補正条件と、に基づいて、前記第2フレームの輝度値を補正する補正処理と、前記補正処理による補正後の第2フレームを出力する出力処理と、を実行させる。
たとえば、デジタルカメラにおいては、撮像部から連続的に出力される画像フレームを表示部に表示し、ユーザが表示部の画像を確認しながら撮影することを可能とするライブビュー動画表示機能がある。ライブビュー動画表示機能を用いることで、ユーザはリアルタイムで被写体の位置や写真全体の構図を確認しながら撮影することが可能となる。
ところで、被写体の輝度が低くなると、ライブビュー動画の表示が暗くなり、ユーザが被写体の位置や構図を確認することが難しい場合があった。そこで従来のライブビュー動画では、たとえば、被写体の輝度が暗くなるに従い撮像素子のISO感度を上げて撮像し、ライブビュー動画の表示フレームの明るさを確保する必要があった。また、ISO感度が上限値に達した状態で更に被写体の輝度が暗くなると、露出時間を長く(たとえば、最長1[sec])して、ライブビュー動画の表示フレームの明るさを確保する必要があった。しかしながら、露出時間が長く(たとえば1秒以上)なると、ライブビュー動画の表示フレームの更新頻度(フレームレート)も露出時間に伴って遅くなり、ユーザの操作性が低下する可能性があった。
以下に示す実施例1〜3では、ライブビュー動画の制御露出限界(以下、「制御露出限界」と称す。)を下回る暗さの被写体を撮影する際にも、人が認識できる程度の明るさでライブビュー動画の表示を可能にする撮像装置、画像処理装置、および画像処理プログラムを提供する。以下、添付図面を用いて説明する。
<撮像装置のハードウェア構成例>
図1は、実施例1にかかる撮像装置のハードウェア構成例を示すブロック図である。撮像装置100は、動画撮影可能な装置であり、具体的には、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、パーソナルコンピュータ、ゲーム機である。図1では、撮像装置の一例としてデジタルカメラを例に挙げて説明する。
図1は、実施例1にかかる撮像装置のハードウェア構成例を示すブロック図である。撮像装置100は、動画撮影可能な装置であり、具体的には、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、パーソナルコンピュータ、ゲーム機である。図1では、撮像装置の一例としてデジタルカメラを例に挙げて説明する。
撮像装置100は、プロセッサ101と、記憶デバイス102と、駆動部103と、光学系104と、撮像素子105と、AFE(Analog Front End)106と、LSI(Large Scale Integration)107と、操作デバイス108と、センサ109と、表示デバイス110と、通信IF(Interface)111と、バス112と、を有する。プロセッサ101、記憶デバイス102、駆動部103、LSI107、操作デバイス108、センサ109、表示デバイス110、および通信IF111は、バス112に接続される。駆動部103および光学系104のうち少なくとも光学系104により構成されるレンズ鏡筒は、撮像装置100と一体でもよく、着脱可能でもよい。
プロセッサ101は、撮像装置100を制御する。記憶デバイス102は、プロセッサ101の作業エリアとなる。また、記憶デバイス102は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス102としては、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリがある。記憶デバイス102は、撮像装置100に複数実装されてもよく、そのうちの少なくとも1つは、撮像装置100に対し着脱自在でもよい。
駆動部103は、光学系104を駆動制御する。駆動部103は、駆動回路103aと駆動源103bとを有する。駆動回路103aは、プロセッサ101からの指示により駆動源103bを制御する。駆動源103bは、たとえば、モータであり、駆動回路103aの制御により、光学系104内のズーミングレンズ141bおよびフォーカシングレンズ141cを光軸方向に移動させたり、絞り142を開閉制御する。
光学系104は、光軸方向に配列された複数のレンズ(レンズ141a、ズーミングレンズ141b、およびフォーカシングレンズ141c)と、絞り142と、を含む。光学系104は、被写体光を集光し、撮像素子105に出射する。
撮像素子105は、光学系104からの被写体光を受光して電気信号に変換する。撮像素子105は、たとえば、XYアドレス方式の固体撮像素子(たとえば、CMOS(Complementary Metal‐Oxide Semiconductor)センサ)であってもよく、順次走査方式の固体撮像素子(たとえば、CCD(Charge Coupled Device))であってもよい。
撮像素子105の受光面には、複数の受光素子(画素)がマトリクス状に配列されている。そして、撮像素子105の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列(たとえば、ベイヤ配列)に従って配置される。そのため、撮像素子105の各画素は、カラーフィルタでの色分解によって各色成分に対応するアナログの電気信号を出力する。
AFE106は、撮像素子105からのアナログの電気信号に対して信号処理を施すアナログフロントエンド回路である。AFE106は、電気信号のゲイン調整、アナログ信号処理(相関二重サンプリング、黒レベル補正など)、A/D変換処理、デジタル信号処理(欠陥画素補正など)を順次実行してRAW画像データを生成し、LSIに出力する。上述した駆動部103、光学系104、撮像素子105、およびAFE106は、撮像部120を構成する。
LSI107は、AFE106からのRAW画像データについて、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。LSI107は、具体的には、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field−Programmable Gate Array)などのPLD(Programmable Logic Device)によって実現してもよい。
操作デバイス108は、コマンドやデータを入力する。操作デバイス108としては、たとえば、レリーズボタンを含む各種ボタン、スイッチ、ダイヤル、タッチパネルがある。センサは、情報を検出するデバイスであり、たとえば、AF(Automatic Focus)センサ、AE(Automatic Exposure)センサ、ジャイロセンサ、加速度センサ、温度センサなどがある。表示デバイス110は、画像データや設定画面を表示する。表示デバイス110には、撮像装置100の背面にある背面モニタと、電子ビューファインダと、がある。通信IF111は、外部機器と接続し、あるいは、ネットワークと接続し、データを送受信する。
<撮像装置の機能的構成例>
図2は、実施例1にかかる撮像装置および画像処理装置の機能的構成例を示すブロック図である。図3は、撮像装置および画像処理装置による補正処理手順例を示すフローチャートである。
図2は、実施例1にかかる撮像装置および画像処理装置の機能的構成例を示すブロック図である。図3は、撮像装置および画像処理装置による補正処理手順例を示すフローチャートである。
図2(A)において、撮像装置100は、撮像部120と、決定部202と、補正部203と、出力部204と、を有する。図2(B)において、画像処理装置200は、取得部201と、決定部202と、補正部203と、出力部204と、を有する。取得部201、決定部202、補正部203、および出力部204は、具体的には、たとえば、図1に示した記憶デバイス102に記憶されたプログラムをプロセッサ101に実行させることにより実現される。画像処理装置200は、図2(A)の撮像装置100から撮像部120を除外した装置である。画像処理装置200に撮像部120が取り付けられると、撮像装置100となる。撮像部120が取得部201に置き換えられている点を除いて、画像処理装置200は撮像装置100と同様の構成であるため、以下、撮像装置100を例に挙げて説明する。
撮像部120は、被写体を撮像して、時間的に連続する一連のフレームを出力する。一連のフレームの中のあるフレームを第1フレームとした場合、第1フレームよりも時間的に後のフレームを第2フレームと称す。第2フレームは、第1フレームの直後のフレームでもよく、後続の2フレーム目以降のフレームでもよい。
また、フレームには、撮像部120または記憶デバイス102からから出力されて取得したフレーム(以下、「取得フレーム」と称す。)と、表示デバイス110に表示されたフレーム(以下、「表示フレーム」と称す。)とがある。後述する移動平均を用いた補正では、第1フレームおよび第2フレームは取得フレームである。
取得部201は、一連のフレームを取得する(ステップS301)。画像処理装置は、撮像部120を備えていないため、その代わりに、外部から取得した一連のフレームが記憶デバイス102に格納されている。したがって、取得部201は、記憶デバイス102に格納されている一連のフレームを読み込む(ステップS301)。
決定部202は、第2フレームの輝度値に基づいて、第1フレームを用いた第2フレームの補正条件を決定する(ステップS302)。具体的には、たとえば、決定部202は、第2フレームの出力時における撮像装置100の露出値に基づいて、補正条件を決定する。具体的には、たとえば、決定部202は、第2フレームの出力時における撮像装置100の露出値が所定の露出値を下回る場合に、補正条件を決定する。
まず、ライブビュー動画の所定の露出値について説明する。所定の露出値とは、たとえば、制御露出限界値である。制御露出限界値は、露出制御のパラメータであるシャッター速度、絞り、およびISO感度により決定される。各パラメータは、撮像装置100の性能または仕様により、取り得る値が制限されている。
撮像装置100のシャッター速度の範囲が、たとえば、30〜1/8000[sec]であるとすると、当該範囲の上限値(最高速)が1/8000[sec]、下限値(最低速)が30[sec]である。また、撮像装置100の絞りの範囲が、たとえば、f1〜f32であるとすると、当該範囲の上限値は(開放)がf1、下限値(小絞り)がf32である。また、また、撮像装置100のISO感度の範囲が、たとえば、100〜25600であるとすると、当該範囲の上限値(最高感度)が25600、下限値(最低感度)が100である。
ライブビュー動画の制御露出限界値は、たとえば、シャッター速度が最低速、絞り値が開放、ISO感度が最高感度である場合の露出値である。ただし、制御露出限界値は、この露出値に限定されない。
たとえば、制御露出限界のシャッター速度は、撮像装置100で制御可能な範囲、たとえば、30〜1/8000[sec]において、30[sec](最低速)ではなく、1[sec]でも、1/2[sec]でも良い。ライブビュー動画では、静止画撮影のように最低速までは使用されず、一般的に静止画の制御範囲よりは高速側に限界が設定される。
また、たとえば、制御露出限界の絞りも、撮像装置100で制御可能な範囲、たとえば、f1〜f32において、f1(開放)でも、f1.4でもよい。また、たとえば、制御露出限界のISO感度も、撮像装置100で制御可能な範囲、たとえば、100〜25600において、25600(最高感度)でも、12800でもよい。このようにして、所定の制御露出限界値が決定される。
また、補正条件とは、補正部203が第1フレームを用いて第2フレームを補正するための条件である。補正条件は、補正の種類により異なる。補正条件の詳細は後述する。
補正部203は、第2フレームの輝度値と、決定部202によって決定された第1フレームを用いた第2フレームの補正条件と、に基づいて、移動平均を用いて第2フレームを補正する(ステップS303)。移動平均を用いた補正とは、1枚以上の第1取得フレームと第2取得フレームとの移動平均により第2取得フレームを補正する補正処理である(図4〜図8で後述)。
出力部204は、補正部203による補正後の第2フレームを出力する(ステップS304)。出力部204の出力先は、たとえば、表示デバイス110でもよく、通信IF111を介して通信可能に接続されたコンピュータでもよい。表示デバイス110に出力されると、順次生成された第2フレームは、ライブビュー動画として表示される。
<移動平均を用いた補正>
図4は、ΔEVと移動平均の関係を示すグラフ400である。グラフの縦軸は目標EVであり、横軸は制御EVである。ΔEVと移動平均の特性は、たとえば、ΔEVがΔEV≧0となる領域401、ΔEVが0>ΔEVとなる領域402に分けられる。本実施例では、ΔEVの各領域を分ける境界値(たとえば、ΔEV=0、ΔEV=−1、ΔEV=−1.585、ΔEV=−2など)はΔEVの上領域に含めた場合とする。但し、各境界値はこれに限定しない。ΔEVは、目標EVから制御EVを引いた差分値であり、下記式(1)により算出される。
図4は、ΔEVと移動平均の関係を示すグラフ400である。グラフの縦軸は目標EVであり、横軸は制御EVである。ΔEVと移動平均の特性は、たとえば、ΔEVがΔEV≧0となる領域401、ΔEVが0>ΔEVとなる領域402に分けられる。本実施例では、ΔEVの各領域を分ける境界値(たとえば、ΔEV=0、ΔEV=−1、ΔEV=−1.585、ΔEV=−2など)はΔEVの上領域に含めた場合とする。但し、各境界値はこれに限定しない。ΔEVは、目標EVから制御EVを引いた差分値であり、下記式(1)により算出される。
ΔEV=目標EV−制御EV・・・(1)
式(1)の右辺の制御EVは下記式(2)により算出され、目標EVは下記式(3)により算出される。
制御EV=AV+TV・・・(2)
目標EV=目標BV+SV・・・(3)
目標EV=目標BV+SV・・・(3)
式(2)のAVは、たとえば、上述した制御露出限界値を決める絞りの上限値までの範囲内の値であり、TVは、たとえば、上述した制御露出限界値を決めるシャッター速度の下限値までの範囲内の値である。目標BVは、被写体の測光値または、撮影者が定めた静止画の露出量であり、SVは、たとえば、上述した制御露出限界値を決めるISO感度の上限値までの範囲内の値である。
ΔEVがΔEV≧0となる領域401では、適正露出で撮像されたフレームが得られるため、撮像装置100は、移動平均による補正とデジタルゲインによる補正を行わずに撮像した取得フレームを出力する。
ΔEVが0>ΔEVとなる領域402では、取得フレームは制御露出限界の暗さを下回った状態で撮影されているため、明るさが十分ではない。補正部203は、ΔEVに応じた移動平均値M(n)とデジタルゲインGにより取得フレームの輝度を増幅する。
なお、Gは、ΔEVが0>ΔEVとなる領域402での表示フレーム輝度をΔEV≧0となる輝度に限らず、任意に定めたΔEVの下限値(たとえば、ΔEV=−0.5など)となる輝度にするための増幅量であってもよい。すなわち、Gの大きさは、暗くて見えにくい被写体を見える状態にすることができる増幅量であればよい。
補正部203は、補正条件403にしたがって第2取得フレームを補正する。補正条件は、第1取得フレームと第2取得フレーム(1枚)との合計枚数nであり、ΔEVに応じて第1取得フレームの枚数が変化する。なお、nから第2取得フレームの枚数(1枚)を引いた(n−1)枚が、移動平均に用いられる第1取得フレームの枚数である。
ΔEVがΔEV≧0となる領域401のようにΔEVが制御露出限界以上である場合、移動平均をとる取得フレーム枚数nはn=1である。したがって、決定部202は、補正条件として第1取得フレームの枚数を0枚に決定し、補正部203は、第1取得フレームの枚数が0枚であるため、第2取得フレームを補正せず、出力部204は取得フレームを表示フレームとして出力する。
ΔEVが0>ΔEVとなる領域402でのΔEVは制御露出限界を下回るため、移動平均をとる取得フレーム枚数nは、ΔEVが小さくなるほど多くする。
ΔEVが0>ΔEV≧−1となる領域402aである場合、決定部202は、補正条件として第1取得フレームの枚数を1枚に決定し、補正部203は、第1取得フレームの枚数が1枚であるため、移動平均をとる取得フレーム枚数n=2として、移動平均を用いた補正を実行する。このときの移動平均値MをM(2)とすると、第2取得フレームの補正後の表示フレームの輝度M×Gは、M(2)×G(ΔEV)となる。
ΔEVが−1>ΔEV≧−1.585となる領域402bである場合、決定部202は、補正条件として第1取得フレームの枚数を2枚に決定し、補正部203は、第1取得フレームの枚数が2枚であるため、移動平均をとる取得フレーム枚数n=3として、移動平均を用いた補正を実行する。このときの移動平均値MをM(3)とすると、第2取得フレームの補正後の表示フレームの輝度M×Gは、M(3)×G(ΔEV)となる。
ΔEVが−1.585>ΔEV≧−2となる領域402cである場合、決定部202は、補正条件として第1取得フレームの枚数を3枚に決定し、補正部203は、第1取得フレームの枚数が3枚であるため、移動平均をとる取得フレーム枚数nをn=4として、移動平均を用いた補正を実行する。このときの移動平均値MをM(4)とすると、第2取得フレームの補正後の表示フレームの輝度M×Gは、M(4)×G(ΔEV)となる。
なお、移動平均値M(2)〜M(4)は、平均値であるため、補正後のフレームの明るさは、取得フレーム1枚分と同じ程度である。
図5は、移動平均を用いた第一の補正例を示す説明図である。図5の(A)は、時間経過によるΔEVの変化を表している。図5の(B)は、時間経過による取得フレームと表示フレームの移動平均を表している。図5の(C)は、時間経過によるデジタルゲインGの設定値を表している。図5の(D)は、時間経過による表示フレームの輝度の変化を表している。例として、時刻t0を、ΔEVが制御露出限界を下回った時刻とする。時刻t0よりも前を、ΔEVがΔEV=0であった時間帯とし、時刻t0よりも後を、ΔEVが制御露出限界を下回りΔEV=−2となった時間帯とする。
なお、図5(以降の図も同様)において、{(Fx〜Fy)/n}(x、yはフレーム番号)は、フレームFxからFyまでのn枚のフレームの同一位置の画素の合計値をそれぞれnで割った移動平均後のフレームを示す。
図5の(A)において、時刻t0よりも前のΔEVはΔEV≧0である。この場合、取得フレームF1、F2は適正な露出で撮像されるので、時刻t0よりも前の表示フレームF1、F2は、取得フレームF1、F2が表示フレームF1、F2としてそのまま表示される(図5の(B))。図5の(C)に示したたように、時刻t0よりも前では、デジタルゲインの増幅補正は無く、図5の(D)に示したたように、表示フレームF1、F2は適正輝度で表示される。
図5の(A)において、時刻t0直後のΔEVはΔEV=−2であるが、時刻t0直前の取得フレームF3は適正な露出で撮影されるので、取得フレームF3が時刻t0直後の表示フレームF3としてそのまま表示される(図5の(B))。このため、図5の(C)に示したたように、デジタルゲインの増幅補正は無く、図5の(D)に示したたように、表示フレームF3は適正輝度で表示される。
図5の(A)において、時刻t0直後の取得フレームF4のΔEVは、ΔEV=−2である。補正部203は、図4の補正条件403に従って取得フレームF4を補正して表示フレーム{(F1〜F4)/4}を出力する。この例ではΔEV=−2であるため、補正条件403より移動平均をとるフレーム枚数nはn=4である。これに従い、表示フレーム{(F1〜F4)/4}は、最新の4枚の取得フレームF1〜F4の移動平均である(図5の(B))。
補正部203は、表示フレーム{(F1〜F4)/4}生成前の取得フレームF4を取得した時のΔEVによりデジタルゲインG(ΔEV)を決定する(図5の(C))。実施例1では、移動平均をとる取得フレーム枚数nをn=4としたため、デジタルゲインG(ΔEV)を決定するΔEVを決める取得フレームは、たとえば、表示フレーム{(F1〜F4)/4}生成前の最新の取得フレームF1〜F4のいずれかの取得フレームである。取得フレームの取得時と表示フレーム{(F1〜F4)/4}の表示時とのタイムラグは小さい方が好ましいため、最新の取得フレームはF4が好ましい。このようにΔEVによりデジタルゲインG(ΔEV)を決定したことにより、表示フレーム{(F1〜F4)/4}の輝度は一旦明るくなった後、徐々に適正輝度となる(図5の(D))。後続の表示フレーム{(F2〜F5)/4}、{(F3〜F6)/4}、…についても同様である。
図6は、移動平均を用いた第二の補正例を示す説明図である。図6の(A)〜(D)は図5の(A)〜(D)と同様な時間経過による変化を表している。
図6の(A)において、時刻t0よりも前のΔEVはΔEV≧0である。この場合、取得フレームF1、F2は適正な露出で撮像されるので、時刻t0よりも前の表示フレームF1、F2は取得フレームF1、F2が表示フレームF1、F2としてそのまま表示される(図6の(B))。図6の(C)に示したたように、時刻t0よりも前では、デジタルゲインの増幅補正は無く、図6の(D)に示したたように、表示フレームF1、F2は適正輝度で表示される。
図6の(A)において、時刻t0直後のΔEVはΔEV=−2であるが、時刻t0直前の取得フレームF3は適正な露出で撮影されるので、取得フレームF3が時刻t0直後の表示フレームF3としてそのまま表示される(図6の(B))。このため、図6の(C)に示したたように、デジタルゲインの増幅補正は無く、図6の(D)に示したたように、表示フレームF3は適正輝度で表示される。
図6の(A)において、時刻t0直後の取得フレームF4のΔEVは、ΔEV=−2である。補正部203は、図4の補正条件403に従って取得フレームF4を補正して表示フレーム{(F1〜F4)/4}を出力する。この例ではΔEV=−2であるため、補正条件403より移動平均をとるフレーム枚数nはn=4である。これに従い、表示フレーム{(F1〜F4)/4}は、直前の4枚の取得フレームF1〜F4の移動平均である(図6の(B))。
補正部203は、移動平均する直前の4枚の取得フレームF1〜F4の取得時における各ΔEVの統計値(たとえば、平均値。中央値(nが偶数であればさらに平均化または大きい方を選択)、最小値、最大値など他の統計値でもよい。)によりデジタルゲインを決定する。これにより、徐々に増幅率が上昇する(図6の(C))。したがって、表示フレーム{(F1〜F4)/4}の輝度は常に適正輝度に維持される(図6の(D))。後続の表示フレーム{(F2〜F5)/4}、{(F3〜F6)/4}、…についても同様である。
図7は、移動平均を用いていない補正と移動平均を用いた補正との表示フレーム更新の比較例を示す説明図である。図8は、図7に示した各補正後のフレームの表示例を示す説明図である。図8では、振り子が向かって左から右に揺動する様子を示す。図7(A)の表示フレームF1〜F6の具体的な表示画像例が、図8(A)であり、図7(B)の表示フレームf1〜f3の具体的な表示画像例が図8(B)であり、図7(C)の表示フレーム(F1+F2)/2〜(F5+F6)/2の具体的な表示画像例が図8(C)である。
図7(A)は、フレームレートをN[fps]とした場合の表示フレーム更新例を示す。図7(A)では、露光時間1/N[sec]での露光ごとに、フレームF1、F2、…が順次取得され、次の露光のタイミングでフレームF2、F3、…が取得されたとき、図8(A)に示したように、フレームF1、F2、…が順次表示される。
図7(B)は、フレームレートを0.5N[fps]とした場合の表示フレーム更新例を示す。露光時間2/N[sec]での露光ごとに、フレームf1、f2、…が順次取得され、次の露光のタイミングでフレームf2、f3、…が取得されたとき、図8(B)に示したように、フレームf1、f2、…が順次表示される。このように、図7(A)よりもフレームレートが低下しているため、シャッター速度が遅くなり(露光時間が長くなり)、表示画面を明るくできるが、表示画面の更新頻度が図7(A)に比べて低下する。
図7(C)は、フレームレートをN[fps]とし、かつ、移動平均をとる取得フレーム枚数nをn=2として、移動平均を用いた補正を実行した場合の表示フレーム更新例を示す。図7(A)と同様、露光時間1/N[sec]での露光ごとに、フレームF1、F2、…が順次取得される。連続する2フレーム取得後、次の露光のタイミングでフレームF3、F4、…が取得されたとき、図8(C)に示したように、移動平均を用いた補正後のフレーム{(F1+F2)/2}、{(F2+F3)/2}、…が順次表示される。
図7(C)では、図7(A)と同じ更新頻度を保ったまま、補正部203が移動平均後のフレーム{(F1+F2)/2}、{(F2+F3)/2}、…にデジタルゲインを実行するため、図7(B)の露光時間(2/N)相当の表示画面の明るさが確保される。
このように、実施例1によれば、制御露出限界を下回る暗さであっても表示画像の明るさを確保することができる。具体的には、たとえば、撮像装置100は、表示画面の更新頻度(すなわち、露出時間)を、ユーザの操作性が低下することを防止するため、ある程度、たとえば、最長でも1/4[sec]までにとどめる。その代わり、制御露出限界を下回る暗さの場合には、撮像装置100は、取得フレームの移動平均値にデジタルゲインをかけることにより、明るさを確保する。また、単に取得フレーム一枚一枚にデジタルゲインをかけるだけではノイズまで増幅されるが、取得フレームの移動平均値にデジタルゲインをかけることにより、ノイズを低減する効果が得られる。このように、移動平均後のフレームにデジタルゲインをかけることで不足分の明るさが増加し、かつ、デジタルゲインをかけることによるノイズが抑制される。
これにより、制御露出限界を下回る暗さの被写体を撮影する際にも、撮像装置100は、人が認識できる程度の明るさでライブビュー動画を表示することができる。これにより、たとえば、星空撮影や、真っ暗闇のジャングルでの動物撮影などにおいても、ライブビュー動画の表示フレームの明るさを確保することができ、操作性が低下するのを防止することができる。
つぎに、実施例2について説明する。実施例1では、補正部203は移動平均を用いた補正を実行したが、実施例2では、補正部203は、移動平均を用いた補正に替え、αブレンドを用いた補正を実行する。また、補正部203のデジタルゲインGを用いた増幅補正は実施例1と同様であるため、実施例2では詳細な説明を省略する。実施例2では、補正部203の補正内容が異なるだけであるため、図1〜図3の構成は、実施例2でも同一である。また、αブレンドを用いた補正では、第1フレームは表示フレームであり、第2フレームは取得フレームである。なお、実施例2では、αブレンドを用いた補正を中心に説明するため、実施例1と同一構成には同一符号を付し、その説明を省略する。
<αブレンドを用いた補正>
図9は、αブレンドを用いた補正例を示す説明図である。図9では、最新の取得フレームNのYUV画素(Yは輝度信号、Uは青色成分から輝度成分Yを引いた色差信号、Vは赤色成分から輝度成分Yを引いた色差信号)をNy,Nu,Nvとし、取得フレームを補正した中間フレームSのYUV画素を、Sy、Su、Svとし、中間フレームSにデジタルゲインGをかけて表示する表示フレームのYUV画素を、Dy、Du、Dvとする。αブレンドとは、2つの画像データを重ね合わせ、フレームごとに設定された透過度α(0≦α≦1)に基づいて合成する処理である。
図9は、αブレンドを用いた補正例を示す説明図である。図9では、最新の取得フレームNのYUV画素(Yは輝度信号、Uは青色成分から輝度成分Yを引いた色差信号、Vは赤色成分から輝度成分Yを引いた色差信号)をNy,Nu,Nvとし、取得フレームを補正した中間フレームSのYUV画素を、Sy、Su、Svとし、中間フレームSにデジタルゲインGをかけて表示する表示フレームのYUV画素を、Dy、Du、Dvとする。αブレンドとは、2つの画像データを重ね合わせ、フレームごとに設定された透過度α(0≦α≦1)に基づいて合成する処理である。
ここでいう2つの画像データとは、取得フレーム(第2フレーム)と、取得フレームの1つ前の取得フレームに基づいて出力された表示フレーム(第1フレーム)と、である。図9では、露光時間を1/4[sec]とする。
例として、時刻t0を、ΔEVが制御露出限界となった時刻とする。時刻t0よりも前を、ΔEVが制御露出限界より明るかった時間帯とし、時刻t0よりも後を、ΔEVが制御露出限界を下回った時間帯とする。
時刻t0の取得フレームをフレームN0とする。フレームN0の取得時刻t0ではΔEVが制御露出限界を下回っておらず、かつ、取得時刻t0よりも前は、ΔEVが制御露出限界より明るかった時間帯であるため、補正に用いる表示フレームSは存在しない。したがって、出力部204は、取得フレームN0をそのまま中間フレームS0として出力する。すなわち、表900の式(4)に示したように、(Ny(0),Nu(0),Nv(0))=(Sy(0),Su(0),Sv(0))となる。
そして、補正部203は、中間フレームS0をデジタルゲインG(ΔEV)を用いて増幅し、出力部204は、増幅された表示フレームD0を出力する。これにより、表示フレームD0は、表示デバイス110に表示される。
時刻t0から露光時間経過後の時刻t1の取得フレームをフレームN1とする。フレームN1の取得時刻t1でのΔEVは、制御露出限界を下回っている。したがって、決定部202は、補正に用いる第1フレームを、1つ前の時刻t0の中間フレームS0に決定する。そして、補正部203は、中間フレームS0と取得フレームN1とのαブレンドにより中間フレームS1を生成する。具体的には、たとえば、補正部203は、表900の式(5)(k=1とする)を用いて、中間フレームS1を生成する。
そして、補正部203は、中間フレームS1をデジタルゲインG(ΔEV)を用いて増幅して表示フレームD1を生成し、出力部204は、増幅された表示フレームD1を出力する。これにより、表示フレームD1は、表示デバイス110に表示される。
時刻t1から露光時間経過後の時刻t2の取得フレームをフレームN2とする。フレームN2の取得時刻t2でのΔEVは、制御露出限界を下回っている。したがって、決定部202は、補正に用いる第1フレームを、1つ前の時刻t1の中間フレームS1に決定する。そして、補正部203は、中間フレームS1と取得フレームN2とのαブレンドにより中間フレームS2を生成する。具体的には、たとえば、補正部203は、表900の式(5)(k=2とする)を用いて、中間フレームS2を生成する。
そして、補正部203は、中間フレームS2をデジタルゲインG(ΔEV)を用いて増幅して表示フレームD2を生成し、出力部204は、増幅された表示フレームD2を出力する。これにより、表示フレームD2は、表示デバイス110に表示される。
時刻t2から露光時間経過後の時刻t3の取得フレームをフレームN3とする。フレームN3の取得時刻t3でのΔEVは、制御露出限界を下回っている。したがって、決定部202は、補正に用いる第1フレームを、1つ前の時刻t2の中間フレームS2に決定する。そして、補正部203は、中間フレームS2と取得フレームN3とのαブレンドにより中間フレームS3を生成する。具体的には、たとえば、補正部203は、表900の式(5)(k=3とする)を用いて、中間フレームS3を生成する。
そして、補正部203は、中間フレームS3をデジタルゲインG(ΔEV)を用いて増幅して表示フレームD3を生成し、出力部204は、増幅された表示フレームD3を出力する。これにより、表示フレームD3は、表示デバイス110に表示される。
なお、αの値は、第2フレームである取得フレームNkの取得時刻tkでのΔEVに比例するように設定されている。すなわち、ΔEVが大きくなるにつれαの値も大きくなり、ΔEVの値が小さくなるにつれαの値も小さくなる。
移動平均を用いた補正では、移動平均をとる取得フレーム枚数nで補正されたが、αブレンドを用いた補正は、αの値を変更するだけで、フレーム枚数nのような離散的ではなく、「何枚分の移動平均相当か」を無段階に調整することができる。また、補正に必要な第1フレームが1つ前に加算された表示フレームだけで済むため、移動平均を用いた補正と比べて計算が簡単で、処理負荷の低減を図ることができる。
実施例3について説明する。実施例3は、実施例1および実施例2において、補正部203が、移動平均を用いた補正およびαブレンドを用いた補正に加えて、階調カーブにしたがって補正する例である。具体的には、たとえば、後述する2種類の階調カーブを用いて、ΔEVに基づいて、表示フレームの出力に際し2種類のカーブを切り替える。なお、実施例3では、階調カーブに基づく補正を中心に説明するため、実施例1および実施例2と同一構成には同一符号を付し、その説明を省略する。
図10は、階調カーブを示すグラフである。グラフ1000の横軸は、撮像素子からの画像入力信号から得られる輝度である。縦軸は、表示デバイス110(たとえば、sRGBモニタなどの標準表示デバイス)に出力される輝度である。点線が、通常の階調カーブ1001であり、実線が実施例3の階調カーブ1002である。階調カーブ1001,1002はいずれも表示の階調の特性を示す。階調カーブ1001,1002は記憶デバイス102に記憶されている。
実施例3の撮像装置100は、暗部の見えを改善するため中間調以下の被写体の暗部を明るく表示するため、撮像部120からの中間調以下のセンサ入力値に対応する表示用出力値の輝度が階調カーブ1001よりも明るくなるように、階調カーブ1002が設定される。
具体的には、たとえば、ΔEVが制御露出限界よりも明るいあらかじめ設定されたある明るさを下回っていない場合は、撮像装置100は、移動平均またはαブレンドによる補正をせずに、階調カーブ1001を用いて表示用出力として表示フレームを出力する。一方、ΔEVが当該ある明るさを下回っている場合は、補正部203による移動平均またはαブレンドによる補正の実行にかかわらず、撮像装置100は、階調カーブ1002を用いて表示用出力として表示フレームを出力する。
このように、実施例3によれば、撮像部120からの中間調以下のセンサ入力値であれば、ΔEVが当該ある明るさを下回っている場合、ΔEVが当該ある明るさを下回っていない場合に比べて、表示用出力を明るくすることができる。
なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
100 撮像装置、101 プロセッサ、102 記憶デバイス、110 表示デバイス、120 撮像部、201 取得部、202 決定部、203 補正部、204 出力部
Claims (18)
- 被写体を撮像して、第1フレームと、前記第1フレームの後の第2フレームと、を出力する撮像部と、
前記第2フレームの輝度値に基づいて、前記第1フレームを用いた前記第2フレームの補正条件を決定する決定部と、
前記第2フレームの輝度値と、前記決定部によって決定された前記第1フレームを用いた前記第2フレームの補正条件と、に基づいて、前記第2フレームの輝度値を補正する補正部と、
前記補正部による補正後の第2フレームを出力する出力部と、
を有する撮像装置。 - 請求項1に記載の撮像装置であって、
前記決定部は、前記撮像部からの前記第2フレームの出力時における前記撮像装置の露出値に基づいて、前記補正条件を決定する、
撮像装置。 - 請求項2に記載の撮像装置であって、
前記決定部は、前記露出値が所定の露出値を下回る場合に、前記補正条件を決定する、
撮像装置。 - 請求項1から3のいずれか一項に記載の撮像装置であって、
前記決定部は、前記第2フレームの補正に用いる前記第1フレームの枚数を決定する、
撮像装置。 - 請求項4に記載の撮像装置であって、
前記決定部は、前記撮像部からの前記第2フレームの出力時における前記撮像装置の露出値が低いほど前記第1フレームの枚数を増加させる、
撮像装置。 - 請求項1から5のいずれか一項に記載の撮像装置であって、
前記補正部は、前記補正部による補正前の第1フレームの輝度値と、前記第2フレームの輝度値と、の移動平均値に基づいて、前記第2フレームの輝度値を補正する、
撮像装置。 - 請求項6に記載の撮像装置であって、
前記補正部は、前記撮像部からの前記第2フレームの出力時における露出値に基づいて、前記移動平均値を増幅補正する、
撮像装置。 - 請求項6に記載の撮像装置であって、
前記補正部は、前記撮像部からの前記第1フレームと前記第2フレームの出力時における各露出値の統計値に基づいて、前記移動平均値を増幅補正する、
撮像装置。 - 請求項1から3のいずれか一項に記載の撮像装置であって、
前記決定部は、前記第2フレームの補正に用いる前記補正後の第1フレームの輝度値に与える第1重み値と、前記第2フレームに与える第2重み値と、を決定する、
撮像装置。 - 請求項9に記載の撮像装置であって、
前記第2重み値は、前記第1重み値が大きいほど小さくなる、
撮像装置。 - 請求項9または10に記載の撮像装置であって、
前記決定部は、前記第2フレームの輝度値が低いほど、前記第2重み値を低下させる、
撮像装置。 - 請求項9から10のいずれか一項に記載の撮像装置であって、
前記補正部は、前記第1フレームの輝度値と前記第1重み値と前記第2重み値とに基づいて、前記第2フレームの輝度値を補正する、
撮像装置。 - 請求項12に記載の撮像装置であって、
前記補正部は、前記撮像部からの前記第2フレームの出力時における露出値に基づいて、前記第2フレームの輝度値を増幅補正する、
撮像装置。 - 請求項12に記載の撮像装置であって、
前記補正部は、前記補正後の第1フレームの露出値と、前記第2フレームの取得時の露出値と、の統計値に基づいて、前記第2フレームの輝度値を増幅補正する、
撮像装置。 - 請求項2に記載の撮像装置であって、
前記補正部は、前記露出値に基づいて、前記撮像部からの入力に応じて前記出力部からの出力を規定する第1階調情報と、前記撮像部からの所定値までの入力に応じた前記出力部からの出力が前記第1階調情報よりも大きい第2階調情報と、のうちいずれかを選択して、前記第2フレームを補正する、
撮像装置。 - 請求項1から15のいずれか一項に記載の撮像装置であって、
前記出力部は、前記補正後の第2フレームを表示画面に表示する、
撮像装置。 - 第1フレームと、前記第1フレームの後の第2フレームと、を取得する取得部と、
前記第2フレームの輝度値に基づいて、前記第1フレームを用いた前記第2フレームの補正条件を決定する決定部と、
前記第2フレームの輝度値と、前記決定部によって決定された前記第1フレームを用いた前記第2フレームの補正条件と、に基づいて、前記第2フレームの輝度値を補正する補正部と、
前記補正部による補正後の第2フレームを出力する出力部と、
を有する画像処理装置。 - プロセッサに、
第1フレームと、前記第1フレームの後の第2フレームと、を取得する取得処理と、
前記第2フレームの輝度値に基づいて、前記第1フレームを用いた前記第2フレームの補正条件を決定する決定処理と、
前記第2フレームの輝度値と、前記決定処理によって決定された前記第1フレームを用いた前記第2フレームの補正条件と、に基づいて、前記第2フレームの輝度値を補正する補正処理と、
前記補正処理による補正後の第2フレームを出力する出力処理と、
を実行させる画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020066815A JP2021164112A (ja) | 2020-04-02 | 2020-04-02 | 撮像装置、画像処理装置、および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020066815A JP2021164112A (ja) | 2020-04-02 | 2020-04-02 | 撮像装置、画像処理装置、および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021164112A true JP2021164112A (ja) | 2021-10-11 |
Family
ID=78003782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020066815A Pending JP2021164112A (ja) | 2020-04-02 | 2020-04-02 | 撮像装置、画像処理装置、および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021164112A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4162833A1 (en) | 2021-10-05 | 2023-04-12 | ASICS Corporation | Plate, sole, and shoe |
-
2020
- 2020-04-02 JP JP2020066815A patent/JP2021164112A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4162833A1 (en) | 2021-10-05 | 2023-04-12 | ASICS Corporation | Plate, sole, and shoe |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6911202B2 (ja) | 撮像制御方法および撮像装置 | |
US10194091B2 (en) | Image capturing apparatus, control method therefor, program, and recording medium | |
JP5624809B2 (ja) | 画像信号処理装置 | |
JP2007096582A (ja) | 撮像装置、露出制御装置、方法およびプログラム | |
JP2009177472A (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
US20170318208A1 (en) | Imaging device, imaging method, and image display device | |
US20140192246A1 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable recording medium | |
US11831991B2 (en) | Device, control method, and storage medium | |
US20160196640A1 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
US9704273B2 (en) | Image processing device, method, and imaging device | |
US9191573B2 (en) | Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same | |
US9113117B2 (en) | Image-taking apparatus and method for controlling the same | |
JP2008301371A (ja) | 撮像装置および画像処理プログラム | |
JP6108680B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US8570407B2 (en) | Imaging apparatus, image processing program, image processing apparatus, and image processing method | |
US20230196529A1 (en) | Image processing apparatus for capturing invisible light image, image processing method, and image capture apparatus | |
JP2021164112A (ja) | 撮像装置、画像処理装置、および画像処理プログラム | |
US20200029019A1 (en) | Image processing apparatus and method | |
JP2010068046A (ja) | 撮像装置 | |
WO2015129479A1 (ja) | 撮像装置および方法、並びにプログラム | |
JP2012095223A (ja) | 撮像装置、撮像方法及びプログラム | |
JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
JP2017102393A (ja) | 撮像装置 | |
US20220217285A1 (en) | Image processing device, image processing method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240329 |