JP2021013101A - 表示制御装置、撮像装置、表示制御方法、及びプログラム - Google Patents

Abstract

【課題】状況に応じてＳＤＲ画像又はＨＤＲ画像を表示することにより、消費電力の増大を抑制しつつユーザがＨＤＲ画像を確認することを可能にする技術を提供する。【解決手段】撮像装置の動きを検出する検出手段と、所定の条件を満たす動きが前記検出手段で検出されたか否かを判定する判定手段と、前記所定の条件を満たす動きが検出された場合、前記撮像装置の撮像手段が生成した画像信号に基づくＳＤＲ画像を表示手段に表示し、前記所定の条件を満たす動きが検出されない場合、前記画像信号に基づく第１のＨＤＲ画像を前記表示手段に表示する表示制御手段と、を備えることを特徴とする表示制御装置を提供する。【選択図】図３

Description

本発明は、表示制御装置、撮像装置、表示制御方法、及びプログラムに関する。

近年、表示機器のダイナミックレンジが拡大され、ハイダイナミックレンジ（ＨＤＲ）対応の表示機器や撮像装置が増加している。ＨＤＲ対応の表示機器は、例えば、ＨＤＲ規格のＳＴ２０８４等に記載されたＥＯＴＦ特性を有する。ＨＤＲ対応の撮像装置は、例えば、ＨＤＲ規格のＳＴ２０８４等に記載されたＥＯＴＦ特性の逆特性となるＯＥＴＦ特性でガンマ処理を行う。

ＨＤＲ規格では表示機器のピーク輝度が高く、発光領域において表示輝度が非常に高くなることがある。そのため、画像表示装置や、撮像装置が備えるＥＶＦや液晶ディスプレイ等の表示機器において、消費電力が増大することがある。また、高輝度領域の割合が多い画像では、眩しさによりユーザの目の疲労が増大することがある。

特許文献１には、ＨＤＲ表示の際の画像表示装置の消費電力とユーザの疲労感とを低減する技術が開示されている。特許文献１では、表示画像の輝度レベルに応じて、ＨＤＲ表示を行う領域と、ＨＤＲ表示に比べダイナミックレンジとピーク輝度の低いＳＤＲ表示を行う領域とを切り替えることで、消費電力とユーザの疲労感とを低減している。

特開２０１７−４５０３０号公報

しかしながら、特許文献１の技術に従って撮影時に表示画像の一部をＳＤＲ表示にした場合、実際に記録される画像との相違が大きくなるため、撮影時にユーザが意図通りの画像を記録できそうかを予測することが困難になる。

本発明はこのような状況に鑑みてなされたものであり、状況に応じてＳＤＲ画像又はＨＤＲ画像を表示することにより、消費電力の増大を抑制しつつユーザがＨＤＲ画像を確認することを可能にする技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮像装置の動きを検出する検出手段と、所定の条件を満たす動きが前記検出手段で検出されたか否かを判定する判定手段と、前記所定の条件を満たす動きが検出された場合、前記撮像装置の撮像手段が生成した画像信号に基づくＳＤＲ画像を表示手段に表示し、前記所定の条件を満たす動きが検出されない場合、前記画像信号に基づく第１のＨＤＲ画像を前記表示手段に表示する表示制御手段と、を備えることを特徴とする表示制御装置を提供する。

本発明によれば、状況に応じてＳＤＲ画像又はＨＤＲ画像を表示することにより、消費電力の増大を抑制しつつユーザがＨＤＲ画像を確認することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

撮像装置１００の構成例を示すブロック図。 表示用画像処理部１０５の構成例を示すブロック図。 表示用画像処理部１０５が実行する表示制御処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、表示制御装置を有する撮像装置１００の構成例を示すブロック図である。撮像装置１００は、光学系１０１と、撮像部１０２と、信号処理部１０３と、記録部１０４と、表示用画像処理部１０５と、液晶表示部１０６と、ＥＶＦ表示部１０７と、を有する。撮像装置１００はまた、撮影ＳＷ１０８（撮影スイッチ）と、露出操作部１０９と、画質設定部１１０と、接眼センサ１１１と、ジャイロセンサ１１２と、システム制御部１５０とを有する。

システム制御部１５０には、光学系１０１、撮像部１０２、信号処理部１０３、表示用画像処理部１０５、撮影ＳＷ１０８、露出操作部１０９、画質設定部１１０、接眼センサ１１１、及びジャイロセンサ１１２が接続されている。システム制御部１５０は、撮影ＳＷ１０８（撮影スイッチ）、露出操作部１０９、及び画質設定部１１０を介してユーザ操作を検知する。また、システム制御部１５０は、接眼センサ１１１及びジャイロセンサ１１２を介して撮像装置１００の状態を検知し、光学系１０１、撮像部１０２、信号処理部１０３、及び表示用画像処理部１０５の動作を制御する。

光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、及びシャッター装置を備えている。システム制御部１５０は、撮影ＳＷ１０８を介してユーザ操作（半押し）を検知し、フォーカスレンズの駆動や、絞り調整装置及びシャッター装置の露出制御を行う。また、システム制御部１５０は、露出操作部１０９を介してユーザ操作を検知し、絞り調整装置やシャッター装置を調整し、光学系１０１を通過する光量を調整する。

撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳセンサ等の光電変換素子と、光電変換素子から出力される電気信号をデジタル画像に変換するＡ／Ｄ変換装置からなる。信号処理部１０３は、撮像部１０２から出力されたデジタル画像（画像信号）に対して、欠陥画素補正、レンズ収差補正等の補正処理と、ＷＢ処理、ＮＲ処理、デベイヤー処理、シャープネス処理、ガンマ補正処理等の信号処理を行い、ＨＤＲ画像を生成する。信号処理部１０３で生成されたＨＤＲ画像は、表示用画像処理部１０５に出力される。また、信号処理部１０３で生成されたＨＤＲ画像は、撮影ＳＷ１０８を介してユーザ操作（全押し）を検知した場合には、記録部１０４へも出力される。記録部１０４は、画像を記録する機能を有し、例えば、半導体メモリが搭載されたメモリカード等の情報記録媒体である。情報記録媒体は、撮像装置１００に対して着脱可能であってもよい。

表示用画像処理部１０５は、信号処理部１０３から入力されるＨＤＲ画像を、システム制御部１５０からの制御に応じて、ＳＤＲ画像、若しくは、液晶表示部１０６又はＥＶＦ表示部１０７に適したＨＤＲ画像に変換する。表示用画像処理部１０５の処理の詳細は後述する。

液晶表示部１０６は、接眼部を持たない表示装置であり、表示用画像処理部１０５から出力される画像を表示する。液晶表示部１０６は、液晶ディスプレイに限らず、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであってもよい。ＥＶＦ表示部１０７は、接眼部を持つ（接眼部を介して視認される）表示装置であり、表示用画像処理部１０５から出力される画像を表示する。ＥＶＦ表示部１０７は、液晶ディスプレイや有機ＥＬディスプレイで構成される。表示用画像処理部１０５は、接眼センサ１１１を介してユーザによるＥＶＦ表示部１０７への接眼を検知した場合には、ＥＶＦ表示部１０７のみに画像を出力してもよい。また、表示用画像処理部１０５は、接眼センサ１１１を介してユーザによるＥＶＦ表示部１０７への接眼を検知しない場合には、液晶表示部１０６のみに画像を出力してもよい。このように、液晶表示部１０６とＥＶＦ表示部１０７の何れか一方のみ画像を表示することで消費電力を低減することが可能である。

図２は、表示用画像処理部１０５の構成例を示すブロック図である。表示用画像処理部１０５は、階調変換部２００、ピーク輝度調整部２０１、及び表示選択部２０２を有する。表示用画像処理部１０５の各部の動作については、図３を参照して後述する。

図３は、表示用画像処理部１０５が実行する表示制御処理のフローチャートである。本フローチャートの処理は、例えば、撮像装置１００が撮影待機状態（ライブビュー表示のための連続撮影を行っている状態）の間に、ＨＤＲ画像が表示用画像処理部１０５に入力する度に実行される。

Ｓ３０１で、階調変換部２００は、信号処理部１０３が出力するＨＤＲ画像に対して階調変換処理を行うことによりＳＤＲ画像を生成する。この階調変換処理では、ＨＤＲのガンマ特性がＳＤＲのガンマ特性に変換される。階調変換部２００から出力されるＳＤＲ画像は、表示選択部２０２に入力される。

Ｓ３０２で、ピーク輝度調整部２０１は、信号処理部１０３が出力するＨＤＲ画像（第２のＨＤＲ画像）に対して、液晶表示部１０６及びＥＶＦ表示部１０７のピーク輝度特性に合うように（表示可能な最高輝度を超えないように）高輝度部の調整を行う。なお、２つの表示部（液晶表示部１０６及びＥＶＦ表示部１０７）の何れか一方のみを使用する場合には、使用する表示部のピーク輝度特性に最適化した高輝度部の調整を行ってもよい。ピーク輝度調整部２０１から出力されるＨＤＲ画像（第１のＨＤＲ画像）は、表示選択部２０２に入力される。

Ｓ３０３で、システム制御部１５０は、ジャイロセンサ１１２が所定の条件を満たす動きを検出したか否かを判定する。所定の条件を満たす動きが検出された場合、処理はＳ３０４へ進み、そうでない場合、処理はＳ３０８へ進む。所定の条件を満たす動きとは、例えば、ユーザが撮像装置１００を運搬したり構図を決めるために撮像装置１００を移動させたりするような場合に発生する、閾値より大きい動きである。或いは、所定の条件を満たす動きとは、閾値より大きく、かつ方向が一定しない動きであってもよい。この場合、特定の方向へのパンニング操作により発生する動きは所定の条件を満たさない。

Ｓ３０４で、システム制御部１５０は、露出操作部１０９が操作されたか否かを判定する。露出操作部１０９が操作された場合、処理はＳ３０８へ進み、そうでない場合、処理はＳ３０５へ進む。ここで、露出操作部１０９の操作は、光学系１０１に含まれる絞り調整装置やシャッター装置の操作に限らず、画像の明るさを調整する露出補正値や感度設定値等の露出設定に関わる調整値を変更する操作を含んでもよい。

Ｓ３０５で、システム制御部１５０は、画質設定部１１０が操作されたか否かを判定する。画質設定部１１０が操作された場合、処理はＳ３０８へ進み、そうでない場合、処理はＳ３０６へ進む。ここで、画質設定部１１０の操作により設定される設定値は、信号処理部１０３で行われる、レンズ収差補正、ＷＢ処理、ＮＲ処理、デベイヤー処理、シャープネス処理、ガンマ補正処理等のための設定値を含む。

Ｓ３０６で、システム制御部１５０は、撮影ＳＷ１０８が押下されたか否かを判定する。撮影ＳＷ１０８が押下された場合、処理はＳ３０８へ進み、そうでない場合、処理はＳ３０７へ進む。

Ｓ３０７で、表示選択部２０２は、階調変換部２００が出力するＳＤＲ画像を選択して、液晶表示部１０６及びＥＶＦ表示部１０７へ出力する。

Ｓ３０８で、表示選択部２０２は、ピーク輝度調整部２０１が出力するＨＤＲ画像を選択して、液晶表示部１０６及びＥＶＦ表示部１０７へ出力する。なお、Ｓ３０８で、表示選択部２０２は、ＨＤＲ画像及びＳＤＲ画像の両方が液晶表示部１０６及びＥＶＦ表示部１０７で表示されるように、ＨＤＲ画像及びＳＤＲ画像の両方を液晶表示部１０６及びＥＶＦ表示部１０７へ出力してもよい。この場合、液晶表示部１０６及びＥＶＦ表示部１０７は、例えば、ＨＤＲ画像及びＳＤＲ画像を２画面で表示してもよいし、縮小されたＨＤＲ画像をＳＤＲ画像に重畳してもよい。

上記の処理から理解できるように、所定の条件を満たす動きが検出された場合には（Ｓ３０４〜Ｓ３０６で他の条件が満たされる場合を除いて）ＳＤＲ画像が表示され、所定の条件を満たす動きが検出されない場合はＨＤＲ画像が表示される。前述の通り、所定の条件を満たす動きとは、例えば、閾値より大きい動きである。撮像装置１００の動きが大きい場合、撮影の構図がまだ決まっていない可能性が高く、動きが小さい場合、撮影の構図が決まっており間もなく本撮影（記録用の画像の撮影）が行われる可能性が高い。従って、本実施形態によれば、間もなく本撮影が行われる可能性が高い場合に、記録用の画像との相違が比較的小さいＨＤＲ画像が表示されるので、ユーザが意図通りの画像を記録できそうかを予測することが容易になる。また、撮影の構図がまだ決まっていない可能性が高い場合にはＳＤＲ画像が表示されるので、消費電力とユーザの目の疲労とを低減することができる。

また、前述の通り、所定の条件を満たす動きとは、閾値より大きく、かつ方向が一定しない動きであってもよい。この場合、特定の方向へのパンニング操作により発生する動きは所定の条件を満たさず、ＨＤＲ画像が表示される。即ち、パンニング操作が行われている場合は間もなく本撮影が行われる可能性が高く、このような場合に記録用の画像との相違が比較的小さいＨＤＲ画像が表示されるので、ユーザが意図通りの画像を記録できそうかを予測することが容易になる。

なお、所定の条件を満たす動きは、閾値より大きい動きや、閾値より大きく、かつ方向が一定しない動きに限定される訳ではなく、任意の条件を本実施形態の所定の条件として用いることができる。所定の条件がどのようなものであっても、撮像装置１００の動きに応じてＳＤＲ画像とＨＤＲ画像とを適宜切り替えることで、消費電力やユーザの目の疲労を抑制しつつ、記録される画像の画質をユーザが事前に予測することが容易になるという効果が得られる。

また、所定の条件を満たす動きが検出された場合であっても、Ｓ３０４〜Ｓ３０６において「ＹＥＳ」と判定された場合にはＨＤＲ画像が表示される。即ち、ユーザが本撮影の画質を確認したい可能性が高い場合には、記録用の画像との相違が比較的小さいＨＤＲ画像が表示されるので、ユーザが意図通りの画像を記録できそうかを予測することが容易になる。

具体的には、ユーザによって、露出操作部１０９や画質設定部１１０が操作され、画像の明るさ等、記録される画質が変わった場合には、液晶表示部１０６やＥＶＦ表示部１０７にはＨＤＲ画像が表示される。そのため、ユーザが露出制御や画質設定によって変更した記録画質を予め確認することが可能である。また、ユーザによって撮影ＳＷ１０８が押下され、フォーカスレンズの駆動等の撮影動作や露出制御が検知された場合や、記録部１０４への記録指示が出た場合には、液晶表示部１０６やＥＶＦ表示部１０７にはＨＤＲ画像が表示される。そのため、ユーザが撮影動作に入った場合には、実際に記録される画質を予め確認することが可能である。

以上説明したように、第１の実施形態によれば、撮像装置１００は、所定の条件を満たす動きが検出された場合、撮像部１０２が生成した画像信号に基づくＳＤＲ画像を表示する。また、撮像装置１００は、所定の条件を満たす動きが検出されない場合、撮像部１０２が生成した画像信号に基づくＨＤＲ画像を表示する。従って、本実施形態によれば、状況に応じてＳＤＲ画像又はＨＤＲ画像を表示することにより、消費電力の増大を抑制しつつユーザがＨＤＲ画像を確認することが可能となる。

なお、接眼部を持たない液晶表示部１０６は外光の影響を受けるのに対して、接眼部を持つＥＶＦ表示部１０７は外光の影響を受けない。そこで、ピーク輝度調整部２０１を２つ用意し、それぞれを液晶表示部１０６用とＥＶＦ表示部１０７用とすることで、ピーク輝度の調整を最適化してもよい。また、接眼センサ１１１において接眼が検知できない場合には、ＥＶＦ表示部１０７にはＨＤＲ画像を表示しないように制御してもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０２…撮像部、１０３…信号処理部、１０５…表示用画像処理部、１０６…液晶表示部、１０７…ＥＶＦ表示部、１５０…システム制御部、２００…階調変換部、２０１…ピーク輝度調整部、２０２…表示選択部

Claims (13)

1. 撮像装置の動きを検出する検出手段と、
   所定の条件を満たす動きが前記検出手段で検出されたか否かを判定する判定手段と、
   前記所定の条件を満たす動きが検出された場合、前記撮像装置の撮像手段が生成した画像信号に基づくＳＤＲ画像を表示手段に表示し、前記所定の条件を満たす動きが検出されない場合、前記画像信号に基づく第１のＨＤＲ画像を前記表示手段に表示する表示制御手段と、
   を備えることを特徴とする表示制御装置。
2. 前記所定の条件を満たす動きは、閾値より大きい動きである
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記所定の条件を満たす動きは、閾値より大きく、かつ方向が一定しない動きである
   ことを特徴とする請求項１に記載の表示制御装置。
4. 前記判定手段は、前記撮像装置に対して露出を変更する第１のユーザ操作が行われたか否かを判定し、
   前記表示制御手段は、前記所定の条件を満たす動きが検出された場合であっても、前記第１のユーザ操作が行われた場合には、前記第１のＨＤＲ画像を前記表示手段に表示する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
5. 前記判定手段は、前記撮像装置に対して画質を変更する第２のユーザ操作が行われたか否かを判定し、
   前記表示制御手段は、前記所定の条件を満たす動きが検出された場合であっても、前記第２のユーザ操作が行われた場合には、前記第１のＨＤＲ画像を前記表示手段に表示する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
6. 前記判定手段は、前記撮像装置の撮影スイッチを押下する第３のユーザ操作が行われたか否かを判定し、
   前記表示制御手段は、前記所定の条件を満たす動きが検出された場合であっても、前記第３のユーザ操作が行われた場合には、前記第１のＨＤＲ画像を前記表示手段に表示する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の表示制御装置。
7. 前記画像信号に基づいて第２のＨＤＲ画像を生成し、前記表示手段が表示可能な最高輝度を超えないように前記第２のＨＤＲ画像の輝度を調整することにより前記第１のＨＤＲ画像を生成し、前記第２のＨＤＲ画像に対して階調変換処理を行うことにより前記ＳＤＲ画像を生成する生成手段を更に備える
   ことを特徴とする請求項１乃至６のいずれか１項に記載の表示制御装置。
8. 前記表示手段は、接眼部を持つ第１の表示手段と、接眼部を持たない第２の表示手段とを含み、
   前記表示制御手段は、前記第１の表示手段又は前記第２の表示手段に対して前記第１のＨＤＲ画像又は前記ＳＤＲ画像の表示を行う
   ことを特徴とする請求項１乃至６のいずれか１項に記載の表示制御装置。
9. 前記第１の表示手段が持つ前記接眼部に対するユーザの接眼を検知する検知手段を更に備え、
   前記ユーザの接眼が検知された場合、前記表示制御手段は、前記第１の表示手段に対して前記第１のＨＤＲ画像又は前記ＳＤＲ画像の表示を行い、
   前記ユーザの接眼が検知されない場合、前記表示制御手段は、前記第２の表示手段に対して前記第１のＨＤＲ画像又は前記ＳＤＲ画像の表示を行う
   ことを特徴とする請求項８に記載の表示制御装置。
10. 前記画像信号に基づいて第２のＨＤＲ画像を生成し、前記第２のＨＤＲ画像の輝度を調整することにより前記第１のＨＤＲ画像を生成し、前記第２のＨＤＲ画像に対して階調変換処理を行うことにより前記ＳＤＲ画像を生成する生成手段を更に備え、
    前記生成手段は、前記第１の表示手段に対して前記第１のＨＤＲ画像の表示が行われる場合、前記第１の表示手段が表示可能な最高輝度を超えないように前記第２のＨＤＲ画像の輝度を調整し、前記第２の表示手段に対して前記第１のＨＤＲ画像の表示が行われる場合、前記第２の表示手段が表示可能な最高輝度を超えないように前記第２のＨＤＲ画像の輝度を調整する
    ことを特徴とする請求項８又は９に記載の表示制御装置。
11. 請求項１乃至１０のいずれか１項に記載の表示制御装置と、
    前記撮像手段と、
    前記表示手段と、
    を備えることを特徴とする撮像装置。
12. 表示制御装置が実行する表示制御方法であって、
    撮像装置の動きを検出する検出工程と、
    所定の条件を満たす動きが前記検出工程で検出されたか否かを判定する判定工程と、
    前記所定の条件を満たす動きが検出された場合、前記撮像装置の撮像手段が生成した画像信号に基づくＳＤＲ画像を表示手段に表示し、前記所定の条件を満たす動きが検出されない場合、前記画像信号に基づく第１のＨＤＲ画像を前記表示手段に表示する表示制御工程と、
    を備えることを特徴とする表示制御方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の表示制御装置の各手段として機能させるためのプログラム。

Images