JP2018148397A - 画像処理装置 - Google Patents

Abstract

【課題】 ダイナミックレンジの広い画像を表示パネルに表示する場合、輝度が暗くなり全階調での階調性および全体的な明るさの確認することが困難となる。【解決手段】 撮像手段と画像表示を行う第１の表示手段と、第２の表示手段と、前記第１の表示手段の階調を補正する第１の階調補正手段と、前記第２の表示手段の階調を補正する第２の階調補正手段と、前記第１及び第２の表示手段にダイナミックレンジの広い画像を表示するＨＤＲアシストモードと、前記第１の表示手段に表示するダイナミックレンジ範囲である第１のダイナミックレンジ範囲と、前記第２の表示手段に表示するダイナミックレンジ範囲である第２のダイナミックレンジ範囲と、前記ＨＤＲアシストモードか否かを検出するＨＤＲアシストモード検出手段とを備え、前記ＨＤＲアシストモード時に、前記第１及び記第２のダイナミックレンジ範囲を異なるダイナミックレンジ範囲にすること。【選択図】図１

Description

本発明は、画像処理装置及びその制御方法に関するものである。

近年、映像制作やテレビ開発の現場でカメラが捉える広いダイナミックレンジを、そのまま映像信号にのせるＨｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ（ＨＤＲ）技術が進んでいる。それにともないハイダイナミックレンジで撮影可能なカメラの普及が増えてきている。ハイダイナミックレンジで撮影した画像を表示するには、ピーク輝度が高く、コントラストの高いダイナミックレンジが広い大型モニタが必要となる。しかし、カメラ本体に付属した小型モニタはピーク輝度が低いため、ハイダイナミックレンジで撮影した画像を忠実に再現することは難しい。

忠実な再現は難しいまでも、階調性を確認するために、図７（ａ）で示すように、カメラで撮影される入力レベルに対して小型モニタの輝度がリニアな関係となるように表示し、ＨＤＲのアシスト表示として使われることがある。また、特許文献１では、現像画像の特定の領域から部分画像を取得し、その部分画像のみダイナミックレンジを拡大して、現像画像に重畳して表示する方法が提案されている。

特開２０１５−２９２２５号公報

しかしながら、上記従来例では、ＨＤＲアシスト表示として、カメラで撮影される入力レベルに対してモニタの輝度がリニアな関係となるように表示すると、全体的に暗い画像となってしまう。そのため、高階調側の階調性は視認できるようになるが、低階調側は暗くなってしまい視認性が低くなり、全体的な明るさを確認するのが困難となる。また、特定領域のみのダイナミックレンジを拡大した場合は、全体像を把握する時に、特定領域の明るさが変わることへの違和感を感じ視認性が低い。

そこで、本発明の目的は、ＨＤＲのアシスト表示中でも、全階調の階調性を確認でき、全体的な明るさを確認できるようにすることである。

上記目的を達成するために、本発明は、撮像手段と画像表示を行う第１の表示手段と、第２の表示手段と、前記第１の表示手段の階調を補正する第１の階調補正手段と、前記第２の表示手段の階調を補正する第２の階調補正手段と、前記第１の表示手段および前記第２の表示手段にダイナミックレンジの広い画像を表示するＨＤＲアシストモードと、前記第１の表示手段に表示するダイナミックレンジ範囲を設定する第１のダイナミックレンジ設定手段と、前記第２の表示手段に表示するダイナミックレンジ範囲を設定する第２のダイナミックレンジ設定手段と、前記ＨＤＲアシストモードか否かを検出するＨＤＲアシストモード検出手段とを備え、前記ＨＤＲアシストモード時に、前記第１のダイナミックレンジ設定手段により設定される第１のダイナミックレンジ範囲と、前記第２のダイナミックレンジ設定手段により設定される第２のダイナミックレンジ範囲を、異なるダイナミックレンジ範囲にすることを特徴とする。

本発明によれば、ＨＤＲアシスト表示を、２つの表示手段に、異なるダイナミックレンジで表示することで、全階調の階調性の確認および全体的な明るさの確認をすることができる。

第１の実施例におけるビデオカメラのシステム制御の構成を示すブロック図である。 第１の実施例におけるパネル信号処理回路のブロック図である。 液晶パネル及びＥＶＦパネルに表示される画像の階調補正処理を示すブロック図である。 ＨＤＲアシストモード時の液晶表示部及びＥＶＦ表示部に表示される画像例である。 ＨＤＲアシストモード時の液晶表示部及びＥＶＦ表示部に表示される画像例である。 ＨＤＲアシストモードでない時の液晶表示部及びＥＶＦ表示部に表示される画像例である。 ＨＤＲアシストモード時の液晶表示部及びＥＶＦ表示部のガンマ特性を表わす図である。 ＨＤＲアシストモード時の液晶表示部及びＥＶＦ表示部のガンマ特性を表わす図である。 ＨＤＲアシストモードでない時の液晶表示部及びＥＶＦ表示部のガンマ特性を表わす図である。 第１の実施例における液晶表示部の表示制御手順を示すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。以下、図１〜図１０を参照して、本発明の各実施例の動作を説明する。

＜第１の実施形態＞
第１の実施例は、周囲の照度に応じて、表示パネル及びＥＶＦパネルの階調補正制御をすることを特徴とする。

以下、本発明の第１の実施例によるビデオカメラのシステム制御の構成について説明する。図１は請求項１から請求項５の発明の実施の形態におけるビデオカメラにおけるシステム制御の構成を説明する回路ブロック図を示す。

システム制御部１０１には、電源スイッチ１１２、操作スイッチ１１３、液晶表示部１０５、メモリ１１４、ＨＤＲアシストモード検出部１１５、照度検出部１１６、ＥＶＦ表示部１１７が接続する。電源スイッチ１１２はカメラの電源をオン/オフ操作する切替スイッチである。操作スイッチ１１３はカメラを操作するためのスイッチである。液晶表示部１０５は撮影映像や再生映像を表示可能な液晶パネル１０７と液晶パネル１０７の前面に配置されるタッチパネル１０６と、液晶パネル１０７を背面側から照射するバックライト１０８からなる。

タッチパネル１０６は、ユーザーが画面上をタッチした位置情報を検知し、ビデオカメラの設定を表示画面上で行うためのメニュー操作や再生操作を行う。システム制御部１０１は、バックライト１０８の電流制御する電源回路１０９を介して、バックライト１０８の輝度を制御する。また、ＥＶＦ表示部１１７は、接眼可能なビューファインダーであり、撮影映像や再生映像を表示可能なＥＶＦパネル１１８とＥＶＦパネル１１８を背面側から照射するＥＶＦバックライト１１９からなる。ＥＶＦバックライト１１９の輝度制御は、バックライト１０８と同様にシステム制御部１０１から電源回路１０９を介して行う。

映像・音声入力部１０２は、レンズによる被写体光学像を画像信号に変換し、所定形式の映像信号を出力する撮像部と、音声を入力するマイク等の音声入力手段からなる。映像・音声信号処理部１０３は、映像・音声入力部１０２からの映像信号にノイズリダクション処理や信号レベルを一定にコントロールするＡＧＣなどの各種信号処理を行う。これらの処理を行ったアナログ信号は、図示しないＡ/Ｄ変換部によってデジタル信号へ変換されてデジタル信号処理部１１０に供給される。

デジタル信号処理部１１０は映像・音声信号処理部１０３からの信号に対してフォーマット変換やリサイズ処理、ＯＳＤ重畳を行い、パネル信号処理部１１１に供給する。撮影者が録画操作を行うと、システム制御部１０１は、デジタル信号処理部１１０からの映像音声信号を記録再生部１０４に転送し、図示しない記録媒体に記録させる。メモリ１１４は、ビデオカメラに内蔵され、デジタル信号処理１１０で処理をする際に一時的にデータを記録する。

ＨＤＲアシストモード検出部１１５は、図７（ａ）に示すように撮影されるレンジに対して、液晶表示部１０５及びＥＶＦ表示部１１７の輝度がリニアとなるように表示して、撮影画像の階調性を液晶表示部１０５及びＥＶＦ表示部１１７で確認するモードであるＨＤＲアシストモードか否かを検出する。パネル信号処理部１１１は液晶パネル１０７とＥＶＦパネル１１８へ供給する映像信号に対し後述に説明する信号処理を行う。照度検出部１１６は、周囲の照度を検出する。

次に、パネル信号処理部１１１について説明する。図２はパネル信号処理回路のブロック図を示す。デジタル信号処理部１１０より入力されるＹＣｂＣｒ信号は、液晶パネル１０７へ供給されるパスと、ＥＶＦ１１８へ供給されるパスに分岐される。まず、液晶パネル１０７へ供給されるパスについて説明する。３ＤＬＵＴ２０１は、ＹＣｂＣｒ信号に対して、入出力特性を示すＬＵＴ（ルックアップテーブル）を使用し、階調変換を行う。

本実施例ではＬＵＴを使用しているが、演算を用いて階調変換を行っても良い。Ｇａｉｎ/シャープネス補正部２０２は輝度信号（Ｙ信号）に対して信号レベルを調正するゲイン調整、エッジ強調を行うシャープネス補正処理を行う。Ｇａｉｎ/色補正部２０３は色差信号（Ｃｂ/Ｃｒ信号）に対してゲイン調整、彩度や色相を調整する色補正処理を行う。マトリクス回路２０４は輝度信号と色差信号を一次元マトリクス演算処理にてＲＧＢ信号に変換する。ブライト/コントラスト補正部２０５ではＲＧＢそれぞれの信号に対して、ブライト補正処理、コントラスト補正処理を行い、メニューによる画質調整設定値に応じて、補正処理を行う。

次に、ＥＶＦパネル１１８へ供給されるパスについて説明する。行う処理は液晶パネル１０７へ供給されるパスと同一であり、３ＤＬＵＴ２０６、Ｇａｉｎ/シャープネス補正部２０７、Ｇａｉｎ/色補正部２０８、マトリクス回路２０９、ブライト/コントラスト補正部２１０を通り、ＥＶＦパネル１１８へ供給される。

次に、液晶表示部１０５とＥＶＦ表示部１１７に表示するＨＤＲアシストモードの動作について説明する。液晶表示部１０５に表示する場合とＥＶＦ表示部１１７に表示する場合の処理は、パスが異なるのみで同一の処理であるため、ここでは、液晶表示部１０５のみを説明する。

電源スイッチ１１２を操作することによりビデオカメラに電源が供給される。操作スイッチ１１３を操作しカメラ記録モードに設定する。ＨＤＲアシストモード検出部１１５で、ＨＤＲアシストモードとなっている場合、液晶表示部１０５には図４に示す撮影画像が表示される。図４に示されるように、低輝度側から高輝度側まで階調性を確認することは可能であるが、撮影される画像の大半は、撮影レンジの０％から１００％内にあるため、全体的に暗い画像になってしまう。

図３には、液晶パネル１０７及びＥＶＦパネル１１７に表示される画像の階調補正処理のブロック図を示す。デジタル信号処理部１１０で撮影ガンマ処理が施され、３ＤＬＵＴ２０１で液晶パネル１０７に表示するための階調変換処理が施される。ＨＤＲアシストモード表示の場合には、３ＤＬＵＴ２０１に液晶パネル１０７の逆ガンマとなるようなＬＵＴが適用される。この時のＬＵＴをＬＵＴ１とし、図７（ｂ）にＬＵＴ１を用いた階調変換処理の例を示す。

図７（ａ）は、ＬＵＴ１を用いて、液晶表示部１０５に表示される入出力特性を示す。図７（ａ）に示すように撮影されるレンジに対して、液晶パネルの輝度がリニアとなる。従って、低輝度側から高輝度側まで階調性を確認できるが、暗い画像となってしまう。
また、ＨＤＲアシストモード検出部１１５で、ＨＤＲアシストモードとなっている場合のその他の例として、撮影されるレンジ全てに対して、液晶パネルの輝度をリニアとするのではなく、一部分をリニアにする場合の説明をする。

ここでは、撮影されるレンジが４００％までをリニアに表示する例を示す。液晶表示部１０５には図５に示す撮影画像が表示される。図５に示されるように、画像の明るさは最適に近い明るさとなり、家の屋根部分等の低輝度側では階調性を確認できるが、雲部分等の高輝度側で階調が潰れてしまうことがある。このように、３ＤＬＵＴ２０１には液晶パネル１０７の明るさが最適に近くなりかつ低階調側の階調性を確認できるようなＬＵＴが適用される。

この時のＬＵＴをＬＵＴ２とし、図８（ｂ）にＬＵＴ２を用いた階調変換処理の例を示す。図８（ａ）は、ＬＵＴ２を用いて、液晶表示部１０５に表示される入出力特性を示す。図８（ａ）に示すように撮影されるレンジの４００％以上は圧縮される。従って、明るさは最適に近くなり、圧縮される４００％以上の階調でのが階調性を確認するのは難しいが低階調側の階調性は確認可能である。

次に、ＨＤＲアシストモード検出部１１５で、ＨＤＲアシストモードでないことを検出した場合、液晶表示部１０５には図６に示す撮影画像が表示される。図６に示されるように、画像の明るさは最適となるが、家の屋根部分等の低輝度側や雲部分等の高輝度側で階調が潰れてしまうことがある。ＨＤＲアシストモード表示でない場合には、３ＤＬＵＴ２０６には液晶パネル１０７の明るさが最適となるようなＬＵＴが適用される。

例えば、ＢＴ.７０９に準拠したＬＵＴである。この時のＬＵＴをＬＵＴ２とし、図９（ｂ）にＬＵＴ２を用いた階調変換処理の例を示す。図９（ａ）は、ＬＵＴ１を用いて、液晶表示部１０５に表示される入出力特性を示す。図９（ａ）に示すように撮影されるレンジの１００％以上は圧縮される。従って、明るさは最適であるが階調性を確認するのは難しい。

図１０は請求項１から請求項５の発明の実施例における、液晶表示部１０５とＥＶＦ表示部１１７の表示制御手順を示すフローチャートである。

本処理は、システム制御部１０１によって実行される。電源スイッチ１１２を操作することによりビデオカメラに電源が供給される。操作スイッチ１１３を操作しカメラ記録モードに設定する。Ｓ１００１では、ＨＤＲアシストモード検出部１１５で、ＨＤＲアシストモードに設定されているか否かを判定する。ＨＤＲアシストモードの場合は、Ｓ１００２へ進み、ＨＤＲアシストモードでない場合は、Ｓ１００９へ進む。Ｓ１００２では照度検出部１１６で周囲の照度が１０，０００ルクス以上か否かを判定する。

照度が１０，０００ルクス以上の場合は、Ｓ１００３へ進み、１０，０００ルクス未満の場合は、Ｓ１００４へ進む。Ｓ１００３では液晶表示部１０５に表示するダイナミックレンジを０〜４００％とし、ＥＶＦ表示部１１７に表示するダイナミックレンジを０〜１６００％に設定する。液晶表示部１０５に表示される入出力特性は、ＬＵＴ２を用いることで、図８（ａ）の特性となる。ＥＶＦ表示部１１７に表示される入出力特性は、ＬＵＴ１を用いることで、図７（ａ）の特性となる。照度が１０，０００ルクス以上とは屋外に相当する。

屋外で液晶表示部１０５を視認する場合、外光反射の影響でコントラストが低下するため、液晶表示部１０５の明るさが暗いと何が表示されているのかを確認することができない。表示するダイナミックレンジが０〜１６００％の場合、図４に示すように暗い画像となってしまい、何が表示されているのか分からない。そこで、屋外のような照度の時は、ダイナミックレンジを０〜４００％に狭めることで、液晶表示部１０５が明るくなるようにし、低階調側の階調性確認、全体的な明るさの確認、屋外視認性を可能としている。

ＥＶＦ表示部１１７の場合は、遮光されているため、周囲の照度の影響を受けずに表示することができる。そのため、ダイナミックレンジは０〜１６００％の設定として屋外でも高階調側の階調性確認を可能としている。Ｓ１００４では照度が１０，０００ルクス未満のため、屋内等の環境に相当する。屋内では外光反射の影響が少ないため、液晶表示部１０５が暗くても視認可能である。そのため液晶表示部１０５、ＥＶＦ表示部１１７ともにダイナミックレンジは０〜１６００％に設定する。

液晶表示部１０５およびＥＶＦ表示部１１７に表示される入出力特性は、ＬＵＴ１を用いることで、図７（ａ）の特性となる。Ｓ１００５では、Ｓ１００３やＳ１００４で設定されたダイナミックレンジに応じて、３ＤＬＵＴ２０１と３ＤＬＵＴ２０６に適用するＬＵＴを選択し、Ｓ１００６へ進む。Ｓ１００６ではＳ１００５で選択されたＬＵＴを適用することで、アシスト表示としている。

このように、液晶表示部とＥＶＦ表示部に表示するダイナミックレンジを変えることにより、全階調での階調性を確認でき、全体的な明るさの確認も行うことができる。また、屋外環境下では、外光の影響を受ける液晶表示部の方のダイナミックレンジを狭めることで、屋外視認性も確保できるようになる。

Ｓ１００７では、ＨＤＲアシストモードでない場合のＬＵＴを選択し、Ｓ１００８へ進む。Ｓ１００８ではＳ１００７で選択されたＬＵＴを適用することで、液晶表示部１０５およびＥＶＦ表示部１１７の表示を行っている。この時の入出力特性は、ＬＵＴ３を用いることで、図９（ａ）の特性となる。

以上の処理を行った後、撮影あるいは再生が継続されているかどうかの判定を行い（Ｓ１００９）、電源が切断されて制御が終了するまで、ステップＳ１００１の処理を繰り返す。電源が切断されると、本処理を終了する。

このように、第１の実施例におけるビデオカメラによれば、液晶パネルとＥＶＦパネルに表示するダイナミックレンジを周囲の照度に応じて、アシスト表示となるようなＬＵＴを変更し、撮影画像の階調性の確認、全体的な明るさの確認、屋外での視認性の確保を可能にしている。

尚、本実施例では、ＬＵＴを用いて階調変換を行っているが、演算を用いて階調変換を行っても良い。尚、本実施例では、アシスト表示のダイナミックレンジを１６００％と４００％に設定しているが、この値に特定されるものではなく任意の値で良い。尚、本実施例では、屋外の時は液晶表示部のダイナミックレンジを狭めたが、液晶表示部に限定されるのではなく、各々のパネルの輝度性能によってダイナミックレンジを狭める方をＥＶＦ表示部にしても構わない。

尚、本実施例では、液晶表示部とＥＶＦ表示部に表示するダイナミックレンジを周囲の照度に応じて変更しているが、メニュー設定によって各々のダイナミックレンジを選択できるようにしても良い。尚、周囲の照度の閾値を１０，０００ルクスと設定しているが、この値に限定されるものではなく、適宜変更可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１０１ システム制御部
１０２ 映像・音声入力部
１０３ 映像・音声信号処理部
１０４ 記録再生部
１０５ 液晶表示部
１０６ タッチパネル
１０７ 液晶パネル
１０８ バックライト
１０９ 電源回路
１１０ デジタル信号処理部
１１１ パネル信号処理部
１１２ 電源ＳＷ
１１３ 操作ＳＷ
１１４ メモリ
１１５ ＨＤＲアシストモード検出部
１１６ 照度検出部
１１７ ＥＶＦ表示部
１１８ ＥＶＦパネル
１１９ ＥＶＦバックライト

Claims (5)

1. 撮像手段と、
   画像表示を行う第１の表示手段と、第２の表示手段と、
   前記第１の表示手段の階調を補正する第１の階調補正手段と、
   前記第２の表示手段の階調を補正する第２の階調補正手段と、
   前記第１の表示手段および前記第２の表示手段にダイナミックレンジの広い画像を表示するＨＤＲアシストモードと、
   前記第１の表示手段に表示するダイナミックレンジ範囲を設定する第１のダイナミックレンジ設定手段と、
   前記第２の表示手段に表示するダイナミックレンジ範囲を設定する第２のダイナミックレンジ設定手段と、
   前記ＨＤＲアシストモードか否かを検出するＨＤＲアシストモード検出手段とを備え、
   前記ＨＤＲアシストモード時に、前記第１のダイナミックレンジ設定手段により設定される第１のダイナミックレンジ範囲と、前記第２のダイナミックレンジ設定手段により設定される第２のダイナミックレンジ範囲を、異なるダイナミックレンジ範囲にすることを特徴とする画像処理装置。
2. 前記第１の表示部は、直視用ディスプレイであり、
   前記第２の表示部は、ビューファインダーであることを特徴とする請求項１に記載の画像処理装置。
3. 周囲の照度を検出する照度検出手段を備え、
   前記ＨＤＲアシストモード時に、
   前記照度検出手段が検出する照度が所定の閾値より明るい場合は、
   前記第１のダイナミックレンジ範囲を前記第２のダイナミックレンジ範囲より狭めることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記第２の表示手段は、前記第１の表示手段より最高輝度の高い表示手段であって、
   前記ＨＤＲアシストモード時に、
   前記第１のダイナミックレンジ範囲を前記第２のダイナミックレンジ範囲より狭めることを特徴とする請求項１に記載の画像処理装置。
5. 前記階調補正手段は、ＬＵＴであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。