JP2017135600A - 画像処理装置、およびプログラム - Google Patents

Abstract

【課題】撮影した画像について、光強度における任意の範囲を、任意の表示方法（表示パターン）によって確認することができるようにする。【解決手段】画像処理装置が、入力された画像信号に含まれる画素の信号レベルを検出する信号レベル検出部と、前記信号レベル検出部によって検出された前記画素の前記信号レベルを、前記入力された画像信号の撮影時における光強度に変換する光強度変換部と、前記光強度変換部によって求められた前記画素の光強度が所定の範囲内にあるとき、前記範囲に応じた補助パターンを表す補助信号を生成する補助信号生成部と、入力された前記画像信号と、前記補助信号生成部によって生成された前記補助信号とを合成する合成部と、を備える。【選択図】図１

Description

本発明は、画像処理装置、およびプログラムに関する。

映像を撮影するための従来のビデオカメラは、被写体の輝度が高い部分の信号を当該ビデオカメラのダイナミックレンジに収まるように圧縮することによって、いわゆる「白つぶれ」を防ぐＫＮＥＥ（ニー）機能を備えている。
また、従来のビデオカメラは、ビューファインダーやモニターに表示する映像において、例えば輝度超過領域に、特定のパターンを表示することができる。特定のパターンとは、例えば、ゼブラパターン（縞模様のパターン）である。ビデオカメラを使用するユーザー（撮影者等）は、このゼブラパターン等が表示された場合に、撮影中の映像内に白つぶれの領域が存在することを認識する。白つぶれの領域が存在することを認識した場合、カメラマンは、レンズの絞りを調整したり、減光フィルター（ＮＤフィルター：neutral density filter）を使用したりすることによって、適切な輝度での撮影を行える。
なお、ここで、輝度超過領域とは、輝度レベルが、モニターなどの表示装置によって表示可能なレベルを超える領域である。言い換えれば、輝度超過領域とは、モニターなどの表示装置のダイナミックレンジを超える輝度を有する領域である。

一方で、最近のビデオカメラでは、画像センサーのダイナミックレンジの向上によって、映像として表現できる光強度の範囲が大幅に向上した。また、量子化技術の向上（高ビット化）によって輝度レベルを豊かな階調で表現する、いわゆるハイダイナミックレンジ（ＨＤＲ，high dynamic range）による映像制作が可能となった。

特許文献１には、次の技術が開示されている。即ち、同文献における撮像手段は、受光した被写体像を画像信号に変換する。そして、表示手段は、その画像信号に基づいて被写体像を表示する。また、光学式ビューファインダーの光路中にシャッター手段を配置し、そのシャッター手段により領域ごとに遮光状態と非遮光状態とを切り替え可能としている。検出手段は、被写体像の白とび領域と黒つぶれ領域をそれぞれ検出する。そして、制御手段は、検出手段によって検出された領域においてシャッター手段を非遮光状態とし、その他の領域においてシャッター手段を遮光領域とする。そして、重畳手段は、シャッター手段を通過した被写体像と、表示手段に表示された被写体像とを重畳する。これにより、重畳表示可能なＯＶＦ（光学ビューファインダー）とＥＶＦ（電子ビューファインダー）を有するカメラにおいてＥＶＦ表示をする際に、ＥＶＦの白とび領域についてＯＶＦで補助表示させる。したがって、ＥＶＦでは視認することができない白とびした被写体を視認できるようにしている。

特許文献２には、次の技術が開示されている。即ち、同文献の請求項４や段落００１９には、輝度が一定レベルを越えた部分に縞状のパターン（ゼブラパターン）をアシスト表示として表示させる画像処理装置が記載されている。

国際公開第２０１３／０４２４２０号 特開２０１４−１０３４５０号公報

映像制作等の場において、映像モニターのダイナミックレンジは、ビデオカメラ（画像センサー）ダイナミックレンジに比べて狭い。したがって、カメラが撮影できる最大光強度と、映像モニターで表示できる最大光強度との間には、差がある。質の高い映像を制作するためには、ビデオカメラが撮影する映像のダイナミックレンジと、液晶モニターで表示する映像のダイナミックレンジとの間の差分を掌握することが求められる。

また、従来技術によるビデオカメラが生成するゼブラパターンは、輝度信号における特定の閾値を超過する輝度の領域を表示する目的には有効であるが、ビデオカメラや映像モニターのダイナミックレンジの確認には向かないという問題がある。特に、ビデオカメラや映像モニターでの光強度の確認には向かないという問題がある。

また、光強度における任意の範囲の領域を、映像モニター上で、わかりやすい表示方法によって表示することが求められる。これにより、ユーザーは、ビデオカメラで撮影した映像のダイナミックレンジを確認することができる。
また、映像制作においては、撮影時の解像度とは異なる解像度の環境で映像を確認するニーズもある。また、映像モニターのダイナミックレンジとカメラのダイナミックレンジが異なっていても、撮影する映像のダイナミックレンジを確認したいというニーズもある。

本発明は、上記の課題認識に基づいて行なわれたものであり、ビデオカメラ等によって撮影した映像（画像）について、光強度における任意の範囲を、任意の表示方法（表示パターン）によって確認することのできる画像処理装置、およびそのプログラムを提供しようとするものである。

［１］上記の課題を解決するため、本発明の一態様による画像処理装置は、入力された画像信号に含まれる画素の信号レベルを検出する信号レベル検出部と、前記信号レベル検出部によって検出された前記画素の前記信号レベルを、前記入力された画像信号の撮影時における光強度に変換する光強度変換部と、前記光強度変換部によって求められた前記画素の光強度が所定の範囲内にあるとき、前記範囲に応じた補助パターンを表す補助信号を生成する補助信号生成部と、入力された前記画像信号と、前記補助信号生成部によって生成された前記補助信号とを合成する合成部と、を具備することを特徴とする。

［２］また、本発明の一態様は、上記の画像処理装置において、前記画素の前記信号レベルと前記光強度との対応関係を記憶する変換データベース、をさらに具備し、前記光強度変換部は、変換データベースを参照することにより、検出された前記信号レベルに対応する前記光強度を取得し、変換結果の前記光強度とする、ことを特徴とする。

［３］また、本発明の一態様は、上記の画像処理装置において、前記補助信号生成部は、光強度の範囲と前記補助パターンとのペアを複数記憶したテーブルを内部に備えている、ことを特徴とする。

［４］また、本発明の一態様は、上記の画像処理装置において、前記補助信号生成部は、複数種類の前記テーブルを内部に備えており、これら複数の前記テーブルを適宜切り替えて使用する、ことを特徴とする。

［５］また、本発明の一態様は、コンピューターを、入力された画像信号に含まれる画素の信号レベルを検出する信号レベル検出部と、前記信号レベル検出部によって検出された前記画素の前記信号レベルを、前記入力された画像信号の撮影時における光強度に変換する光強度変換部と、前記光強度変換部によって求められた前記画素の光強度が所定の範囲内にあるとき、前記範囲に応じた補助パターンを表す補助信号を生成する補助信号生成部と、入力された前記画像信号と、前記補助信号生成部によって生成された前記補助信号とを合成する合成部と、として機能させるためのプログラムである。

本発明によれば、所定の光電変換特性に基づいて撮影した映像の光強度の分布状況を、任意のダイナミックレンジ特性を有する映像モニターで、確認することができる。

本発明の第１実施形態による画像処理装置の概略機能構成を示すブロック図である。 同実施形態による変換データベースが記憶する、信号レベル・光強度変換テーブルの構成を示す概略図である。 同実施形態において、補助信号を生成するために用いられる補助信号定義テーブルの概略構成を示す概略図である。 同実施形態による画像処理装置に入力される映像信号内の１フレームの例である。 同実施形態による画像処理装置から出力される映像信号内の１フレームの例であって、入力信号と、カラーパターンを表す補助信号とを合成して得られる信号である。 同実施形態による画像処理装置から出力される映像信号内の１フレームの例であって、入力信号と、ゼブラパターンを表す補助信号とを合成して得られる信号である。 本発明の第２実施形態による画像処理装置の概略機能構成を示すブロック図である。

次に、図面を参照しながら、本発明の実施形態について説明する。
［第１実施形態］
図１は、第１実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、本実施形態による画像処理装置１は、信号レベル検出部１１と、バッファー記憶部１４と、信号レベル・光強度変換部１５と、変換データベース１６と、補助信号生成部１７と、補助信号合成部２０と、を含んで構成される。これら各部は、電子回路を用いてデジタル情報を処理するように構成される。また、各部は、情報を記憶する手段を内部に備える場合がある。情報を記憶する手段は、例えば、半導体メモリや磁気ハードディスク装置などを用いて実現される。

画像処理装置１は、外部から入力される映像信号を取得し、入力された映像信号に応じた補助信号を生成し、入力された映像信号と生成した補助信号とを合成して、その合成された信号を出力する。画像処理装置１に入力される映像信号は、不図示のビデオカメラや映像再生装置等から供給される。また、画像処理装置１が出力する映像信号は、映像モニター等に供給される。
画像処理装置１に入力される映像の解像度は、例えば、横１９２０画素×縦１０８０画素や、横３８４０画素×縦２１６０画素や、横７６８０画素×縦４３２０画素、などといたものである。また、その映像の輝度は、例えば、１０ビット（ｂｉｔ）あるいは１２ビットなどの信号値で表される。

以下では、各機能部について説明する。
信号レベル検出部１１は、入力された画像信号に含まれる画素の信号レベルを検出する。つまり、信号レベル検出部１１は、入力される映像（画像）信号を解析して、その映像に含まれる各フレーム、各画素の、信号レベルを検出する。なお、入力される映像信号は、信号レベル検出部１１の側と、補助信号合成部２０の側とに分配されている。

バッファー記憶部１４は、信号レベル検出部１１によって検出された信号レベルの値を記憶する。なお、バッファー記憶部１４は、映像のフレームごとに、各画素の信号レベルの値を記憶する。また、バッファー記憶部１４は、その信号レベルの値に応じた光強度の値を記憶する。なお、バッファー記憶部１４は、映像のフレームごとに、各画素の光強度の値を記憶する。光強度は、信号レベルの値に基づいて、信号レベル・光強度変換部１５によって求められる。各フレーム、各画素の光強度の値は、補助信号生成部１７によって読み出される。処理が完了したフレームについては、バッファー記憶部１４に記憶されている情報は、適宜、破棄（消去）される。

信号レベル・光強度変換部１５（単に、「光強度変換部」とも呼ぶ）は、信号レベル検出部１１によって検出された画素の信号レベルを、入力された画像信号の撮影時における光強度に変換する。具体的には、信号レベル・光強度変換部１５は、各フレーム、各画素のバッファー記憶部１４に記憶されている信号レベルの値を読み取り、光強度の値に変換し、その光強度の値をバッファー記憶部１４に書き込む。信号レベルの値を光強度の値に変換する際、信号レベル・光強度変換部１５は、例えば、変換データベース１６に格納されている信号レベル・光強度変換テーブルを参照することによって変換結果を得る。

変換データベース１６は、画素の信号レベルと光強度との対応関係を記憶する。具体的には、変換データベース１６は、信号レベルの値と光強度の値との対応関係を表す数値を格納したテーブルを記録する。このテーブルを信号レベル・光強度変換テーブルと呼ぶ。変換データベース１６が、複数種類の信号レベル・光強度変換テーブルを記憶するようにしてもよい。信号レベル・光強度変換テーブルの詳細については、後で、別の図を参照しながら説明する。

補助信号生成部１７は、信号レベル・光強度変換部１５によって求められた画素の光強度が所定の範囲内にあるとき、その範囲に応じた補助パターンを表す補助信号を生成する。具体的には、補助信号生成部１７は、バッファー記憶部１４から読み出した各フレーム、各画素の、光強度の値に基づいて、補助信号を生成する。補助信号は、光強度の値が属する範囲に応じて、予め定められたパターンを含んだ映像の信号である。そのため、補助信号生成部１７は、光強度の範囲と補助パターンとのペアを複数記憶したテーブルを内部に備えている。さらに、補助信号生成部１７が、そのテーブル自体を複数個、内部に備えて、適宜切り替えて使用するようにしてもよい。補助信号を生成する処理の詳細について、後で、詳述する。

補助信号合成部２０（単に「合成部」とも呼ぶ）は、入力された映像（画像）信号と、補助信号生成部１７によって生成された補助信号とを合成する。入力された映像信号は、信号レベル検出部１１へ向かう側と、補助信号合成部２０に向かう側とに分配されている。なお、補助信号合成部２０は、具体的には、入力された映像信号に、補助信号生成部１７から供給される補助信号の映像を重畳（オーバーレイ）する。補助信号合成部２０は、入力された映像信号内のフレームと、当該フレームに対応して補助信号生成部１７によって生成された補助信号のフレームとを合成する。なお、補助信号のフレーム内には、透明な画素も含まれる。補助信号合成部２０が、入力されたオリジナルな映像信号の上に、補助信号生成部１７によって生成された補助信号を重畳することにより、合成された映像を見るユーザーは、元の映像信号の中の特定範囲の光強度の部分を視覚的に認識できる。
なお、補助信号合成部２０の段階で、入力される映像信号をカラー映像のままとしたり、色彩を除去した形のモノクロ映像（グレースケール映像）に切り替えたりできるようにしてもよい。その場合、ユーザーは、スイッチの操作等によって、カラーかモノクロかを任意に選択できる。

図２は、変換データベース１６が記憶する信号レベル・光強度変換テーブルのデータ構成を示す概略図である。図示するように、信号レベル・光強度変換テーブルは、２次元の表の形式のデータを記憶する。この信号レベル・光強度変換テーブルは、信号レベル（１０ビット）、信号レベル（１２ビット）、信号値（Ｅ’）、光強度（Ｅ）、光強度（パーセント）の各項目を有し、それぞれの値の対応関係を表すデータを格納する。光強度（Ｅ）は、実数で表される値であり、ここでは小数点第２位までの値をデータとして保持している。光強度（パーセント）は、光強度（Ｅ）をパーセンテージで表したものである。また、信号値（Ｅ’）は、実数で表される値であり、ここでは小数点第３位までの値をデータとして保持している。同じ行の信号値（Ｅ’）と光強度（Ｅ）とが、対応する関係である。この関係については、後で、ＯＥＴＦおよびＥＯＴＦに言及しながら説明する。信号レベル（１０ビット）および信号レベル（１２ビット）は、上記の信号値（Ｅ’）を量子化して符号なし２進数として表したときのデータである。信号レベル（１０ビット）および信号レベル（１２ビット）は、それぞれ、１０ビットおよび１２ビットの符号なし２進数として表現される。信号レベル（１０ビット）は、整数の０から１０２３までの値を取り得る。信号レベル（１２ビット）は、整数の０から４０９５までの値を取り得る。

この信号レベル・光強度変換テーブルに格納されたデータは、全部で４０９６行であり、その各行が、信号レベル（１２ビット）の値である０から４０９５までに対応している。図２では、それらのうちの一部の行のみを示し、その他の行を省略している。また、信号レベル（１０ビット）のある値は、信号レベル（１２ビット）の４つの値に対応している。例えば、光強度（Ｅ）が「０．００」である値には、光強度（パーセント）として「０％」、信号値（Ｅ’）として「０．０００」、信号レベル（１２ビット）として「２５６」、信号レベル（１０ビット）として「６４」の各値が対応する。その他の行もまた、同様の対応関係を表している。

信号レベル・光強度変換テーブルには、すべての行について、予め計算して得られた値を格納しておく。光強度（Ｅ）と信号値（Ｅ’）の対応関係およびその算出方法について、次に述べる。

映像信号における信号レベルは各画素の輝度を表すものである。ビデオカメラ等によって映像を撮影する場合の、画像センサーが受光した光強度を、映像信号レベルの値に変換する関数は、ＯＥＴＦ（Opto-electronic transfer function，光電変換関数）と呼ばれる。ＯＥＴＦの一例は、ＨＬＧ（Hybrid Log-Gamma、ハイブリッドログガンマ）である。ＨＬＧは、下の式（１）で表される。

式（１）において、Ｅは、光強度である。なお、Ｅ＝１が、１００ニット（ｎｉｔ）に対応する。ニットは明るさの単位であり、１ニットは、１カンデラ毎平方メートル（ｃｄ／（ｍ＾２））である。また、Ｅ’は、信号値である。Ｅ’は、映像信号における輝度のレベルを表す。式（１）が表すように、ＥとＥ’とは非線形な関係にある。ｒは参照値であり、その値は０．５である。また、ａ，ｂ，ｃは、適宜与えられる定数である。ここでは、ａ，ｂ，ｃの値を下記の通りとしている。
ａ＝０．１７８８３２７７
ｂ＝０．２８４６６８９２
ｃ＝０．５５９９１０７３

上記のＯＥＴＦの逆関数が、ＥＯＴＦ（Electro-Optical Transfer Function，電光変換関数）である。つまり、電光変換関数は、映像信号の信号レベルの値を光強度に変換する関数である。ＥＯＴＦは、下の式（２）で表される。

なお、信号レベル・光強度変換テーブルに格納するための値として、上では、ＨＬＧによるＯＥＴＦおよびＥＯＴＦを用いたが、ＨＬＧ以外の対応関係を用いるようにしてもよい。例えば、ビデオカメラは、その製造業者に固有の光電変換特性によって製造される場合がある。この場合、入力される映像信号に応じた光電変換特性に基づいて、即ちその製造業者に固有のＯＥＴＦおよびＥＯＴＦを用いて、予め、信号レベル・光強度変換テーブルに格納するための値を計算しておくようにする。また、変換データベース１６に、複数の信号レベル・光強度変換テーブルを格納して、スイッチ等で切り替えて使用できるようにしてもよい。一例として、変換データベース１６が、ＨＬＧに基づく信号レベル・光強度変換テーブルと、Ｓ社製ビデオカメラ用の信号レベル・光強度変換テーブルと、Ｃ社製ビデオカメラ用の信号レベル・光強度変換テーブルとを格納し、切り替えて使用できるようにする。

図２に示すテーブルを用い、また取り扱う映像信号入力が１０ビットである場合、入力信号レベル（Code Value，コード値）が６４のとき、Ｅは０．００であり、即ち、光強度０％が導き出される。同様に、入力信号レベルが５０２のとき、Ｅは１．００であり、光強度１００％が導き出される。また同様に、入力信号レベルが１０１９のとき、Ｅは１９．７９であり、光強度としては、最大値である１９７９％が導き出される。
取り扱う映像信号入力が１２ビットである場合には、同様に、下記の通りである。即ち、入力信号レベルが２５６のとき、Ｅは０．００であり、即ち、光強度０％が導き出される。同様に、入力信号レベルが２００８のとき、Ｅは１．００であり、光強度１００％が導き出される。また同様に、入力信号レベルが４０７９のとき、Ｅは１９．７９であり、光強度としては、最大値である１９７９％が導き出される。

前述の通り、信号レベル・光強度変換部１５は、変換データベース１６内の適切な信号レベル・光強度変換テーブルを参照することにより、バッファー記憶部１４に記憶された信号レベルの値を、光強度の値に変換する。具体的には、信号レベル・光強度変換部１５は、バッファー記憶部１４に記憶された映像の、各フレーム、各画素の信号レベルの値を、光強度の値に変換する。
なお、信号レベル・光強度変換部１５が、テーブルを参照することによって信号レベルの値と光強度の値との間の変換を行う代わりに、都度、ＥＯＴＦの式に基づく計算を行うことによって値の変換を行うようにしてもよい。

次に、補助信号生成部１７における、補助信号の生成処理の詳細について説明する。補助信号生成部１７は、補助信号の生成のための、補助信号定義テーブルを内部に備えている。補助信号定義テーブルの値は、予め設定されている。
図３は、その、補助信号定義テーブルのデータの概略構成を示す概略図である。図示するように、補助信号定義テーブルは、２次元の表形式の構造を有するデータである。補助信号定義テーブルの各行は、補助信号によって表されるパターンの形態に対応する。補助信号定義テーブルが有するデータ項目（列）は、パターン識別番号、光強度範囲（下限および上限）、パターン種別、表示パラメーターである。このデータの形式にそって、補助信号をとして生成される画像のパターンが定義される。

同図に示す例に沿って説明する。同図に示す例は、５行のデータを含み、パターン識別番号として、１から５までの番号がそれぞれの行に付与されている。
第１行目（パターン識別番号が１）のデータでは、光強度（パーセンテージ）の範囲は、下限の１００％から上限の３００％までである。そして、そのパターンの種別は色である。これが、該当する光強度の領域を特定の色で塗るパターンであることを表す。また、パターンの種別が色であるとき、表示パラメーターは表示色である。ここでは、該当する光強度の領域の表示色は緑色である。
第２行目（パターン識別番号が２）のデータでは、光強度の範囲は、下限の３００％から上限の６００％までである。そして、そのパターンの種別は、第１行目と同様に、色である。そして、表示パラメーターとして、表示色を黄色とすることが指定されている。
第３行目（パターン識別番号が３）のデータでは、光強度の範囲は、下限の６００％から上限の１０００％までである。そして、そのパターンの種別は、第１行目と同様に、色である。そして、表示パラメーターとして、表示色を赤色とすることが指定されている。

第４行目（パターン識別番号が４）のデータでは、光強度の範囲は、下限の１０００％から上限の１５００％までである。そして、そのパターンの種別は、ゼブラパターンである。そして、表示パラメーターとして、幅と、傾きと、速度が指定されている。幅は、パターンとして表示される縞模様の縞の幅を画素数の単位で表した数値である。傾きは、縞模様の線の傾きの方向を、水平方向を０度として左回り（反時計回り）の角度（単位は、度）で表した数値である。速度は、該当する光強度の領域内において、縞模様が、志眞の線の方向とは垂直の方向に移動する速さを表す数値である。速度は、ピクセル毎秒の単位で指定される。第４行目で定義されている表示パラメーターでは、縞の幅が５０画素（ピクセル）で、縞の線の向き（傾き）は４５度で、縞の移動速度は１００画素毎秒である。
第５行目（パターン識別番号が５）のデータでは、光強度の範囲は、下限の１５００％から上限の１９７９％までである。そして、パターンの種別は、ゼブラパターンである。そして、指定されている表示パラメーターでは、縞の幅が２０画素で、縞の線の向き（傾き）は０度で、縞の移動速度は５０画素毎秒である。

図示した例では、５種類のパターンを定義したが、補助信号定義テーブルで定義するパターンの種類数は、任意である。色によるパターンの例として、緑と黄と赤を示したが、他の色を用いてもよい。また、色によるパターンや、ゼブラによるパターン以外のパターンを、特定の光強度の範囲にある画素の領域を示すために用いてもよい。
また、図示した例では、色によるパターンと、ゼブラによるパターンとが、一つの補助信号定義テーブルの中に混在していたが、色によるパターンのみで補助信号を定義したり、ゼブラによるパターンのみで補助信号を定義したりしてもよい。

また、複数の補助信号定義テーブルを準備しておいて、適宜、それらのテーブルを切り替えて使用するようにしてもよい。例えば、映像の確認の目的に応じて複数の補助信号定義テーブルを準備したり、表示対象となるモニターの種類に応じて複数の補助信号定義テーブルを準備したりすることも可能である。
また、入力される映像信号の色相に応じて、ユーザーが補助信号定義テーブルを切り替える操作を行うことも可能である。

補助信号生成部１７は、補助信号定義テーブルを参照しながら、映像のフレームごとに、各画素の光強度をバッファー記憶部１４から読み出し、その光強度に基づいて補助信号定義テーブルを参照し、その結果に応じて、補助信号を生成する。つまり、画素ごとに、光強度の条件に合致するパターンが補助信号定義テーブルに含まれていれば、その画素を含む領域に、そのパターンの補助信号を出力する。ある画素に関して、その光強度が補助信号定義テーブル内のどの条件にも合致しない場合には、その画素についての補助信号は出力されない。言い換えれば、その画素に対応する補助信号は、透明な画素である。具体的に出力される補助信号の例については、図面を参照しながら、後で説明する。

このように、画像処理装置１は、ユーザーが設置した任意の光強度の範囲に対して、ユーザーが設定した任意の形態の補助信号を発生させて、オリジナルの映像信号に重畳させることができる。

次に、図４、図５、図６を参照しながら、画像処理装置１に入力される映像信号、および画像処理装置１が出力する映像信号の例について説明する。
図４は、画像処理装置１に入力される映像信号内の１フレームの例である。この映像は、湿原の風景と、湿原に設けられた木製の歩道に人物が座っているシーンの映像である。
図５は、図４に示した入力映像信号と、カラーのパターンによる補助信号とを重畳して得られた、画像処理装置１からの出力信号の例である。図５が示すフレームは、図４のフレームに対応している。図５の中に示しているハッチングパターンは、実際には、カラーによるパターンの補助信号である。同図において、「Ｒ」でマークしたパターンは、赤色のパターンである。また、「Ｙ」でマークしたパターンは、黄色のパターンである。また、「Ｇ」でマークしたパターンは、緑色のパターンである。各色に対応する光強度の範囲は、補助信号定義テーブルで定義されるものである。なお、出力映像信号において、元の入力映像信号に相当する部分をカラーのまま出力してもよいし、元の入力映像信号に相当する部分をグレースケールの映像として出力してもよい。
図６は、図４に示した入力映像信号と、ゼブラのパターンによる補助信号とを重畳して得られた、画像処理装置１からの出力信号の例である。図６の中に示している斜線は、ゼブラパターンを表している。図６の映像内には、右下がりの斜線によるゼブラパターンと、左下がりの斜線によるゼブラパターンとが含まれている。各ゼブラパターンに対応する光強度の範囲は、補助信号定義テーブルで定義されるものである。なお、出力映像信号において、元の入力映像信号に相当する部分をカラーのまま出力してもよいし、元の入力映像信号に相当する部分をグレースケールの映像として出力してもよい。
なお、図５においてはカラーパターンのみを表示し、図６においてはゼブラパターンのみを表示しているが、種類の異なるパターンを、１つの映像内に混在させてもよい。

以上、説明したように、本実施形態では、例えば色分けによるパターンの表示（見たときの類似性から「サーモグラフ表示」と呼ばれることもある）により、ユーザーに対して、光強度の分布を、わかりやすく提示することができる。
また、本実施形態では、例えばゼブラパターンの表示により、ユーザーに対して、光強度の分布を、わかりやすく提示することができる。
本実施形態では、映像信号の信号レベルを光強度に変換して、光強度に応じて、パターンを表示している。また、映像信号の信号レベルを光強度に変換する際に、適切なＥＯＴＦを選択して使用することができる。したがって、撮影する際のＯＥＴＦの種類に依存しない表示を行うことができる。ＯＥＴＦとしては、ＨＬＧに限らず、任意の変換特性を設定しておくことができる。
また、本実施形態では、ユーザーが任意に光強度の範囲と、その範囲に対応するパターン（視覚表示効果）とを設定することができる。
また、本実施形態では、入力されたカラーの映像信号を、カラーのまま出力することもでき、また、白黒（グレースケール画像）として出力することもできる。これにより、入力される映像信号が持つ色彩の分布に依らず、カラーパターン等の視認性を上げることができる。
本実施形態では、撮像した映像のダイナミックレンジがモニターの表示能力を超過する場合においても、どの領域が超過領域であるかをユーザーに提示することができ、ハイダイナミックレンジ映像制作でのモニター環境を改善することができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。
図７は、第２実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、本実施形態による画像処理装置２は、信号レベル検出部１１と、バッファー記憶部１４と、信号レベル・光強度変換部１５と、変換データベース１６と、補助信号生成部１７と、映像変換部１９と、補助信号合成部２０と、を含んで構成される。

本実施形態による画像処理装置２が、前実施形態の画像処理装置１と異なる点は、入力される映像信号の解像度と、出力する映像信号の解像度とを異ならせることができる点である。そのため、映像変換部１９は、入力される映像（画像）信号の解像度を変更する。映像変換部１９は、入力される映像信号の解像度よりも低い解像度の映像信号を出力することもでき、また、入力される映像信号の解像度よりも高い解像度の映像信号を出力することもできる。例えば、入力される映像が高解像度（例えば、８Ｋ（横７６８０画素×縦４３２０画素）あるいは４Ｋ（横３８４０画素×縦２１６０画素）など）であって、モニター装置における映像の確認のためにこの画像処理装置２を利用する場合、画像処理装置２からの出力映像の解像度はそれほど高くなくて良い場合もある。
なお、出力される映像の解像度を、切り替えられるようにしてもよい。

なお、本実施形態における信号レベル検出部１１は、入力される映像信号と出力される映像信号の解像度が異なる場合、入力される映像信号の中の、出力される映像信号に対応する画素ごとに、信号レベルを検出する。例えば、入力される映像信号の中の画素と、出力される映像信号の中の画素とが、Ｎ対１に対応する場合（ただし、Ｎは２以上の数）には、適宜、入力される映像信号の中のＮ個の画素の信号レベルの平均値を算出する。逆に、入力される映像信号の中の画素と、出力される映像信号の中の画素とが、１対Ｎに対応する場合（ただし、Ｎは２以上の数）には、適宜、入力される映像信号の中の１個の画素の信号レベルの値を、出力される映像信号内において対応する複数の画素それぞれの信号レベルとする。

また、本実施形態におけるバッファー記憶部１４は、出力される映像信号での解像度における画素ごとに、信号レベルの値あるいは光強度の値を記憶する。
また、本実施形態における信号レベル・光強度変換部１５は、出力される映像信号での解像度における画素ごとに、信号レベルの値を光強度の値に変換する。
また、本実施形態における補助信号生成部１７は、出力される映像信号での解像度における画素ごとに、光強度の値が所定の範囲に入っているか否かを判定して、その判定結果に応じて補助信号を生成する。

本実施形態によれば、映像の撮影時の解像度と、その映像をモニターで確認するときの解像度とが異なっていても、画像処理装置２で生成される補助信号を、確認できる。このとき、入力される映像信号は、映像変換部１９において変換され、出力用の解像度となる。
本実施形態によれば、解像度を変換できるため、ユーザーが使用する映像モニター装置を汎用的に使用することが可能となる。つまり、撮像時のビデオカメラと使用する映像モニターの解像度が異なる環境においても撮像時の光強度を確認することができる。

上述した各実施形態による画像処理装置への入力となる映像信号は、例えば、映像を撮影中のビデオカメラから直接供給される。また、画像処理装置から出力される映像信号は、例えば、映像確認用のモニター装置や、上記ビデオカメラのビューファインダー（ＥＶＦ）などに供給される。
また、上述した各実施形態による画像処理装置への入力として、録画されていた映像を再生する再生装置によって再生された映像信号を用いるようにしてもよい。この場合には、画像処理装置から出力される映像を、モニター装置等に供給することによって、入力映像信号における光強度の分布を確認することが可能となる。

なお、上述した各実施形態における画像処理装置の少なくとも一部の機能をコンピューターで実現するようにしても良い。その場合、それらの機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、画像処理の目的で利用可能である。本発明は、例えば、映像を制作するための機器等として、利用可能である。

１，２ 画像処理装置
１１ 信号レベル検出部
１４ バッファー記憶部
１５ 信号レベル・光強度変換部（光強度変換部）
１６ 変換データベース
１７ 補助信号生成部
１９ 映像変換部
２０ 補助信号合成部（合成部）

Claims (5)

1. 入力された画像信号に含まれる画素の信号レベルを検出する信号レベル検出部と、
   前記信号レベル検出部によって検出された前記画素の前記信号レベルを、前記入力された画像信号の撮影時における光強度に変換する光強度変換部と、
   前記光強度変換部によって求められた前記画素の光強度が所定の範囲内にあるとき、前記範囲に応じた補助パターンを表す補助信号を生成する補助信号生成部と、
   入力された前記画像信号と、前記補助信号生成部によって生成された前記補助信号とを合成する合成部と、
   を具備することを特徴とする画像処理装置。
2. 前記画素の前記信号レベルと前記光強度との対応関係を記憶する変換データベース、
   をさらに具備し、
   前記光強度変換部は、変換データベースを参照することにより、検出された前記信号レベルに対応する前記光強度を取得し、変換結果の前記光強度とする、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補助信号生成部は、光強度の範囲と前記補助パターンとのペアを複数記憶したテーブルを内部に備えている、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補助信号生成部は、複数種類の前記テーブルを内部に備えており、これら複数の前記テーブルを適宜切り替えて使用する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. コンピューターを、
   入力された画像信号に含まれる画素の信号レベルを検出する信号レベル検出部と、
   前記信号レベル検出部によって検出された前記画素の前記信号レベルを、前記入力された画像信号の撮影時における光強度に変換する光強度変換部と、
   前記光強度変換部によって求められた前記画素の光強度が所定の範囲内にあるとき、前記範囲に応じた補助パターンを表す補助信号を生成する補助信号生成部と、
   入力された前記画像信号と、前記補助信号生成部によって生成された前記補助信号とを合成する合成部と、
   として機能させるためのプログラム。

Images