JP2016029786A - フォーカスアシスト機能付き撮像装置 - Google Patents

Abstract

【課題】強調表示する高周波成分が映像の明暗や模様の細かさの差異による影響を受けにくいフォーカスアシスト機能付き撮像装置を提供する。
【解決手段】フォーカスアシスト（ＦＡ）機能付き撮像装置は、レンズ２００により結像された被写体から映像信号を取得する撮像部２１０と、映像信号から高周波信号を抽出する高周波信号抽出部１００と、映像信号の画面を分割した領域毎に高周波信号の振幅レベルに応じて変調レベル信号の大きさを決定する変調レベル演算部１１０と、変調レベル信号を用いて高周波信号の振幅レベルを変調することによりＦＡ信号を取得するレベル変調部１４０と、映像信号にＦＡ信号を合成して出力するＦＡ信号合成部１５０とを備える。
【選択図】図１

Description

本開示は、映像の高周波成分を強調表示することでマニュアルフォーカス時のピント合わせを支援するフォーカスアシスト（ＦＡ）機能付き撮像装置に関する。

特許文献１は、映像信号の高周波成分のヒストグラムを２次元グラフ表示する。利用者は、表示したヒストグラムの形状変化から、マニュアルフォーカスでのジャスピン位置を知ることができる。

特開２００６−１０８９７３号公報

本開示は、強調表示する高周波成分が映像の明暗や模様の細かさの差異による影響を受けにくいＦＡ機能付き撮像装置を提供する。

本開示におけるＦＡ機能付き撮像装置は、レンズにより結像された被写体から映像信号を取得する撮像部と、映像信号から高周波信号を抽出する高周波信号抽出部と、映像信号の画面を分割した領域毎に高周波信号の振幅レベルに応じて変調レベル信号の大きさを決定する変調レベル演算部と、変調レベル信号を用いて高周波信号の振幅レベルを変調することによりＦＡ信号を取得するレベル変調部と、映像信号にＦＡ信号を合成して出力するＦＡ信号合成部とを備える。

本開示におけるＦＡ機能付き撮像装置は、高周波信号の振幅レベルに応じて変調レベル信号の大きさが決定されるので、強調表示する高周波成分が映像の明暗や模様の細かさの差異による影響を受けにくくするのに有効である。

実施の形態１におけるＦＡ機能付き撮像装置の構成を示すブロック図である。 （ａ）〜（ｆ）は、図１の撮像装置内の信号波形の例を示す図である。 図１中の変調レベル演算部により決定される、各領域を代表する変調レベル信号の大きさの例を示す図である。 （ａ）は図１中の変調レベル演算部により領域毎に作成されるヒストグラムの例を示す図であり、（ｂ）は例えば映像の明るさが（ａ）の半分である場合のヒストグラムを示す図である。 図３の例をもとに図１中の変調レベル２次元補間部により実行される、変調レベル信号の２次元補間の結果を等高線の形式で示す図である。 （ａ）は被写体にピントが合っていない状態の映像信号の画面の例を示す図であり、（ｂ）は図１の撮像装置にて当該映像信号にＦＡ信号を合成して得られた出力信号の画面の例を示す図である。 （ａ）は被写体にピントが合った状態の映像信号の画面の例を示す図であり、（ｂ）は図１の撮像装置にて当該映像信号にＦＡ信号を合成して得られた出力信号の画面の例を示す図である。 （ａ）〜（ｃ）は、変調レベル信号が高いレベルで一定値を保持する比較例１の場合の、図２（ｄ）〜図２（ｆ）に対応する信号波形図である。 （ａ）〜（ｃ）は、変調レベル信号が低いレベルで一定値を保持する比較例２の場合の、図２（ｄ）〜図２（ｆ）に対応する信号波形図である。 実施の形態２におけるＦＡ機能付き撮像装置の構成を示すブロック図である。 （ａ）は図１０中の変調レベル演算部により領域毎に作成されるヒストグラムの例を示す図であり、（ｂ）は例えば映像の明るさが（ａ）の半分である場合のヒストグラムを示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
［１−１．構成］
図１は、実施の形態１におけるＦＡ機能付き撮像装置の構成を示すブロック図である。また、図２（ａ）〜図２（ｆ）は、図１の撮像装置内の信号波形の例を示す図であり、時間軸のうちの前半部は暗い映像を、後半部は明るい映像をそれぞれ示している。

図１の撮像装置は、レンズ２００と、撮像部２１０と、高周波信号抽出部１００と、変調レベル演算部１１０と、ブロックメモリ部１２０と、変調レベル２次元補間部１３０と、レベル変調部１４０と、ＦＡ信号合成部１５０とを備える。

撮像部２１０は、レンズ２００により結像された被写体から、図２（ａ）のような映像信号Ｓ１を取得する。

高周波信号抽出部１００は、映像信号Ｓ１から高周波信号Ｓ２を抽出する。例えば、高周波信号抽出部１００は、映像信号Ｓ１を２次微分することにより、図２（ｂ）のような高周波信号Ｓ２を得る。具体的には、高周波信号Ｓ２は、レンズ２００を通して撮影された被写体の輪郭を表す信号である。

変調レベル演算部１１０は、映像信号Ｓ１の画面を分割した領域毎に高周波信号Ｓ２の振幅レベルに応じて変調レベル信号の大きさを決定する。例えば、変調レベル演算部１１０は、高周波信号Ｓ２の絶対値を表す図２（ｃ）のような全波整流信号Ｓ３を得て、分割領域毎に、全波整流信号Ｓ３の振幅レベルに関するヒストグラムを作成し、当該ヒストグラムの累積度数に応じて変調レベル信号の大きさを決定する。

ブロックメモリ部１２０は、変調レベル演算部１１０により決定された領域毎の変調レベル信号を一時記憶する。

変調レベル２次元補間部１３０は、ブロックメモリ部１２０に一時記憶された領域毎の変調レベル信号を画面全体に渡って２次元補間する。

レベル変調部１４０は、補間された変調レベル信号Ｓ５を用いて、高周波信号Ｓ２の振幅レベルを変調することによりＦＡ信号Ｓ６を取得する。例えば、レベル変調部１４０は、高周波信号Ｓ２から図２（ｄ）のような半波整流信号Ｓ４を得て、図２（ｅ）のような補間された変調レベル信号Ｓ５を連続的に変化する閾値として、半波整流信号Ｓ４の振幅レベルにコアリング（coring）処理を施すことにより、図２（ｆ）のようなＦＡ信号Ｓ６を取得する。ここで、コアリング処理とは、閾値以下の振幅レベルをゼロにする処理であり、ノイズ除去処理の１つである。

ＦＡ信号合成部１５０は、映像信号Ｓ１にＦＡ信号Ｓ６を合成して得た出力信号Ｓ７を、カメラ出力及びビューファインダ（ＶＦ）出力とする。

［１−２．動作］
図３は、図１中の変調レベル演算部１１０により決定される、各領域を代表する変調レベル信号の大きさの例を示す図である。各領域は、例えば６４×６４画素からなる。例えば、図３中の左上隅の領域に表示された「１．０」は、当該領域に属する４０９６画素を代表する変調レベル信号の大きさが１．０であることを表している。

図４（ａ）は、図１中の変調レベル演算部１１０により領域毎に作成されるヒストグラムの例を示す図である。変調レベル演算部１１０は、分割領域毎に、全波整流信号Ｓ３の振幅レベルに関するヒストグラムを作成し、当該ヒストグラムの振幅レベルの高い方からの累積度数（累積画素数）が予め定めた累積度数となる振幅レベルを、当該領域を代表する変調レベル信号の大きさとして採用する。ここでは、全波整流信号Ｓ３に後述のような非線形変換が施されないものとする。図４（ａ）の例では、ハッチング部分の面積が予め定めた累積度数に、矢印で示した振幅レベルが当該領域を代表する変調レベル信号の大きさにそれぞれ対応する。

図４（ｂ）は、例えば映像の明るさが図４（ａ）の半分である場合のヒストグラムを示す図である。ここでも、ハッチング部分の面積が予め定めた累積度数に、矢印で示した振幅レベルが当該領域を代表する変調レベル信号の大きさにそれぞれ対応する。つまり、暗い映像の場合には、変調レベル演算部１１０により、図４（ａ）の場合に比べて変調レベル信号の大きさが小さく決定される。

映像全体が明るい場合や、細かい模様にフォーカスが合っていて高周波成分が多い場合には、ヒストグラムは、図４（ａ）のように高い振幅レベルまで分布が広がる。逆に映像全体が暗い場合や、ピントが合っていない場合には、ヒストグラムは、図４（ｂ）のように振幅レベルの低い方に偏った分布となる。このように、フォーカスをアシストするために強調表示する高周波成分は、映像の明暗や模様の細かさの差異による影響を受ける。そのため、従来は高精細な映像の場合に、マニュアルフォーカス時のピント合わせが困難であった。

ところが、本実施の形態では、変調レベル演算部１１０が累積度数をもとに変調レベル信号の大きさを決めるので、図４（ａ）のように高周波成分が強い場合には得られる変調レベル信号が大きくなり、図４（ｂ）のように高周波成分が弱い場合には得られる変調レベル信号が小さくなる。つまり、領域毎に、絵柄の特徴量や、明るさの局所的な特徴量を取得して利用することにより、当該領域における高周波信号の振幅レベルに連動した変調レベル信号を得ることができるのである。

図５は、図３の例をもとに図１中の変調レベル２次元補間部１３０により実行される、変調レベル信号の２次元補間の結果を等高線の形式で示す図である。図５中の丸印は、図３中の各丸印に対応している。図３に示された４０９６画素毎の値から、１画素毎の値が補間により求められる。図２（ｅ）の補間された変調レベル信号Ｓ５の波形は、このようにして得られた信号波形である。

レベル変調部１４０は、図２（ｅ）のような補間された変調レベル信号Ｓ５を閾値として、図２（ｄ）のような半波整流信号Ｓ４の振幅レベルにコアリング処理を施すことにより、図２（ｆ）のようなＦＡ信号Ｓ６を取得する。この結果、ＦＡ信号Ｓ６の振幅レベルは、映像の明暗にかかわらず、ほぼ一定となる。

ＦＡ信号合成部１５０における合成方法は、モノクロ化した映像信号Ｓ１にＦＡ信号Ｓ６の振幅レベルに応じた濃淡の単色信号を加算する方法、映像信号Ｓ１の一部をＦＡ信号Ｓ６で置き換える方法、ＦＡ信号Ｓ６のみを表示する方法など、任意である。

図６（ａ）は被写体にピントが合っていない状態の映像信号Ｓ１の画面の例を示す図であり、図６（ｂ）は図１の撮像装置にて当該映像信号Ｓ１にＦＡ信号Ｓ６を合成して得られた出力信号Ｓ７の画面の例を示す図である。図６（ｂ）では、ピントが合っていない被写体の輪郭が淡い色の線で表示されていることが判る。

図７（ａ）は被写体にピントが合った状態の映像信号Ｓ１の画面の例を示す図であり、図７（ｂ）は図１の撮像装置にて当該映像信号Ｓ１にＦＡ信号Ｓ６を合成して得られた出力信号Ｓ７の画面の例を示す図である。図７（ｂ）では、ピントが合った被写体の輪郭が濃い色の線で表示され、ピントが合っていない部分の輪郭が淡い色の線で表示されている。しかも、暗い陰の部分であっても、ピントが合った被写体の輪郭が濃い色の線で表示されている。これにより、マニュアルフォーカス時のピント合わせが容易になる。

［１−３．効果等］
図８（ａ）〜図８（ｃ）は、変調レベル信号が高いレベルで一定値を保持する比較例１の場合の、図２（ｄ）〜図２（ｆ）に対応する信号波形図である。この比較例１では、図８（ｃ）のように、時間軸のうちの前半部の暗い映像部分にてＦＡ信号が消失してしまっている。

図９（ａ）〜図９（ｃ）は、変調レベル信号が低いレベルで一定値を保持する比較例２の場合の、図２（ｄ）〜図２（ｆ）に対応する信号波形図である。この比較例２では、図９（ｃ）のように、ＦＡ信号の振幅レベルにばらつきが生じる。

これに対して、本実施の形態によれば、高周波信号Ｓ２の振幅レベルに応じて変調レベル信号Ｓ５の大きさが図２（ｅ）のように変化することにより、図２（ｆ）のように、ＦＡ信号Ｓ６の振幅レベルがほぼ一定となる。よって、安定したＦＡ表示が得られる結果、マニュアルフォーカス時のピント合わせが容易になる。

以上のように、本実施の形態のＦＡ機能付き撮像装置は、レンズ２００により結像された被写体から映像信号を取得する撮像部２１０と、映像信号から高周波信号を抽出する高周波信号抽出部１００と、映像信号の画面を分割した領域毎に高周波信号の振幅レベルに応じて変調レベル信号の大きさを決定する変調レベル演算部１１０と、変調レベル信号を用いて高周波信号の振幅レベルを変調することによりＦＡ信号を取得するレベル変調部１４０と、映像信号にＦＡ信号を合成して出力するＦＡ信号合成部１５０とを備える。

これにより、高周波信号の振幅レベルに応じて変調レベル信号の大きさが決定されるので、強調表示する高周波成分が映像の明暗や模様の細かさの差異による影響を受けにくくなる。

また、本実施の形態のＦＡ機能付き撮像装置では、変調レベル演算部１１０は、分割領域毎に、高周波信号の振幅レベルのヒストグラムを作成し、当該ヒストグラムの累積度数に応じて変調レベル信号の大きさを決定する。具体的には、変調レベル演算部１１０は、分割領域毎に、当該ヒストグラムの振幅レベルの高い方からの累積度数が予め定めた累積度数となる振幅レベルを、当該領域を代表する変調レベル信号の大きさとして採用する。

これにより、高周波信号の振幅レベルに応じて変調レベル信号の大きさが自動的かつ適切に決定されるので好都合である。ただし、ヒストグラムを作成せず、分割領域毎に、高周波信号の振幅レベルの平均値を計算し、当該平均値に応じて変調レベル信号の大きさを決定することとしてもよい。

また、本実施の形態のＦＡ機能付き撮像装置では、変調レベル演算部１１０とレベル変調部１４０との間に、領域毎の変調レベル信号を２次元補間する変調レベル２次元補間部１３０を更に備える。また、変調レベル演算部１１０と変調レベル２次元補間部１３０との間に、領域毎の変調レベル信号を一時記憶するブロックメモリ部１２０を更に備える。

これにより、高周波信号からＦＡ信号を生成する際の演算量を低減することができる。ただし、１画素毎に当該画素を含む所定サイズの領域中の高周波成分から変調レベル信号の大きさを決定することとすれば、所要の演算量が増大するものの、ブロックメモリ部１２０及び変調レベル２次元補間部１３０は省略可能である。

また、本実施の形態のＦＡ機能付き撮像装置では、レベル変調部１４０は、変調レベル信号を連続的に変化する閾値として、高周波信号の振幅レベルにコアリング処理を施すことによりＦＡ信号を取得する。

これにより、映像の明暗や模様の細かさにかかわらず、ＦＡ信号の振幅レベルがほぼ一定となる。

（実施の形態２）
［２−１．構成］
図１０は、実施の形態２におけるＦＡ機能付き撮像装置の構成を示すブロック図である。図１０の撮像装置は、図１の構成に対数（logarithm：ＬＯＧ）変換部１６０と、逆対数（逆ＬＯＧ）変換部１７０とを付加したものである。

ＬＯＧ変換部１６０は、高周波信号抽出部１００からの高周波信号Ｓ２の絶対値をＬＯＧ変換して、ＬＯＧ変換された高周波信号Ｓ２Ｌを変調レベル演算部１１０及びレベル変調部１４０へ供給する。例えば、ＬＯＧ変換部１６０は、入力された高周波信号Ｓ２を符号と絶対値とに分けて処理し、絶対値が１以下の場合には出力をゼロとし、絶対値が１より大きい場合にはＬＯＧ変換結果と符号とを併せて出力する。

逆ＬＯＧ変換部１７０は、レベル変調部１４０からのＦＡ信号を逆ＬＯＧ変換して、逆ＬＯＧ変換されたＦＡ信号Ｓ６をＦＡ信号合成部１５０へ供給する。

［２−２．動作］
実施の形態２における主要な動作は、実施の形態１とほぼ同様である。異なるのは、ＬＯＧ変換された高周波信号Ｓ２Ｌの振幅レベルに関するヒストグラムから変調レベル信号の大きさを決定する点と、レベル変調部１４０での処理結果を逆ＬＯＧ変換する点とである。

図１１（ａ）は、図１０中の変調レベル演算部１１０により領域毎に作成されるヒストグラムの例を示す図である。変調レベル演算部１１０は、分割領域毎に、ＬＯＧ変換された高周波信号Ｓ２Ｌをもとに振幅レベルに関するヒストグラムを作成し、当該ヒストグラムの振幅レベルの高い方からの累積度数が予め定めた累積度数となる振幅レベルを、当該領域を代表する変調レベル信号の大きさとして採用する。図１１（ａ）の例では、ハッチング部分の面積が予め定めた累積度数に、矢印で示した振幅レベルが当該領域を代表する変調レベル信号の大きさにそれぞれ対応する。

図１１（ｂ）は、例えば映像の明るさが図１１（ａ）の半分である場合のヒストグラムを示す図である。ここでも、ハッチング部分の面積が予め定めた累積度数に、矢印で示した振幅レベルが当該領域を代表する変調レベル信号の大きさにそれぞれ対応する。

さて、被写体の明るさが変化しても、高周波信号Ｓ２をＬＯＧ変換してから作成した振幅レベルのヒストグラムの形状はあまり変化しない、という特徴がある。例えば、図１１（ａ）のようなヒストグラムを持つ映像が全体的に暗くなると、図１１（ｂ）のように、高レベル側の形状を保ったままヒストグラムの全体が左へ移動することになる。特に、予め定めた累積度数に対応するハッチング部分の形状が保たれる。言い換えると、映像全体の明るさが変化しても、矢印で示した振幅レベルを決定付けるハッチング部分の画素群、すなわち当該領域を代表する変調レベル信号の大きさを決定付ける画素群は変わらないことになる。

ＬＯＧ変換された高周波信号Ｓ２Ｌをもとにして変調レベル演算部１１０にて変調レベル信号の大きさが決定された後、レベル変調部１４０にてコアリング処理が実行される。更に、レベル変調部１４０での処理結果を逆ＬＯＧ変換することで、ＬＯＧ変換前の高周波信号Ｓ２に対応した、リニアなＦＡ信号Ｓ６が得られる。

［２−３．効果等］
以上のように、本実施の形態において、映像信号から抽出した高周波信号をＬＯＧ変換してからヒストグラム処理することで、ＦＡ信号を取得する際に映像の明るさの差異による影響を一層受けにくくできる。つまり、映像の明るさが全体的に異なる場合でも、ＦＡ信号を取得するための閾値を適切に設定することができる。また、コアリング処理などのレベル変調処理の結果を逆ＬＯＧ変換することで、元の映像信号の振幅の大小を緩和してＦＡ信号を作ることができる。その結果、映像における強調表示の視認性が良くなる。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、マニュアルフォーカス機能を持つ撮像装置に適用可能である。具体的には、業務用カメラ、デジタルスチルカメラ、ムービー、カメラ機能付き携帯電話機、スマートフォンなどに、本開示は適用可能である。

１００ 高周波信号抽出部
１１０ 変調レベル演算部
１２０ ブロックメモリ部
１３０ 変調レベル２次元補間部
１４０ レベル変調部
１５０ フォーカスアシスト（ＦＡ）信号合成部
１６０ 対数（ＬＯＧ）変換部
１７０ 逆対数（逆ＬＯＧ）変換部
２００ レンズ
２１０ 撮像部
Ｓ１ 映像信号
Ｓ２ 高周波信号
Ｓ２Ｌ 対数（ＬＯＧ）変換された高周波信号
Ｓ３ 全波整流信号
Ｓ４ 半波整流信号
Ｓ５ 補間された変調レベル信号
Ｓ６ フォーカスアシスト（ＦＡ）信号
Ｓ７ 出力信号

Claims (7)

1. レンズにより結像された被写体から映像信号を取得する撮像部と、
   前記映像信号から高周波信号を抽出する高周波信号抽出部と、
   前記映像信号の画面を分割した領域毎に前記高周波信号の振幅レベルに応じて変調レベル信号の大きさを決定する変調レベル演算部と、
   前記変調レベル信号を用いて前記高周波信号の振幅レベルを変調することによりフォーカスアシスト信号を取得するレベル変調部と、
   前記映像信号に前記フォーカスアシスト信号を合成して出力するフォーカスアシスト信号合成部とを備えたフォーカスアシスト機能付き撮像装置。
2. 請求項１記載のフォーカスアシスト機能付き撮像装置において、
   前記変調レベル演算部は、前記領域毎に、前記高周波信号の振幅レベルのヒストグラムを作成し、当該ヒストグラムの累積度数に応じて前記変調レベル信号の大きさを決定する撮像装置。
3. 請求項２記載のフォーカスアシスト機能付き撮像装置において、
   前記変調レベル演算部は、前記領域毎に、前記ヒストグラムの振幅レベルの高い方からの累積度数が予め定めた累積度数となる振幅レベルを、当該領域を代表する前記変調レベル信号の大きさとして採用する撮像装置。
4. 請求項１記載のフォーカスアシスト機能付き撮像装置において、
   前記変調レベル演算部と前記レベル変調部との間に、前記領域毎の変調レベル信号を２次元補間する変調レベル２次元補間部を更に備えた撮像装置。
5. 請求項４記載のフォーカスアシスト機能付き撮像装置において、
   前記変調レベル演算部と前記変調レベル２次元補間部との間に、前記領域毎の変調レベル信号を一時記憶するブロックメモリ部を更に備えた撮像装置。
6. 請求項１記載のフォーカスアシスト機能付き撮像装置において、
   前記レベル変調部は、前記変調レベル信号を連続的に変化する閾値として、前記高周波信号の振幅レベルにコアリング処理を施すことにより前記フォーカスアシスト信号を取得する撮像装置。
7. 請求項１記載のフォーカスアシスト機能付き撮像装置において、
   前記高周波信号の絶対値を対数変換して、対数変換された高周波信号を前記変調レベル演算部及び前記レベル変調部へ供給する対数変換部と、
   前記フォーカスアシスト信号を逆対数変換して、逆対数変換されたフォーカスアシスト信号を前記フォーカスアシスト信号合成部へ供給する逆対数変換部と更に備えた撮像装置。