JP2010098503A - 画像処理機能を有するカメラシステム - Google Patents

Abstract

【課題】処理結果を表示させる画面の実映像からの遅れを低減させて使用者の違和感を少なくする。
【解決手段】光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段から入力された撮影画像を１フレーム分の画像データに展開する画像変換手段と、前記画像データに対して所定の画像処理を行う画像処理手段と、前記画像処理結果を前記画像データに対して合成する画像合成手段と、前記画像処理結果が合成された画像データから表示用画像を生成する表示画像生成手段と、前記表示用画像を表示する画像表示手段と、を備え、前記画像合成手段は、前記画像データに対して１フレーム前の画像データに対して前記画像処理手段が行った画像処理結果を合成することを特徴とする画像処理機能を有するカメラシステムを提供する。
【選択図】図３

Description

本発明は、画像処理機能を有するカメラシステムに係り、特に、画像処理機能を持ったカメラシステムにおいて処理結果を表示させる画面の実映像からの遅れを低減させて違和感を少なくするカメラシステムに関する。

従来、ビデオカメラで撮影している被写体画像を確認するために、ビデオカメラによって得られた画像信号によってビューファインダの液晶表示部を駆動し、この液晶表示部に被写体画像を表示することが行われている。従って、ビューファインダには撮影により得られた画像信号を略リアルタイムで再生することが求められる。

一般に、画像処理機能を有するカメラシステムでは、ビューファインダに表示する際、処理結果を実映像に対して枠や情報を重畳して表示するようにしている。例えば、特許文献１に記載されているように、ビデオカメラの光学系によりＣＣＤ等の撮像素子から取り込まれた画像信号に対してビューファインダ画像生成用回路で、例えば画面の中心を示すセンターマーカーを表示するマーカー信号等を重ねる等の処理を行い、これをビューファンダに表示するようにしている。

以下、図を用いて従来の処理についてさらに詳しく説明する。

図５に、従来のビデオカメラの処理ブロックの概略を示す。図５に示すように、この処理ブロックは、デコーダ９０、ＣＰＵ９２、エンコーダ９４、及び２つのメモリＲＯＭ９６、ＲＡＭ９８を有して構成され、画像の入力から出力までの処理を行うものである。

ビデオカメラの光学系を介してＣＣＤ等の撮像素子によって取得された画像信号は、デコーダ９０に入力され、デコーダ９０で処理されて１枚（１フレーム）の絵（画像）としてＲＡＭ９８に展開される。１枚の画像として展開された画像データに対して、ＲＯＭ９６に予め設定されているデータ等を用いてＣＰＵ９２により画像処理が行われ、画像処理の結果が画像データに対して重畳される。そして、エンコーダ９４において、処理後の画像データから表示画像が生成されてビューファインダに送られ表示される。

従来は図６に示すように、（ステップＳ１）画像取り込み→（ステップＳ２）画像処理→（ステップＳ３）結果の重畳→（ステップＳ４）画像表示、という４ステップをシーケンシャルに実行していた。
特開平６−２９２０４７号公報

しかしながら、上記従来のように、画像取り込み→画像処理→結果の重畳→画像表示という４ステップをシーケンシャルに実行していたのでは、１つのステップが１フレーム毎にしか行えず、しかも１ステップの実行に３３．３ｍＳ要していたため、４ステップで約１３３ｍＳかかり、ビューファインダに表示される表示画面が、実際の映像よりも１３３ｍＳも遅れてしまい使用者が違和感を感じるという問題があった。

本発明は、このような事情に鑑みてなされたもので、処理結果を表示させる画面の実映像からの遅れを低減させて使用者の違和感を少なくすることのできる画像処理機能を有するカメラシステムを提供することを目的とする。

前記目的を達成するために、請求項１に記載の発明は、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段から入力された撮影画像を１フレーム分の画像データに展開する画像変換手段と、前記画像データに対して所定の画像処理を行う画像処理手段と、前記画像処理結果を前記画像データに対して合成する画像合成手段と、前記画像処理結果が合成された画像データから表示用画像を生成する表示画像生成手段と、前記表示用画像を表示する画像表示手段と、を備え、前記画像合成手段は、前記画像データに対して１フレーム前の画像データに対して前記画像処理手段が行った画像処理結果を合成することを特徴とする画像処理機能を有するカメラシステムを提供する。

これにより、画像処理を画像合成処理と並行して行うことができ、処理結果を表示させる画面の実映像からの遅れを低減させて使用者の違和感を少なくすることができる。

また、請求項２に示すように、前記画像表示手段はビューファインダであり、これに表示される画像に合成される前記画像処理結果はＡＦ枠情報であることを特徴とする。

これにより、ユーザがビューファインダを見ながら撮影を行う際、表示画面の表示画像の実映像からの遅れによる違和感を低減することができる。

以上説明したように、本発明によれば、画像処理を画像合成処理と並行して行うことができ、処理結果を表示させる画面の実映像からの遅れを低減させて使用者の違和感を少なくすることができる。

以下、添付図面を参照して、本発明に係る画像処理機能を有するカメラシステムについて詳細に説明する。

図１は、本発明の画像処理機能を有するカメラシステムの一実施形態を示す概略構成図である。

図１に示すように、本実施形態に係る画像処理機能を有するカメラシステム１は、例えば放送用又は業務用のテレビカメラのカメラ本体１０（カメラヘッド）と、カメラ本体１０にマウントによって装着される撮影レンズ１２（撮影光学系）と、カメラ本体１０に設置された構図の確認等のためのビューファインダ（モニタ）１４、及び撮影対象のビューファインダ１４の画面上での移動に合わせてオートフォーカス（ＡＦ）の対象範囲であるＡＦエリア（ＡＦ枠）の位置等を自動で変更（自動追尾）する追尾装置１６とから構成されている。

撮影レンズ１２には、光軸Ｏに沿った本線光路においてフォーカスレンズ（群）ＦＬ、ズームレンズ（群）ＺＬ、絞りＩ、前側リレーレンズ（群）ＲＡ及び後側リレーレンズ（群）ＲＢからなるリレーレンズ（リレー光学系）等が順に配置されている。フォーカスレンズＦＬやズームレンズＺＬは光軸方向に移動可能なレンズ群であり、フォーカスレンズＦＬが移動するとピント位置（被写体距離）が変化し、ズームレンズＺＬが移動するとズーム倍率（焦点距離）が変化するようになっている。絞りＩは、開閉動作し、絞りＩの開閉度によって像の明るさが変化するようになっている。撮影レンズ１２に入射してこれらの本線光路の光学系を通過した被写体光はカメラ本体１０の光学系に入射する。

カメラ本体１０の光学系は、色分解光学系１８と映像用撮像素子（ＣＣＤ）２０を備えている。色分解光学系１８は、撮影レンズ１２から入射した被写体光を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の波長に分解するものであり、映像用撮像素子２０は、この色分解された各色の被写体光の像を撮像するＲ、Ｇ、Ｂごとの映像用撮像素子（ＣＣＤ）からなっている。なお、図１においては光学的に等価な光路長の位置に配置されたＲ、Ｇ、Ｂの映像用撮像素子を１つの映像用撮像素子２０として表している。映像用撮像素子２０の撮像面に入射した被写体光は、映像用撮像素子２０によって光電変換されてカメラ本体１０内の所定の信号処理回路によって記録又は再生用の映像信号が生成されるようになっている。

また、撮影レンズ１２のリレー光学系の前側リレーレンズＲＡと後側リレーレンズＲＢとの間には光分割光学系２２が配置されている。光分割光学系２２は、第１プリズム２２ａと第２プリズム２２ｂとから構成されており、第１プリズム２２ａと第２プリズム２２ｂとが接合する部分にハーフミラー面２２Ｍが形成されている。このハーフミラー面２２Ｍによって撮影レンズ１２の本線光路からＡＦ用光路が分岐される。

撮影レンズ１２に入射した被写体光のうち、光分割光学系２２のハーフミラー面２２Ｍを透過した被写体光は、本線用の被写体光としてそのまま光軸Ｏに沿った本線光路を通過してカメラ本体１０へと導かれる。一方、光分割光学系２２のハーフミラー面２２Ｍで反射した被写体光は、ＡＦ用の被写体光として上記光軸Ｏに略垂直な光軸Ｏ’に沿ったＡＦ用光路へと導かれる。なお、ハーフミラー面２２Ｍに入射した入射光に対してハーフミラー面２２Ｍで分割される透過光と反射光の光量比は必ずしも等価（１対１）ではなく、例えばＡＦ用の被写体光となる反射光の光量の方が透過光よりも少なくしてもよい。

ＡＦ用光路には、縮小光学系やリレーレンズ群等からなる光学系２４、第１プリズム２６ａ及び第２プリズム２６ｂからなる光分割光学系２６、ＡＦ用撮像素子（ＣＣＤ）２８ａ、２８ｂ等が配置されている。

本線光路に配置された光分割光学系２２で分割されてＡＦ用光路へと導かれた被写体光は、光学系２４を通過した後、光分割光学系２６に入射する。光分割光学系２６に入射した被写体光は、第１プリズム２６ａと第２プリズム２６ｂとが接合する部分のハーフミラー面２６Ｍで光量が等価な２つの被写体光に分割され、ハーフミラー面２６Ｍで反射した被写体光は一方のＡＦ用撮像素子２８ａの撮像面に入射し、ハーフミラー面２６Ｍを透過した被写体光は他方のＡＦ用撮像素子２８ｂの撮像面に入射する。

また、撮影レンズ１２には、オートフォーカス（ＡＦ）処理を実行するＡＦ処理部３０が設けられている。

ＡＦ用撮像素子２８ａ、２８ｂの撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１０の映像用撮像素子２０の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子２８ａ、２８ｂにより取り込まれる撮影画像は、カメラ本体１０の映像用撮像素子２０により取り込まれる撮影画像と一致している。なお、両者の撮影範囲に関しては、完全に一致している必要はなく、例えばＡＦ用撮像素子２８ａ、２８ｂの撮影範囲の方がカメラ本体１０の映像用撮像素子２０の撮影範囲を包含する大きな範囲であってもよい。また、ＡＦ用撮像素子２８ａ、２８ｂを設けることなくカメラ本体１０の映像用撮像素子２０からの映像信号をＡＦ処理部３０に与えるようにしてもよい。

ＡＦ処理部３０は、ＡＦ用撮像素子２８ａ、２８ｂから映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子２８ａ、２８ｂから得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちＡＦの対象範囲であるＡＦエリアに対応する範囲の信号を１画面分ずつ積算する。このようにして１画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値として、これを最大（極大）とするように、すなわち、ＡＦエリアの被写体画像のコントラストが最大となるようにフォーカスレンズ群が制御される。

例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦエリア内の被写体に自動でピントを合わせることができる。

追尾装置１６は、ユーザが指定した対象物（対象被写体）の画像を撮影画像の画面上で検出しながらその対象物の画面上での移動に合わせてＡＦエリア（その輪郭を示すＡＦ枠）の位置等を自動で変更（自動追尾）する自動追尾機能を実現するための装置である。このとき、ユーザがＡＦ枠の変更のためのマニュアル操作を行っていない場合には追尾装置１６によるＡＦ枠の自動追尾が行われ、ユーザがＡＦ枠の変更のためのマニュアル操作を行っている場合にはそのマニュアル操作が追尾装置１６よりも優先されてユーザのマニュアル操作によってＡＦ枠が変更される。自動追尾機能をオフにしてマニュアル操作のみを有効にすることもできる。

追尾装置１６は、カメラ本体１０の映像用撮像素子２０から取得した撮影画像に基づいてピント合わせの対象として追尾する対象物の画面上での範囲を検出し、検出した対象物の範囲に基づいてＡＦ枠の範囲（位置と大きさ等）を決定し、そのＡＦ枠の範囲を示すＡＦ枠情報を生成する。追尾装置１６は、取得した映像信号から１画面分（１フレーム分）の撮影画像を取り込み、さらに所定時間経過後に１画面分の撮影画像を同様に取り込み、これら２つの画像の差分により抽出される差画像を生成し、これから対象物の画面上での移動方向を検出し、移動した対象物に合わせてＡＦ枠を変更する。

また、追尾装置１６は、カメラ本体１０の映像用撮像素子２０からの映像信号に上で生成したＡＦ枠情報のデータを合成してビューファインダ１４に表示するための合成映像を生成してビューファインダ１４に送るようになっている。

ビューファインダ１４の画面上には、構図の確認等のために現在撮影中の映像信号が表示される。このとき、上述したように、ビューファインダ１４の画面上には、オートフォーカス（ＡＦ）の対象範囲であるＡＦエリアの情報としてＡＦエリアの範囲（輪郭）を示すＡＦ枠も表示される。

このとき、本実施形態では、ビューファインダ１４の表示画面に表示される画像が実際の映像よりも遅れることを低減するために、カメラ本体１０の映像用撮像素子２０から取得した画像はすぐに略リアルタイムで表示し、その一方で、別途並行して画像処理を行い、その結果であるＡＦ枠情報等は遅れて表示画面の画像に重畳して表示するようにしている。これについては後で詳しく述べることとする。

図２に、ＡＦ枠の例を示す。図２に示すように、ＡＦ枠は、カメラ本体１０の映像用撮像素子２０の撮影範囲又は撮影画像に対してＡＦの対象範囲を示すＡＦエリアの輪郭を示すものである。

図３に、追尾装置１６のうち特にビューファインダ１４に表示する画像を生成する処理に関する部分のブロック図を示す。

図３に示すように、この処理ブロックは、シリアルに入力される映像信号を１フレーム分の画像データ（１枚の絵）に展開するデコーダ４０と、別途行われる画像処理の結果を上記画像データに合成するＣＰＵ４２と、この処理結果が合成された画像データから表示画像を生成して出力するエンコーダ４４と、上記デコーダ４０によって展開された１枚分の絵を格納するＲＡＭ４６及びＲＯＭ４８等のメモリを有している。

また、この処理ブロックは、その他に、上記１枚の絵として展開された画像データに対して顔認識等の画像処理を行いＡＦ枠情報等を生成する画像処理ＣＰＵ５０及びその画像処理に用いられるＲＡＭ５２、ＲＯＭ５４等のメモリを備えている。

デコーダ４０には、カメラ本体１０の映像用撮像素子２０から被写体を撮像した映像信号（コンポジット信号）がシリアルに入力される。デコーダ４０は、この映像信号（コンポジット信号）を輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに分解して、１フレーム分の画像データとして１枚の絵に展開する。この１枚の絵のデータはＣＰＵ４２を介してＲＡＭ４６に展開される。

一方、デコーダ４０で１枚の絵として展開された１フレーム分の画像データはＲＡＭ５２にも展開され、画像処理ＣＰＵ５０において所定の画像処理が施される。画像処理ＣＰＵ５０においては、ＲＡＭ５２に展開された１フレーム分の画像データ中の被写体画像からＲＯＭ５４のデータ等を用いて顔認識を行い、追尾対象の顔画像であった場合には、それに合わせてＡＦ枠情報を変更する等の処理を行う。

なお、画像処理ＣＰＵ５０で行われる画像処理に用いられる画像データとしては、カメラ本体１０の映像用撮像素子２０から入力された画像データではなく、ＡＦ処理部３０から入力された画像データを用いるようにしてもよい。

画像処理ＣＰＵ５０における画像処理の結果得られたＡＦ枠情報等のデータはＣＰＵ４２に送られる。ここで、ＣＰＵ４２においては、先に入力された１フレーム分の画像データはすでにさらにその前の１フレームの画像データに対して行われた画像処理結果が合成されてエンコーダ４４に送られビューファインダ１４に表示される表示画像として生成されており、ＣＰＵ４２には次の１フレーム分の画像データがカメラ本体１０の映像用撮像素子２０から入力されてＲＡＭ４６に展開されている。そして、今ＣＰＵ４２に送られた画像処理ＣＰＵ５０の処理結果は、ＣＰＵ４２において、今展開されている次の１フレーム分の画像データに対して合成される。

このように画像処理ＣＰＵ５０で１フレーム前の画像データに対して行われた画像処理結果は、ＣＰＵ４２において現在の画像データに対して合成されてエンコーダ４４に入力される。エンコーダ４４は、この処理結果が合成された画像データから表示画像を生成し、再びコンポジット信号に変換して、ビューファインダ１４に対して出力する。

これにより、ビューファインダ１４の表示画面においては、ＡＦ枠情報等の処理結果は少なくとも１フレーム分は遅れて表示されているが、表示画像自体は略リアルタイムで表示されるため、ユーザにとって実際の映像より遅れているという違和感はほとんどない。

図４に、以上の処理の流れを示す。

図４に示すように、ステップＳ１０１の画像取込、ステップＳ１０２の画像処理、ステップＳ１０３の結果重畳、及びステップＳ１０４の画像表示の４つのステップがあるが、ステップＳ１０３の結果重畳は、ステップＳ１０２で１フレーム前の画像データに対して行われた画像処理の結果を、新たに展開されている画像データに対して重畳することにより、ステップＳ１０２とステップＳ１０３を並行して行っている。

このように、図４のステップＳ１０１、ステップＳ１０３、ステップＳ１０４という流れは、今入力され展開されている画像データに対する処理を待つことなく略リアルタイムで表示している。また、ステップＳ１０２における画像処理を上記画像表示の流れと並行して行っている。そして、ステップＳ１０３において、１フレーム前のＡＦ枠情報等の処理結果を重畳することで、１フレーム分すなわち時間にして３３．３ｍＳだけビューファインダ１４への画像表示が速くなり、ビューファインダ１４に表示される画像の現実の映像からの遅れを低減することができる。

このように、画像データは画像処理結果を待たずに、すぐに略リアルタイムで表示するようにしているため、ＡＦ枠情報等の処理結果の表示が１フレーム分前のものであってもユーザがそれほど違和感を感じることはない。

なお、本発明は、以上説明したような放送用又は業務用のテレビカメラシステムだけでなく、例えば、カメラを使用した画像処理結果表示装置やマルチディスプレイ装置などに対しても応用することができる。

例えば、マルチディスプレイ装置などのようにディスプレイを複数使用している場合などにおいては、前述した従来の方法では処理時間により画像表示までの時間がまちまちになってしまい、画面ごとに遅れ時間が異なってしまうという問題があるが、本実施形態の方法では処理を待たずに画像を表示するようにしているため、このように複数のディスプレイを使用している場合であっても各画面での表示遅れを統一することができる。

以上、本発明の画像処理機能を有するカメラシステムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。

本発明の画像処理機能を有するカメラシステムの一実施形態を示す概略構成図である。 ＡＦ枠の例を示す説明図である。 追尾装置のビューファインダの表示画像成処理に関する部分を示すブロック図である。 本実施形態における表示画像生成処理の流れを示す工程図である。 従来のビューファインダの表示画像成処理に関する部分を示すブロック図である。 従来の表示画像生成処理の流れを示す工程図である。

符号の説明

１…本実施形態の画像処理機能を有するカメラシステム、１０…カメラ本体、１２…撮影レンズ、１４…ビューファインダ、１６…追尾装置、１８…色分解光学系、２０…映像用撮像素子、２２…光分割光学系、２４…光学系、２６…光分割光学系、２８ａ、２８ｂ…ＡＦ用撮像素子、３０…ＡＦ処理部、４０…デコーダ、４２…ＣＰＵ、４４…エンコーダ、５０…画像処理ＣＰＵ

Claims (2)

1. 光学系により結像された被写体像を撮像する撮像手段と、
   前記撮像手段から入力された撮影画像を１フレーム分の画像データに展開する画像変換手段と、
   前記画像データに対して所定の画像処理を行う画像処理手段と、
   前記画像処理結果を前記画像データに対して合成する画像合成手段と、
   前記画像処理結果が合成された画像データから表示用画像を生成する表示画像生成手段と、
   前記表示用画像を表示する画像表示手段と、
   を備え、前記画像合成手段は、前記画像データに対して１フレーム前の画像データに対して前記画像処理手段が行った画像処理結果を合成することを特徴とする画像処理機能を有するカメラシステム。
2. 前記画像表示手段はビューファインダであり、これに表示される画像に合成される前記画像処理結果はＡＦ枠情報であることを特徴とする請求項１に記載の画像処理機能を有するカメラシステム。

Images