JP2007174472A - 動画処理装置、動画処理方法、動画処理方法のプログラム及び動画処理方法のプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】本発明は、動画処理装置、動画処理方法、動画処理方法のプログラム及び動画処理方法のプログラムを記録した記録媒体に関し、例えばビデオカメラ、チュナー、ＤＶＤレコーダ等に適用して、ビデオデータをリアルタイム処理する場合に、従来に比して構成を簡略化し、消費電力を低減する。
【解決手段】本発明は、画面の中央から周辺に向かう順序により順次ビデオデータを処理するようにして、処理が間に合わないときには、途中で処理を打ち切る。
【選択図】 図１

Description

本発明は、動画処理装置、動画処理方法、動画処理方法のプログラム及び動画処理方法のプログラムを記録した記録媒体に関し、例えばビデオカメラ、チュナー、ＤＶＤ（Digital Versatile Disk）レコーダ等に適用することができる。本発明は、画面の中央から周辺に向かう順序により順次ビデオデータを処理するようにして、処理が間に合わないときには、途中で処理を打ち切ることにより、ビデオデータをリアルタイム処理する場合に、従来に比して構成を簡略化し、消費電力を低減する。

従来、動画処理装置の１つであるビデオカメラでは、撮像結果によるビデオデータを画像処理回路によりホワイトバランス調整、ニー調整、ノイズリダクション処理等した後、データ圧縮して記録媒体に記録している。またこの撮像結果によるビデオデータを表示用の画像処理回路に入力し、表示に供するモニタ機構に応じた解像度、ガンマに補正してモニタに供している。

従来の映像機器では、ディジタルシグナルプロセッサを用いたソフトウエアの処理によりこの種の処理を実行する場合があり、このようなソフトウエアを用いた処理において、１フレーム分のビデオデータを対応する１フレームの期間で処理できない場合、ディジタルシグナルプロセッサの数を増やしたり、専用のハードウエア回路を追加することにより、処理速度を高速度化してビデオデータをリアルタイムで処理していた。

またこの種の処理では、例えば適応的に処理を切り換えるノイズリダクション処理のように、処理対象に応じて処理時間が種々に変化する処理があり、ソフトウエアを用いた処理では、ワーストケースでも充分に処理可能に、処理速度の速いディジタルシグナルプロセッサを採用し、さらにはこの場合もディジタルシグナルプロセッサの数を増やしたり、専用のハードウエア回路を追加し、これらより処理速度を高速度化してビデオデータをリアルタイムで処理していた。

近年、この種の動画処理装置では、処理対象であるビデオデータの解像度、フレーム周波数が増大する傾向にあり、その分、画像処理を高速度で実行することが求められている。

このような画像処理回路における処理に関して、特開２００４−１２１９５８号公報等には、ノイズリダクション処理の工夫が提案されている。

ところでソフトウエアを用いた画像処理において、ワーストケースでも充分にリアルタイムで処理可能に、処理速度を高速度化してビデオデータをリアルタイムで処理する場合、極めて稀にしか発生しない状況のために、ワーストケース以外の通常の処理では不必要に、動作速度を高速度化することになり、その分、構成が複雑になり、さらには消費電力が増大する問題がある。
特開２００４−１２１９５８号公報

本発明は以上の点を考慮してなされたもので、ビデオデータをリアルタイム処理する場合に、従来に比して構成を簡略化し、消費電力を低減することができる動画処理装置、動画処理方法、動画処理方法のプログラム及び動画処理方法のプログラムを記録した記録媒体を提案しようとするものである。

かかる課題を解決するため請求項１の発明は、ビデオデータを取得するビデオデータ取得部と、前記ビデオデータの１フィールド又は１フレームの期間の整数倍の処理期間による、前記ビデオデータの１フィールド又は１フレームのデータ処理を繰り返す処理部とを有する動画処理装置に適用して、前記処理部は、前記処理期間における経過時間を計測するタイマと、前記１フィールド又は１フレームのビデオデータをデータ処理するデータ処理部とを有し、前記データ処理部は、前記ビデオデータによる画像の中央から周辺に向かう順序により、データ処理単位毎に、前記ビデオデータをデータ処理し、前記タイマで計測する経過時間により、前記処理時間内で、前記１フィールド又は１フレームのビデオデータのデータ処理が完了しない場合、前記処理時間で、前記１フィールド又は１フレームのビデオデータのデータ処理を打ち切る。

また請求項６の発明は、ビデオデータの１フィールド又は１フレームの期間の整数倍の処理期間による、前記ビデオデータの１フィールド又は１フレームのデータ処理を繰り返す動画処理方法に適用して、前記処理期間における経過時間を計測する時間計測のステップと、前記１フィールド又は１フレームのビデオデータをデータ処理するデータ処理のステップとを有し、前記データ処理のステップは、前記ビデオデータによる画像の中央から周辺に向かう順序により、データ処理単位毎に、前記ビデオデータをデータ処理し、前記時間計測のステップで計測される経過時間により、前記処理時間内で、前記１フィールド又は１フレームのビデオデータのデータ処理が完了しない場合、前記処理時間で、前記１フィールド又は１フレームのビデオデータのデータ処理を打ち切る。

また請求項７の発明は、演算処理手段による実行により、ビデオデータの１フィールド又は１フレームの期間の整数倍の処理期間による、前記ビデオデータの１フィールド又は１フレームのデータ処理を繰り返す動画処理方法のプログラムに適用して、前記処理期間における経過時間を計測する時間計測のステップと、前記１フィールド又は１フレームのビデオデータをデータ処理するデータ処理のステップとを有し、前記データ処理のステップは、前記ビデオデータによる画像の中央から周辺に向かう順序により、データ処理単位毎に、前記ビデオデータをデータ処理し、前記時間計測のステップで計測される経過時間により、前記処理時間内で、前記１フィールド又は１フレームのビデオデータのデータ処理が完了しない場合、前記処理時間で、前記１フィールド又は１フレームのビデオデータのデータ処理を打ち切る。

また請求項８の発明は、演算処理手段による実行により、ビデオデータの１フィールド又は１フレームの期間の整数倍の処理期間による、前記ビデオデータの１フィールド又は１フレームのデータ処理を繰り返す動画処理方法のプログラムを記録した記録媒体に適用して、前記動画処理方法のプログラムは、前記処理期間における経過時間を計測する時間計測のステップと、前記１フィールド又は１フレームのビデオデータをデータ処理するデータ処理のステップとを有し、前記データ処理のステップは、前記ビデオデータによる画像の中央から周辺に向かう順序により、データ処理単位毎に、前記ビデオデータをデータ処理し、前記時間計測のステップで計測される経過時間により、前記処理時間内で、前記１フィールド又は１フレームのビデオデータのデータ処理が完了しない場合、前記処理時間で、前記１フィールド又は１フレームのビデオデータのデータ処理を打ち切る。

請求項１の構成により、ビデオデータを取得するビデオデータ取得部と、前記ビデオデータの１フィールド又は１フレームの期間の整数倍の処理期間による、前記ビデオデータの１フィールド又は１フレームのデータ処理を繰り返す処理部とを有する動画処理装置に適用して、前記処理部は、前記処理期間における経過時間を計測するタイマと、前記１フィールド又は１フレームのビデオデータをデータ処理するデータ処理部とを有し、前記データ処理部は、前記ビデオデータによる画像の中央から周辺に向かう順序により、データ処理単位毎に、前記ビデオデータをデータ処理し、前記タイマで計測する経過時間により、前記処理時間内で、前記１フィールド又は１フレームのビデオデータのデータ処理が完了しない場合、前記処理時間で、前記１フィールド又は１フレームのビデオデータのデータ処理を打ち切れば、ビデオデータの１フィールド又は１フレームの期間の整数倍の処理期間による、前記ビデオデータの１フィールド又は１フレームのデータ処理を繰り返すリアルタイム処理において、処理が間に合わないときには、重要度の低い周辺部分の処理を省略して処理時間で処理を完了することにより、その分、従来に比して構成を簡略化し、消費電力を低減することができる。

これにより請求項６、請求項７、請求項８の構成によれば、従来に比して構成を簡略化し、消費電力を低減することができる動画処理方法、動画処理方法のプログラム及び動画処理方法のプログラムを記録した記録媒体を提供することができる。

本発明によれば、ビデオデータをリアルタイム処理する場合に、従来に比して構成を簡略化し、消費電力を低減することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例に係るビデオカメラを示すブロック図である。このビデオカメラ１は、動画による撮像結果を記録媒体に記録し、またこの記録した撮像結果を再生して表示する。

すなわちこのビデオカメラ１において、レンズ２は、図示しないコントローラの制御により、フォーカス、絞り、ズームを可変して入射光を集光し、続く動画受像部３に設けられた撮像素子の撮像面に被写体の光学像を形成する。

動画受像部３は、撮像素子の撮像面に形成された光学像を光電気変換処理して動画による撮像結果を取得する。また動画受像部３は、この撮像結果による撮像素子の出力信号を相関二重サンプリング処理等した後、アナログディジタル変換処理してビデオデータを出力する。

受像画像処理部４は、この動画受像部３から出力されるビデオデータをグローバルデータメモリ５に順次入力し、ホワイトバランス調整、ニー調整、ガンマ調整等の処理を実行する。またこのビデオデータの処理により、レンズ２のフォーカス制御、絞り制御に必要な情報を取得して図示しないコントローラに通知し、このビデオカメラ１は、この情報によるコントローラの制御によりレンズ２のフォーカス、絞りを制御する。

この実施例において、受像画像処理部４は、パターンマッチングの手法を適用した顔認識の処理により、ビデオデータによる画像から顔が撮影された領域を検出し、この領域におけるビデオデータの輝度レベル、高周波成分の信号レベルを検出する。またこの検出結果を絞り制御、フォーカス制御に必要な情報としてコントローラに通知し、コントローラは、この情報により、顔が検出された領域の輝度レベルが事前に設定された所定値となるように絞りを可変して絞り制御する。またいわゆる山登り法により、顔が検出された領域で高周波成分の信号レベルが増大する方向に、フォーカスを可変してフォーカス制御の処理を実行する。

これらにより受像画像処理部４は、ビデオデータによって処理に要する時間が変化するデータ処理により、順次ビデオデータをリアルタイムでデータ処理する。なお受像画像処理部４において、この顔が撮影された領域の色温度を検出し、この色温度によりホワイトバランス調整するようにしてもよい。

画像処理部６は、受像画像処理部４により処理されてグローバルデータメモリ５に保持されたビデオデータをノイズリダクション処理する。画像処理部６は、処理対象であるビデオデータに応じて、適応的に処理を切り換えてこのノイズリダクション処理を実行する。これにより画像処理部６は、ビデオデータによって処理に要する時間が変化するデータ処理により、順次ビデオデータをリアルタイムでデータ処理する。

表示画像処理部７は、画像処理部６により処理されてグローバルデータメモリ５に保持されたビデオデータ、又は後述する画像圧縮伸長部８で復号されてグローバルデータメモリ５に保持されたビデオデータを、続く動画表示部９に適した解像度、ガンマに補正する。

この処理において、表示画像処理部７は、２次元のフィルタリング処理により、解像度変換処理を実行し、このフィルタリング処理に供するフィルタの特性を、ビデオデータに応じて適応的に切り換える。これにより表示画像処理部７は、ビデオデータによって処理に要する時間が変化するデータ処理により、順次ビデオデータをリアルタイムでデータ処理する。

また表示画像処理部７は、図示しないコントローラの制御によりオンスクリーン表示用のビデオデータを生成し、この生成したビデオデータを撮像結果によるビデオデータと合成して動画表示部９に出力し、これにより例えば録画時間、電池残量等をオンスクリーン表示する。

動画表示部９は、例えば液晶表示パネルにより構成され、表示画像処理部７により処理されたビデオデータによる映像を表示する。これによりこのビデオカメラ１では、動画受像部３で取得した撮像結果、記録媒体に記録した撮像結果をモニタできるように構成される。

画像圧縮伸長部８は、画像処理部６により処理されてグローバルデータメモリ５に保持されたビデオデータを、例えばＭＰＥＧ（Moving Picture Experts Group）の手法によりデータ圧縮し、その処理結果による符号化データをメディア記録再生部１０に出力し、メディア記録再生部１０は、この画像圧縮伸長部８から出力される符号化データを記録媒体に記録する。なおここでこの記録媒体は、例えば光ディスク、メモリカード、磁気ディスク、磁気テープ等である。

またこれとは逆に、メディア記録再生部１０は、コントローラの制御により記録媒体に記録された動画ファイルによる符号化データを順次再生して画像圧縮伸長部８に出力し、画像圧縮伸長部８は、このメディア記録再生部１０から出力される符号化データをデータ伸長してグローバルデータメモリ５に格納する。これによりこのビデオカメラ１では、再生時、画像圧縮伸長部８によりグローバルデータメモリ５に格納されるビデオデータが表示画像処理部７により処理されて動画表示部９で表示に供され、記録媒体に記録された撮像結果のモニタ画像が表示される。

これらによりこのビデオカメラ１において、グローバルデータメモリ５をアクセスしてビデオデータを処理する受像画像処理部４、画像処理部６、表示画像処理部７は、何れも、ビデオデータをリアルタイムにより処理し、１フレーム分のビデオデータを、１フレームの期間で処理して続く処理に受け渡すように動作する。

この実施例において、これら受像画像処理部４、画像処理部６、表示画像処理部７は、ディジタルシグナルプロセッサにより構成され、このディジタルシグナルプロセッサに設けられたプロセッサにおけるソフトウエアの処理によりこの種の画像処理を実行するうように構成され、図３に示すように、データ処理単位である画像処理単位又は画素単位で、画面中央から周辺に向かうようにそれぞれビデオデータを画像処理する。またこのようにして画像処理して、ワーストケースによる１フレーム分のビデオデータを、１フレームの期間で処理できない場合、処理を途中で打ち切って次のフレームに処理を切り換え、これによりビデオデータをリアルタイムで処理する。

なお図４は、この図３との対比により従来構成における処理順序を示す図であり、従来構成では、１フレーム分のビデオデータを１フレームの期間で処理可能にこれら画像処理部が構成されて、それぞれ１画素又は複数画素によるデータ処理単位で、ラスタ走査順に画像処理することになる。なおこれらによりこれら受像画像処理部４、画像処理部６、表示画像処理部７に設けられたプロセッサの処理プログラムは、事前のインストールにより提供されることになるが、このような事前のインストールによる提供に代えて、光ディスク、磁気ディスク、メモリカード等の記録媒体を介して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

図５は、画像処理部６の構成を示すブロック図である。画像処理部６において、データ入力部１３は、プロセッサ１４の制御により、グローバルデータメモリ５をアクセスして処理対象のビデオデータを画像処理単位の分だけ入力する。ローカルデータメモリ１５は、このデータ入力部１３から入力されるビデオデータを一時格納して保持し、プロセッサ１４の制御によりローカルバスＢＵＳに出力する。またローカルデータメモリ１５は、プロセッサ１４の制御によりローカルバスＢＵＳに出力されるビデオデータを取得して保持し、データ出力部１２は、プロセッサ１４の制御により、ローカルデータメモリ１５に保持したビデオデータをグローバルデータメモリ５に出力する。これらによりこの画像処理部６は、グローバルデータメモリ５に保持されたビデオデータを、画像処理単位で取得してローカルデータメモリ１５に保持し、このローカルデータメモリ１５に保持したビデオデータを処理してグローバルデータメモリ５に格納し直し、この一連の処理の繰り返しによりグローバルデータメモリ５に格納したビデオデータを処理する。

画像処理部６において、タイマ１６は、プロセッサ１４の制御により、フレームの期間である処理単位の期間における経過時間を計測してプロセッサ１４に通知する。

画像処理補助回路１７は、プロセッサ１４による処理を補助する回路であり、ソフトウエアによる処理では煩雑な処理を実行するハードウエア構成であり、例えば乗算回路等により構成される。

プロセッサ１４は、図示しないメモリに記録された処理プログラムの実行によりローカルデータメモリ１５に格納されたビデオデータを処理してローカルデータメモリ１５に格納する。なおこのビデオデータの処理において、プロセッサ１４は、処理プログラムに従って、必要に応じて画像処理補助回路１７を使用して高速度でビデオデータを処理する。

画像処理回路６では、このプロセッサ１４によるビデオデータの処理が、上述したように処理対象であるビデオデータに応じて、適応的に処理を切り換えてビデオデータのノイズを除去するノイズリダクション処理であり、これにより例えばビデオデータに応じて１フレーム分のビデオデータの処理時間が種々に変化する処理を実行する。

プロセッサ１４は、割り込み又はポーリング対象信号として、上位のコントローラから処理開始指示信号Ｓ７がフレーム周期で入力され、この処理開始指示信号Ｓ７により図１及び図６に示す処理手順を実行してビデオデータを処理する。

すなわちプロセッサ１４は、処理開始指示信号Ｓ７が入力されると（図６）、ステップＳＰ１からステップＳＰ２に移り、この処理開始指示信号Ｓ７を割り込み又はポーリングにより検知する。これによりプロセッサ１４は、ビデオデータの処理を開始してステップＳＰ３に移り、タイマ１６をリセットした後、続くステップＳＰ４において、タイマ１６に経過時間の計測開始を指示する。

続いてプロセッサ１４は、ステップＳＰ５において、グローバルデータメモリ５からローカルデータメモリ１５へのビデオデータの読み出しの処理に係るパラメータをデータ入力部１３に通知し、続くステップＳＰ６において、ステップＳＰ５で通知したパラメータによるビデオデータの読み出しをデータ入力部１３に指示する。なおここでこのパラメータは、例えばグローバルデータメモリ５上での読み出しアドレス、 ローカルデータメモリ１５上での書き込みアドレス、 サイズ等である。

続いてプロセッサ１４は、ステップＳＰ７に移り、ローカルデータメモリ１５へのビデオデータの読み出しを完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ７を繰り返すのに対し、ステップＳＰ７で肯定結果が得られると、ステップＳＰ８に移る。これによりプロセッサ１４は、１つの画像処理単位の分のビデオデータをグローバルデータメモリ５から読み出してローカルデータメモリ１５に格納する。

続くステップＳＰ８において、プロセッサ１４は、ローカルデータメモリ１５に格納されたビデオデータを画像処理してローカルデータメモリ１５に格納し直し、続くステップＳＰ９において、ローカルデータメモリ１５からグローバルデータメモリ５へのビデオデータの書き込みの処理に係るパラメータをデータ出力部１２に通知する。また続くステップＳＰ１０において、ステップＳＰ９で通知したパラメータによるビデオデータの出力をデータ出力部１２に指示する。なおここでこのパラメータは、例えばローカルデータメモリ１５上での読み出しアドレス、 グローバルデータメモリ５上での書き込みアドレス、 サイズ等である。

続いてプロセッサ１４は、ステップＳＰ１１に移り（図１）、ローカルデータメモリ１５へのビデオデータの転送を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ１１を繰り返すのに対し、ステップＳＰ１１で肯定結果が得られると、ステップＳＰ１２に移る。これによりプロセッサ１４は、ローカルデータメモリ１５に格納した画像処理単位の分、ビデオデータを画像処理した後、グローバルデータメモリ５に転送する。

このようにして１つの画像処理単位について、グローバルデータメモリ５からビデオデータを読み出して画像処理した後、画像処理したビデオデータをグローバルデータメモリ５に格納すると、プロセッサ１４は、ステップＳＰ１２において、タイマ１６による時間計測値を取得し、これによりこの処理手順を開始した後の経過時間を検出する。また続くステップＳＰ１３において、ステップＳＰ１２で検出した経過時間に一定の規定時間を加算し、加算結果が１フレーム分の処理時間以下か否か判断する。なおここでこの規定時間は、処理開始指示信号Ｓ７を受信してタイマ１６が時間計測を開始するまでの時間、１つの画像処理単位のビデオデータを画像処理するのに必要と予測される予測時間、このステップＳＰ１３の処理、このステップＳＰ１３で否定結果が得られた場合のこの処理手順を終了するのに要する時間等の合計時間である。また予測時間は、この処理手順の処理開始においては、ディフォルトの値が適用され、画像処理単位の処理を繰り返すと、この処理に要した時間のうちで最大の時間が適用される。これによりプロセッサ１４は、続く画像処理単位を処理した場合でも経過時間が１フレーム分の処理時間を越えないことを確認する。

これによりこのステップＳＰ１３において、肯定結果が得られると、プロセッサ１４は、ステップＳＰ１３からステップＳＰ１４に移り、内部情報として保持している処理を完了した画像処理単位のブロック数と、画像処理単位の１フレーム分のブロック数との比較により、１フレーム分のビデオデータを全て処理したか否か判断し、ここで否定結果が得られると、ステップＳＰ１４からステップＳＰ５に戻る。

これによりプロセッサ１４は、１フレーム分の処理時間の範囲で、ステップＳＰ５−ＳＰ６−ＳＰ７−ＳＰ８−ＳＰ９−ＳＰ１０−ＳＰ１１−ＳＰ１２−ＳＰ１３−ＳＰ１４−ＳＰ５の処理手順を繰り返し、グローバルデータメモリ５に格納されたビデオデータを、順次、画像処理単位毎に処理する。

プロセッサ１４は、この繰り返しの処理により、図７に示すように、１ラインをビデオデータの画像処理単位に設定して、このビデオデータによる画像の中央ラインからデータ処理を開始する。またこの中央ラインのビデオデータを処理すると、この中央ラインの下側ラインに処理対象を切り換え、この下側ラインのビデオデータを処理する。また続いて中央ラインの上側ラインのビデオデータを処理する。この繰り返しにより、プロセッサ１４は、画像の中央から周辺に向かう順序により、中ラインから上下のラインを交互にデータ処理する。

なおこのようなライン単位の処理に代えて、図８及び図９に示すように、例えば１６画素×１６画素により矩形のブロックを画像処理単位に設定して、画像の中央から周辺に向かう順序により、順次、画像処理単位でデータ処理するようにしてもよい。またこの場合、図８に示すように、画像の４隅を最後に処理するように斜め方向のらせん状の走査により処理対象を切り換えるようにしてもよく、また図９に示すように、最後に左右の両端を処理するように垂直方向及び水平方向のらせん状の走査により処理対象を切り換えるようにしてもよい。

これによりプロセッサ１４は、処理の容易な例えば変化の少ない映像にあっては、充分に高速度で順次、画像処理単位を処理できることにより、全ての画像処理単位の処理を完了すると、ステップＳＰ１４で肯定結果が得られ、ステップＳＰ１４からステップＳＰ１５に移る。ここでプロセッサ１４は、タイマ１６に動作の停止を指示し、続くステップＳＰ１６でこの処理手順を終了する。

これに対してこの処理対象のビデオデータが、処理に時間を要する変化の大きな映像である場合、全ての画像処理単位の処理を完了しないうちに、ステップＳＰ１３で肯定結果が得られることになる。この場合、プロセッサ１４は、ステップＳＰ１３からステップＳＰ１５に移り、直ちにタイマ１６に動作の停止を指示し、続くステップＳＰ１６でこの処理手順を終了する。これによりこの場合、プロセッサ１４は、処理時間が１フレームの時間を越えそうになると、残りの画像処理単位の処理を中止してこの処理手順を終了する。

これに対して受像画像処理部４、表示画像処理部７は、プロセッサ１４における処理内容が異なる点を除いて、この画像処理部６と同一に構成される。これらのうち受像画像処理部４は、画像処理部６と同一に、画像の中央から周辺に向かう順序により、画像処理単位で、ホワイトバランス調整、ニー調整、ガンマ調整、顔検出等の一連の処理を実行して、処理時間が１フレームの時間を越えそうになると、優先順位の低い処理については、残りの画像処理単位の処理を中止する。

すなわち受像画像処理部４は、データ入力部１３、データ出力部１２のプロセッサ１４による制御により、画像の中央から周辺に向かう順序により、図８又は図９について上述した矩形の領域による画像処理単位で、グローバルデータメモリ５に保持したビデオデータをローカルデータメモリ１５に入力してホワイトバランス調整、ニー調整、ガンマ調整、顔検出等の処理を実行する。

このとき受像画像処理部４は、処理時間が１フレームの時間を越えそうになると、これらホワイトバランス調整等の一連の処理のうちで、優先順位の低い処理を中止する。この実施例では、この優先順位の低い処理に顔検出処理が適用され、これにより優先順位の高いホワイトバランス調整、ニー調整、ガンマ調整については、全ての画像処理単位で処理を実行する。またこれに対応してコントローラは、このように顔検出処理を途中で中止した場合、それまで検出された顔が撮影された領域による絞り調整、フォーカス調整に必要な情報により絞り制御、フォーカス制御の処理を実行し、これにより画面中央部分で検出される顔が撮影された領域を基準にしてこれらの制御を実行する。

なおこれにより受像画像処理部４では、ステップＳＰ１３で判定の処理に供した規定時間に、顔認識に係る処理を除く他の処理により未処理の画像処理単位を処理するのに要する時間が適用される。またこの他の処理により未処理の画像処理単位を処理するのに要する時間は、タイマ１６による処理時間の監視により、顔認識に要する処理時間と、これ以外の他の処理に要する処理時間を検出するようにして、この検出した他の処理に要する処理時間と、未処理のブロック数とにより求められる。

これに対して表示画像処理部７は、同様の、データ入力部１３、データ出力部１２のプロセッサ１４による制御により、画像の中央から周辺に向かう順序により、図７に示すラインによる画像処理単位で、又は図８、図９について上述した矩形の領域による画像処理単位で、グローバルデータメモリ５に保持したビデオデータをローカルデータメモリ１５に入力して解像度変換、ガンマ調整の処理を実行する。

この処理において表示画像処理部７は、処理時間が１フレームの時間を越えそうになると、一連の処理のうちで、優先順位の低い処理を中止する。この実施例では、この優先順位の低い処理にガンマ調整の処理が適用され、これにより優先順位の高い解像度変換処理については、全ての画像処理単位で処理を実行する。

なおこれにより表示画像処理部７でも、ステップＳＰ１３で判定の処理に供した規定時間に、解像度変換処理で未処理の画像処理単位を処理するのに要する時間が適用される。

（２）実施例の動作
以上の構成において、このビデオカメラ１において（図１）、記録時、動画受像部３で取得される動画によるビデオデータは、グローバルデータメモリ５に格納された後、受像画像処理部４、画像処理部６により順次処理され、その後、画像圧縮伸長部８でデータ圧縮されてメディア記録再生部１０により記録媒体に記録される。またグローバルデータメモリ５に格納されたビデオデータは、表示画像処理部７により解像度、ガンマ補正されて動画表示部９により表示され、これによりモニタに供される。

これに対して再生時、記録媒体に記録されたビデオデータは、メディア記録再生部１０により再生された後、画像圧縮伸長部８によりデータ伸長されてグローバルデータメモリ５に格納され、このグローバルデータメモリ５に格納されたビデオデータの解像度、ガンマが表示画像処理部７により補正されて動画表示部９により表示され、これによりモニタに供される。

これらの一連の処理において、ビデオデータは、受像画像処理部４による処理により、ホワイトバランス調整、ニー調整、ガンマ調整され、また顔認識により顔が撮影された領域が検出され、この領域から絞り制御、フォーカス制御に必要な情報が取得され、この情報によるレンズ２の制御による絞り制御、フォーカス制御の処理が実行される。これにより例えば集合写真の撮影現場のように、撮像結果に多くの人物が含まれている場合には、顔認識に係る処理に時間を要し、これによりビデオデータに応じて受像画像処理部４における処理時間が変化することになる。

また画像処理部６においては、ノイズリダクションの処理が実行され、このノイズリダクションの処理が、ビデオデータに応じて適応的に処理を切り換えて実行され、これによりこの場合も、ビデオデータに応じて処理時間が変化することになる。

また表示画像処理部７においては、ビデオデータに応じて特性を切り換えたフィルタリング処理により解像度が変換され、これによりこの場合も、ビデオデータに応じて処理時間が変化することになる。

これらにより最も処理時間が長くなるワーストケースでも充分に１フレームの期間でビデオデータを処理可能に、これら受像画像処理部４、画像処理部６、表示画像処理部７を構成したのでは、これら受像画像処理部４、画像処理部６、表示画像処理部７の構成が冗長になる。また構成が煩雑になり、その分、消費電力が増大することになる。

特に、この実施例では、これら受像画像処理部４、画像処理部６、表示画像処理部７がディジタルシグナルプロセッサにより構成されて（図５）、プロセッサ１４の実行に供するプログラムが異なる点を除いて同一に構成されていることにより、このようにワーストケースでも充分に１フレームの期間でビデオデータを処理可能に、これら受像画像処理部４、画像処理部６、表示画像処理部７を構成したのでは、これら受像画像処理部４、画像処理部６、表示画像処理部７の構成が極めて冗長になる。またこのような冗長を回避するように構成すると、これら受像画像処理部４、画像処理部６、表示画像処理部７に同一のディジタルシグナルプロセッサを適用できなくなる。

このためこのビデオカメラ１では、各画像処理部４、６、７で、それぞれ１フレームの期間で１フレーム分のビデオデータを処理するようにして、画像の中央から周辺に向かう順序により所定の画像処理単位毎に、ビデオデータが処理される（図３及び図４、図７〜図９）。またこのようにしてビデオデータを順次処理するようにして、タイマ１６により経過時間を計測して（図５）、処理が間に合わない場合には、途中で処理が打ち切られる。

これによりワーストケースでも充分に１フレームの期間でビデオデータを処理可能に画像処理回路４、６、７を構成していなくても、各画像処理回路４、６、７では、１フレーム分のビデオデータについては、ワーストケースでも、１フレームの期間で確実に処理を完了することができ、これによりビデオデータをリアルタイム処理する場合に、従来に比して構成を簡略化し、消費電力を低減することができる。

具体的に、ホワイトバランス調整、ニー調整、ガンマ調整、顔認識等の処理を実行する受像画像処理部４では、１フレームの期間で処理を完了できない場合、これらの処理のうちで最も優先順位の低い顔認識の処理が途中で打ち切られる。これにより記録媒体に記録するビデオ信号については、何ら途中で処理を打ち切ることなくリアルタイムによりビデオデータを処理することができる。これに対して顔認識については、ワーストケースで、画面中央部分だけしか処理できないことになるが、人物にあっては、画面中央で撮影される場合が殆どを占める。これによりこのように処理を途中で打ち切るようにしても、このビデオカメラ１における各種処理については、何ら実害とならいようにすることができる。

これに対してノイズリダクション処理を実行する画像処理部６では、１フレームの期間で処理を完了できない場合、ノイズリダクションの処理自体が打ち切られる。しかしながらノイズリダクションの処理に時間を要する場合には、ビデオデータに係る画像が複雑な場合であって、このような画像ではノイズが目立ち難い特徴がある。また画像の主要部である画面中央では、ノイズリダクションしていることによっても、ノイズが目立ち難い特徴がある。これによりこの場合も、処理を途中で打ち切るようにしても、何ら実害とならいようにすることができる。

これに対して解像度、ガンマを補正する表示画像処理部７では、１フレームの期間で処理を完了できない場合、ガンマ補正の処理が打ち切られる。しかしながらこの表示画像処理部７の処理対象であるビデオデータは、モニタに供するビデオデータであることにより、このようにガンマ補正処理を途中で打ち切るようにしても、記録媒体に記録するビデオデータ、記録媒体に記録されたビデオデータについては、何ら影響を与えないようにすることができる。また解像度変換処理の方は、このようにガンマ補正処理を途中で打ち切っても、全画面で実行することにより、モニタ画像については、正しい画角により歪みなく表示することができる。これに対してガンマ補正にあっては、処理を省略しても動画では画質変化が目立ち難い特徴があり、さらにはこのように処理の打ち切りが必要なビデオデータによる画像では、複雑な画像であることにより一段とガンマ補正の省略が目立ち難い特徴がある。またこの場合も、画像の主要部である画面中央では、ガンマ補正していることにより、処理の省略による画質劣化については、目立ち難い特徴がある。これによりこの場合も、処理を途中で打ち切るようにして、何ら実害とならいようにすることができる。

（３）実施例の効果
以上の構成によれば、画面の中央から周辺に向かう順序により順次ビデオデータを処理するようにして、処理が間に合わないときには、途中で処理を打ち切ることにより、ビデオデータをリアルタイム処理する場合に、従来に比して構成を簡略化し、消費電力を低減することができる。

より具体的に、この処理を、ディジタルシグナルプロセッサを用いたソフトウエアによるデータ処理により実行するようにして、種々の処理回路を同一のディジタルシグナルプロセッサにより構成する場合に、ディジタルシグナルプロセッサの冗長性を回避して、従来に比して構成を簡略化し、消費電力を低減することができる。

またこれらの処理に係るデータ処理単位を、ビデオデータのライン、ビデオデータによる画像上に設定した矩形領域であるようにして、これらデータ処理単位を順次処理して従来に比して構成を簡略化し、消費電力を低減することができる。

なお上述の実施例においては、画像処理回路４、６、７において、それぞれ固定した画像処理単位、処理順序により順次ビデオデータを処理する場合について述べたが、本発明はこれに限らず、撮影モードにより、さらには過去の処理結果により、早い段階で主要部を処理し、最後に最も有用でない部分を処理するように、画像処理単位及び又は処理順序を切り換えるようにしてもよい。すなわち例えば風景モードで撮影する場合、さらにはそれまでのフレームの顔認識の結果より風景を撮影していると判断できる場合、他の部分に比して画面の四隅は相対的に有用でない部分であると言え、これによりこの場合、図９に示すように、各部の処理順序等を切り換えて、処理を途中で打ち切ることによる影響を極力少なくし得、これにより効率良くビデオデータを処理することができる。これに対してスポーツモードで撮影する場合、さらにはそれまでのフレームの顔認識処理の結果よりスポーツのシーンを撮影していると判断できる場合、被写体が横方向に動く場合が多いことにより、画面の上下端は、他の部分に比して相対的に有用でない部分であると言え、これによりこの場合、図７に示すように各部の処理順序等を切り換えて、処理を途中で打ち切ることによる影響を極力少なくし得、これにより効率良くビデオデータを処理することができる。

また上述の実施例においては、本発明をビデオカメラに適用して、１フレーム分のビデオデータを１フレームの期間で処理する場合について述べたが、本発明はこれに限らず、１フィールド分のビデオデータを１フィールドの期間で処理する場合、さらには複数フレーム、複数フィールドの期間で、１フィールド分、１フレーム分のビデオデータを処理する場合にも広く適用することができる。なおこのように複数フレーム、複数フィールドの期間で、１フィールド分、１フレーム分のビデオデータを処理する場合は、例えば上述の顔認識の処理によるフォーカス制御、絞り制御の処理に必要な情報の取得を１フレームおきに間欠的に実行する場合であり、この場合、２フレームの期間で、１フレーム分のビデオデータを処理することになる。

また上述の実施例においては、中心から周辺に向かう順序により、順次データ処理単位でビデオデータを処理する場合について述べたが、本発明はこれに限らず、処理途中でデータ処理単位の処理を省略する場合にも広く適用することができる。なおこのように処理を省略する場合は、例えば文字情報、グラフィックス情報が表示されている部位については、ノイズリダクションの処理を省略する場合等である。

また上述の実施例においては、データ処理単位を複数画素による画像処理単位に設定して、順次データ処理単位でビデオデータを処理する場合について述べたが、本発明はこれに限らず、データ処理単位を画素単位に設定して順次ビデオデータを処理する場合にも広く適用することができる。

また上述の実施例においては、本発明をビデオカメラに適用して、ディジタルシグナルプロセッサによりビデオデータを処理する場合について述べたが、本発明はこれに限らず、ハードウエア構成により処理する場合、さらにはまた例えばコンピュータにおける映像コンテンツの表示プログラムのように、ソフトウエアだけの処理によりビデオデータを処理する場合にも広く適用することができる。

また上述の実施例においては、本発明をビデオカメラに適用して、撮像結果によるビデオデータを処理する場合について述べたが、本発明はこれに限らず、例えばテレビジョンチュナーに適用してテレビジョン放送波によるビデオデータを処理する場合、モニタ装置に適用して種々の映像機器から入力されるビデオデータを処理する場合、さらにはＤＶＤレコーダ等に広く適用することができる。

本発明は、例えばビデオカメラ、チュナー、ＤＶＤ（Digital Versatile Disk）レコーダ等に適用することができる。

本発明の実施例に係るビデオカメラにおけるディジタルシグナルプロセッサの処理手順を示すフローチャートである。 本発明の実施例に係るビデオカメラを示すブロック図である。 図２のビデオカメラにおけるビデオデータの処理の説明に供する略線図である。 従来のビデオカメラにおけるビデオデータの処理の説明に供する略線図である。 図２のビデオカメラにおける画像処理部の構成を示すブロック図である。 図２のビデオカメラにおけるディジタルシグナルプロセッサの処理手順を示すフローチャートである。 画像処理単位をラインに設定した場合の処理順序を示す略線図である。 画像処理単位を矩形領域に設定した場合の処理順序を示す略線図である。 図８とは異なる順序による処理順序を示す略線図である。

符号の説明

１……ビデオカメラ、３……動画受像部、４……受像画像処理部、５……グローバルデータメモリ、６……画像処理部、７……表示画像処理部、８……画像圧縮伸長部、９……動画記録部、１０……メディア記録再生部、１２……データ出力部１３……データ入力部、１４……プロセッサ、１５……ローカルデータメモリ、１６……タイマ

Claims (8)

1. ビデオデータを取得するビデオデータ取得部と、
   前記ビデオデータの１フィールド又は１フレームの期間の整数倍の処理期間による、前記ビデオデータの１フィールド又は１フレームのデータ処理を繰り返す処理部とを有する動画処理装置において、
   前記処理部は、
   前記処理期間における経過時間を計測するタイマと、
   前記１フィールド又は１フレームのビデオデータをデータ処理するデータ処理部とを有し、
   前記データ処理部は、
   前記ビデオデータによる画像の中央から周辺に向かう順序により、データ処理単位毎に、前記ビデオデータをデータ処理し、
   前記タイマで計測する経過時間により、前記処理時間内で、前記１フィールド又は１フレームのビデオデータのデータ処理が完了しない場合、前記処理時間で、前記１フィールド又は１フレームのビデオデータのデータ処理を打ち切る
   ことを特徴とする画像処理装置。
2. 前記処理部が、
   ディジタルシグナルプロセッサであり、
   前記処理部におけるデータ処理が、
   前記ディジタルシグナルプロセッサにおけるソフトウエアによるデータ処理である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記処理部におけるデータ処理が、
   前記ビデオデータに応じて処理に要する時間が変化する処理である
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記データ処理単位が、
   前記ビデオデータのラインである
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記データ処理単位が、
   前記ビデオデータによる画像上に設定した矩形領域である
   ことを特徴とする請求項１に記載の画像処理装置。
6. ビデオデータの１フィールド又は１フレームの期間の整数倍の処理期間による、前記ビデオデータの１フィールド又は１フレームのデータ処理を繰り返す動画処理方法において、
   前記処理期間における経過時間を計測する時間計測のステップと、
   前記１フィールド又は１フレームのビデオデータをデータ処理するデータ処理のステップとを有し、
   前記データ処理のステップは、
   前記ビデオデータによる画像の中央から周辺に向かう順序により、データ処理単位毎に、前記ビデオデータをデータ処理し、
   前記時間計測のステップで計測される経過時間により、前記処理時間内で、前記１フィールド又は１フレームのビデオデータのデータ処理が完了しない場合、前記処理時間で、前記１フィールド又は１フレームのビデオデータのデータ処理を打ち切る
   ことを特徴とする画像処理方法。
7. 演算処理手段による実行により、ビデオデータの１フィールド又は１フレームの期間の整数倍の処理期間による、前記ビデオデータの１フィールド又は１フレームのデータ処理を繰り返す動画処理方法のプログラムにおいて、
   前記処理期間における経過時間を計測する時間計測のステップと、
   前記１フィールド又は１フレームのビデオデータをデータ処理するデータ処理のステップとを有し、
   前記データ処理のステップは、
   前記ビデオデータによる画像の中央から周辺に向かう順序により、データ処理単位毎に、前記ビデオデータをデータ処理し、
   前記時間計測のステップで計測される経過時間により、前記処理時間内で、前記１フィールド又は１フレームのビデオデータのデータ処理が完了しない場合、前記処理時間で、前記１フィールド又は１フレームのビデオデータのデータ処理を打ち切る
   ことを特徴とする画像処理方法のプログラム。
8. 演算処理手段による実行により、ビデオデータの１フィールド又は１フレームの期間の整数倍の処理期間による、前記ビデオデータの１フィールド又は１フレームのデータ処理を繰り返す動画処理方法のプログラムを記録した記録媒体において、
   前記動画処理方法のプログラムは、
   前記処理期間における経過時間を計測する時間計測のステップと、
   前記１フィールド又は１フレームのビデオデータをデータ処理するデータ処理のステップとを有し、
   前記データ処理のステップは、
   前記ビデオデータによる画像の中央から周辺に向かう順序により、データ処理単位毎に、前記ビデオデータをデータ処理し、
   前記時間計測のステップで計測される経過時間により、前記処理時間内で、前記１フィールド又は１フレームのビデオデータのデータ処理が完了しない場合、前記処理時間で、前記１フィールド又は１フレームのビデオデータのデータ処理を打ち切る
   ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
   
   
   

Images