JP2006261919A

JP2006261919A - 映像信号処理装置及び映像信号処理方法

Info

Publication number: JP2006261919A
Application number: JP2005074977A
Authority: JP
Inventors: Yuichiro Takahashi; 雄一郎高橋
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-03-16
Filing date: 2005-03-16
Publication date: 2006-09-28

Abstract

【課題】撮像装置自体の機能並びに性能を上げるための処理追加を消費電力、コスト、回路規模を増やさずに実施することのできる映像信号処理装置及び映像信号処理方法を提供する。
【解決手段】マイコン９が演算処理を指示し、動的に再構成可能なハードウェア１１が映像信号処理を行わない無効期間を各種パラメータ演算処理回路として切り替える。これにより、マイコン９にパラメータ演算処理を行う機能を追加する必要がなく、またハードウェア１１が映像信号処理を行うことから、マイコン９の動作クロックを高めたり、性能の高いマイコンを用いる必要がないので、撮像装置の機能並びに性能を上げるための処理追加を消費電力、コスト、回路規模を増やさずに実現することができる。
【選択図】図１

Description

本発明は、ビデオカメラ等の撮像装置に用いて好適な映像信号処理装置及び映像信号処理方法に関する。

従来、高画素数の撮像素子を用いた撮像画像に対する画質補正を行う撮像装置が提案されている（例えば、特許文献１参照）。図４は、特許文献１で開示された撮像装置の概略構成を示すブロック図である。この図に示す撮像装置１は、レンズ２ａと、アイリス２ｂと、シャッタ２ｃと、光を電気信号に変換する撮像素子３と、撮像素子３の出力信号を増幅するアンプ４と、アンプ４の出力に対して相関２重サンプリング、ゲイン制御、Ａ／Ｄ（Analog Digital）変換を行うフロントエンド５と、カメラシステムＬＳＩ６と、画像メモリ７と、撮像素子３を駆動するパルス信号を生成するＴＧ（Timing Generator）８と、装置各部を制御するマイクロコンピュータ（以降、マイコンと呼ぶ）９とから構成される。

撮像装置１では、レンズ２ａで取り込んだ光をアイリス２ｂで最適な光量に調整した後、シャッタ２ｃを通過させて撮像素子３に入射させる。撮像素子３をＴＧ８で駆動して、撮像素子３からの映像信号をアンプ４で増幅し、フロントエンド５に入力する。フロントエンド５では、入力された撮像素子３からの映像信号に対してＳ／Ｈ（サンプルホールド）・ＧＣ（ゲイン）回路５ａでサンプリングとゲイン調整を行い、その後、Ａ／Ｄ変換回路５ｂでデジタル信号に変換してカメラシステムＬＳＩ６に入力する。カメラシステムＬＳＩ６では、フロントエンド５から入力されたデジタル信号に対して適切な映像信号処理を行い、処理の必要性に応じて画像メモリ７を使用する。撮像素子３により画素が間引きされて読み出された画像信号に対してカメラシステムＬＳＩ６が検波を行い、その検波データに基づいてマイコン９において画質補正の制御値が演算され、カメラシステムＬＳＩ６はこの制御値に基づいて画像信号に対する画質補正処理を行う。

なお、上述した撮像装置とは関係はないが、従来、動的に再構成可能なハードウェアとして、リコンフィギュラブル回路を備えたプロセッサ及び情報処理装置が提案されている（例えば、特許文献２参照）。

特開２００３−１１６１４３号公報特開平１０−２５４６９６号公報

しかしながら、従来の撮像装置においては、撮像装置の機能あるいは性能を向上させるために、カメラシステムＬＳＩ６にて得られる検波データ（パラメータ）を増やしたり、マイコン９におけるパラメータ演算処理を追加する必要がある。この場合、マイコン９の性能を向上させるため、動作クロックを早めたり、性能の高いマイコンを用いる必要があるため、消費電力が多くなったり、コストが高くなるという問題がある。また、マイコン性能の不足分をハードウェアで補おうとすると回路規模が増加してしまうという問題もある。

本発明は、係る事情に鑑みてなされたものであり、撮像装置自体の機能並びに性能を上げるための処理追加を消費電力、コスト、回路規模を増やさずに実施することのできる映像信号処理装置及び映像信号処理方法を提供することを目的とする。

上記目的は下記構成及び方法により達成される。
（１）映像信号処理装置であって、動的に再構成可能であり、撮像素子の出力信号の有効期間に行う映像信号生成のための信号処理と、前記撮像素子の出力信号の無効期間に行う前記撮像素子の出力信号の有効期間中に得られた映像の特徴を示すパラメータを用いた演算処理との切り替えを行い、且つ前記演算処理として予め用意された複数の機能が実装されたハードウェアと、前記撮像素子の出力信号の有効期間と無効期間を示すブランキング信号を生成し、生成したブランキング信号を前記ハードウェアに与えるブランキング信号生成手段と、前記ハードウェアが前記撮像素子の出力信号の無効期間に実行する演算処理を指定する演算処理指示手段と、を備える。

（２）映像信号処理装置であって、動的に再構成可能であり、撮像素子の出力信号の有効期間に行う映像信号生成のための信号処理と、前記撮像素子の出力信号の無効期間に行う前記撮像素子の出力信号の有効期間中に得られた映像の特徴を示すパラメータを用いた演算処理との切り替えを行い、且つ前記演算処理として予め用意された複数の機能が実装されたハードウェアと、前記撮像素子の出力信号の有効期間と無効期間を示すブランキング信号を生成し、生成したブランキング信号を前記ハードウェアに与えるブランキング信号生成手段と、前記ハードウェアにおける演算処理を変更する演算処理機能変更情報を記憶する記憶手段と、前記ハードウェアが前記撮像素子の出力信号の無効期間に実行する演算処理を指定し、前記記憶手段に前記演算処理機能変更情報が記憶されている場合は前記演算処理機能変更情報に従って演算処理の指定を変更する演算処理指示手段と、を備える。

（３）映像信号処理方法であって、動的に再構成可能であり、撮像素子の出力信号の有効期間に行う映像信号生成のための信号処理と、前記撮像素子の出力信号の無効期間に行う前記撮像素子の出力信号の有効期間中に得られた映像の特徴を示すパラメータを用いた演算処理との切り替えを行い、且つ前記演算処理として予め用意された複数の機能が実装されたハードウェアを使用し、前記ハードウェアに前記撮像素子の出力信号の有効期間と無効期間を示すブランキング信号を与え、前記撮像素子の出力信号の有効期間には映像信号生成のための信号処理を行わせ、前記撮像素子の出力信号の無効期間には予め指定された演算処理を行わせる。

（４）映像信号処理方法であって、動的に再構成可能であり、撮像素子の出力信号の有効期間に行う映像信号生成のための信号処理と、前記撮像素子の出力信号の無効期間に行う前記撮像素子の出力信号の有効期間中に得られた映像の特徴を示すパラメータを用いた演算処理との切り替えを行い、且つ前記演算処理として予め用意された複数の機能が実装されたハードウェアを使用し、前記ハードウェアに前記撮像素子の出力信号の有効期間と無効期間を示すブランキング信号を与え、前記撮像素子の出力信号の有効期間には映像信号生成のための信号処理を行わせ、前記撮像素子の出力信号の無効期間には予め指定された演算処理を行わせ、前記ハードウェアにおける演算処理を変更できる演算処理機能変更情報を記憶する記憶手段に前記演算処理機能変更情報が記憶されている場合は前記演算処理機能変更情報に従って演算処理の指定を変更する。

上記（１）に記載の映像信号処理装置では、演算処理指示手段が演算処理を指示し、動的に再構成可能なハードウェアが映像信号処理を行わない無効期間を各種パラメータ演算処理回路として切り替えるので、演算処理指示手段を兼ねるマイコンにパラメータ演算処理を行う機能を追加する必要がなく、またハードウェアが映像信号処理を行うことから、マイコンの動作クロックを高めたり、性能の高いマイコンを用いる必要がない。これにより、撮像装置の機能並びに性能を上げるための処理追加を消費電力、コスト、回路規模を増やさずに実現することができる。

上記（２）に記載の映像信号処理装置では、上記（１）に記載の映像信号処理装置と同様に撮像装置の機能並びに性能を上げるための処理追加を消費電力、コスト、回路規模を増やさずに実現できるのみならず、製品を作り込んでからでも、生成するハードウェアの変更が可能となり、作り直しによるコストの増加を防止することが可能である。

上記（３）に記載の映像信号処理方法では、演算処理を指示し、動的に再構成可能なハードウェアが映像信号処理を行わない無効期間を各種パラメータ演算処理回路として切り替えるので、演算処理指示を与えるマイコンにパラメータ演算処理を行う機能を追加する必要がなく、またハードウェアが映像信号処理を行うことから、マイコンの動作クロックを高めたり、性能の高いマイコンを用いる必要がない。これにより、撮像装置の機能並びに性能を上げるための処理追加を消費電力、コスト、回路規模を増やさずに実現することができる。

上記（４）に記載の映像信号処理方法では、上記（３）に記載の映像信号処理方法と同様に撮像装置の機能並びに性能を上げるための処理追加を消費電力、コスト、回路規模を増やさずに実現できるのみならず、製品を作り込んでからでも、生成するハードウェアの変更が可能となり、作り直しによるコストの増加を防止することが可能である。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る映像信号処理装置１００の概略構成を示すブロック図である。なお、この図において前述した図４の撮像装置１と共通する部分には同じ符号を付けてその説明を省略する。

図１において、本実施の形態の映像信号処理装置１００は、ビデオカメラ等の撮像装置に用いたものであり、光を電気信号に変換する撮像素子３と、撮像素子３の出力信号を増幅するアンプ４と、アンプ４の出力に対して相関２重サンプリング、ゲイン制御、ＡＤ変換を行うフロントエンド５と、同期信号を生成するＳＳＧ（Synchronizing Signal Generator、ブランキング信号生成手段）１０と、撮像素子３を駆動するパルス信号を生成するＴＧ８と、装置各部を制御するマイコン９と、動的に再構成可能なハードウェア１１とを備える。

動的に再構成可能なハードウェア１１とは、ハードウェアの各ロジックエレメントとそれらの間のプログラム可能な配線に構成データを与えることで、ハードウェアの論理構造を動的に変更できるものである。この動的に再構成可能なハードウェア１１として、リコンフィギュラブル回路を備えたプロセッサ及び情報処理装置が提案されている（前述した特許文献２）。

次に、上記構成の映像信号処理装置１００の動作について、図２に示す映像信号処理タイミングチャートを用いて説明する。まず、ＳＳＧ１０は映像信号処理装置１００の基本となる同期信号を生成する。ＴＧ８はＳＳＧ１０のタイミングにより同期して駆動信号を生成する。撮像素子３の出力信号は図２の撮像素子３の出力のタイミングチャートに示すように、有効期間とその前の有効期間との間に無効期間が存在している。その有効・無効期間を示すブランキング信号Ｓ_ＢＬＫをＳＳＧ１０で生成し、動的に再構成可能なハードウェア１１に入力する。マイコン９は、動的に再構成可能なハードウェア１１より必要な情報を入手し、ソフトウェアによる様々な制御を行う。また、マイコン９は演算処理指示手段として動的に再構成可能なハードウェア１１にどのような演算処理を行なわせるかを指示する。

図１に示すように、マイコン９から演算処理指示信号Ｓ_ＩＮＳＴが動的に再構成可能なハードウェア１１に入力される。動的に再構成可能なハードウェア１１は、入力された演算処理指示信号Ｓ_ＩＮＳＴに応じて機能を切り替える。すなわち、図２に示すように演算処理指示信号Ｓ_ＩＮＳＴが「Ｈ」のときに、撮像素子３の出力信号すなわち映像信号の無効期間でＡ１処理（パラメータ演算処理(１)）回路として動作し、演算処理指示信号Ｓ_ＩＮＳＴが「Ｌ」のときに、映像信号の無効期間でＡ２処理（パラメータ演算処理(２)）回路として動作する。ここでは演算処理指示信号Ｓ_ＩＮＳＴが１ビットで選択できる機能が２つだけであるが、複数ビットの指示信号を用いれば複数機能を選択することも可能である。

また、図２に示すように、１つの無効期間に対して演算処理指示信号Ｓ_ＩＮＳＴが１つの状態しかないが、無効期間内に切り替えることで同一無効期間内で複数の処理を行うことも可能である。また、図１に示すようにマイコン９から演算処理指示信号Ｓ_ＩＮＳＴを出力して、動的に再構成可能なハードウェア１１に入力しているが、動的に再構成可能なハードウェア１１内に演算処理指示用レジスタを設けて、マイコン９から該演算処理指示用レジスタにデータを書き込み、その値に応じて機能を選択することも可能である。また、動的に再構成可能なハードウェア１１には、ハードウェアの資源が許す限りの複数のパラメータ演算処理を行えるようにしておくことが可能である。

一方、ハードウェア１１は、映像信号の有効期間では、演算処理指示信号Ｓ_ＩＮＳＴの「Ｈ」、「Ｌ」に関わらずＢ処理（映像信号生成処理）回路として動作する。

以上のように、動的に再構成可能なハードウェア１１は、ブランキング信号Ｓ_ＢＬＫにより、撮像素子３の出力信号すなわち映像信号の有効期間中には映像信号生成処理回路として動作して映像信号生成処理を行い、映像信号の無効期間中にはマイコン９から指示された演算処理回路に切り替わり、パラメータ演算を行いマイコン９に必要な情報を入力する。

このように本実施の形態の映像信号処理装置１００によれば、マイコン９が演算処理を指示し、動的に再構成可能なハードウェア１１が映像信号処理を行わない無効期間を各種パラメータ演算処理回路として切り替えるので、マイコン９にパラメータ演算処理を行う機能を追加する必要がなく、またハードウェア１１が映像信号処理を行うことから、マイコン９の動作クロックを高めたり、性能の高いマイコンを用いる必要がない。これにより、撮像装置の機能並びに性能を上げるための処理追加を消費電力、コスト、回路規模を増やさずに実現することができる。

なお、本実施の形態では、ＳＳＧ１０やＴＧ８を独立して設けたが、これらは動的に再構成可能なハードウェア１１内に実装することも可能である。

また、本実施の形態では、撮像素子３の出力に限定して説明したが、画像メモリから読み出した画像信号等、映像信号全てにおいて同様な考え方が適用できる。

（実施の形態２）
図３は、本発明の実施の形態２に係る映像信号処理装置２００の概略構成を示すブロック図である。この図において、本実施の形態の映像信号処理装置２００は、実施の形態１の映像信号処理装置１００と同一の構成にフラッシュＲＯＭ（記憶手段）１４を追加し、マイコン９からは演算処理機能変更信号Ｓ_ＣＨＡＮを、動的に再構成可能なハードウェア１１に入力できるようにしたものである。この場合、演算処理機能変更信号Ｓ_ＣＨＡＮは１ビットである必要はなく、動的に再構成可能なハードウェア１１に必要な構成要素変更のための信号を入力できるようにしている。

フラッシュＲＯＭ１４に回路変更の構成情報を記憶させたうえで、マイコン９から動的に再構成可能なハードウェア１１にハードウェアを構成する情報（演算処理機能変更信号Ｓ_ＣＨＡＮ）を入力して、複数の演算処理機能がある場合は演算処理指示信号Ｓ_ＩＮＳＴにより演算回路の構成を切り替えるようにすることで、撮像装置の機能並びに性能を上げるための処理追加を、消費電力、コスト、回路規模を増やさずに実装できるだけでなく、製品を作り込んでからでも、生成するハードウェアの変更が可能になり、作り直しによるコストの増加を防止することが可能である。

なお、本実施の形態では、回路変更の構成情報を記憶させるためにフラッシュＲＯＭ１４を用いたが、情報を記憶できる手段であれば何でもよい。

また、本実施の形態では、演算処理機能変更信号Ｓ_ＣＨＡＮをマイコン９にて生成するようにしたが、ＤＳＰ（Digital Signal Processor）等の別な手段で構成してもよい。

本発明は、撮像装置の機能並びに性能を上げるための処理追加を、消費電力、コスト、回路規模を増やさずに実現することができるといった効果を有し、例えばビデオカメラなど撮像装置への適用が可能である。

本発明の実施の形態１に係る映像信号処理装置の概略構成を示すブロック図本発明の実施の形態１に係る映像信号処理装置における映像信号処理タイミングチャート本発明の実施の形態２に係る映像信号処理装置の概略構成を示すブロック図従来の撮像装置の概略構成を示すブロック図

符号の説明

３撮像素子
４アンプ
５フロントエンド
８ＴＧ
９マイコン
１０ＳＳＧ
１１動的に再構成可能なハードウェア
１４フラッシュＲＯＭ
１００、２００映像信号処理装置

Claims

動的に再構成可能であり、撮像素子の出力信号の有効期間に行う映像信号生成のための信号処理と、前記撮像素子の出力信号の無効期間に行う前記撮像素子の出力信号の有効期間中に得られた映像の特徴を示すパラメータを用いた演算処理との切り替えを行い、且つ前記演算処理として予め用意された複数の機能が実装されたハードウェアと、
前記撮像素子の出力信号の有効期間と無効期間を示すブランキング信号を生成し、生成したブランキング信号を前記ハードウェアに与えるブランキング信号生成手段と、
前記ハードウェアが前記撮像素子の出力信号の無効期間に実行する演算処理を指定する演算処理指示手段と、
を備える映像信号処理装置。
動的に再構成可能であり、撮像素子の出力信号の有効期間に行う映像信号生成のための信号処理と、前記撮像素子の出力信号の無効期間に行う前記撮像素子の出力信号の有効期間中に得られた映像の特徴を示すパラメータを用いた演算処理との切り替えを行い、且つ前記演算処理として予め用意された複数の機能が実装されたハードウェアと、
前記撮像素子の出力信号の有効期間と無効期間を示すブランキング信号を生成し、生成したブランキング信号を前記ハードウェアに与えるブランキング信号生成手段と、
前記ハードウェアにおける演算処理を変更する演算処理機能変更情報を記憶する記憶手段と、
前記ハードウェアが前記撮像素子の出力信号の無効期間に実行する演算処理を指定し、前記記憶手段に前記演算処理機能変更情報が記憶されている場合は前記演算処理機能変更情報に従って演算処理の指定を変更する演算処理指示手段と、
を備える映像信号処理装置。
動的に再構成可能であり、撮像素子の出力信号の有効期間に行う映像信号生成のための信号処理と、前記撮像素子の出力信号の無効期間に行う前記撮像素子の出力信号の有効期間中に得られた映像の特徴を示すパラメータを用いた演算処理との切り替えを行い、且つ前記演算処理として予め用意された複数の機能が実装されたハードウェアを使用し、前記ハードウェアに前記撮像素子の出力信号の有効期間と無効期間を示すブランキング信号を与え、前記撮像素子の出力信号の有効期間には映像信号生成のための信号処理を行わせ、前記撮像素子の出力信号の無効期間には予め指定された演算処理を行わせる映像信号処理方法。
動的に再構成可能であり、撮像素子の出力信号の有効期間に行う映像信号生成のための信号処理と、前記撮像素子の出力信号の無効期間に行う前記撮像素子の出力信号の有効期間中に得られた映像の特徴を示すパラメータを用いた演算処理との切り替えを行い、且つ前記演算処理として予め用意された複数の機能が実装されたハードウェアを使用し、前記ハードウェアに前記撮像素子の出力信号の有効期間と無効期間を示すブランキング信号を与え、前記撮像素子の出力信号の有効期間には映像信号生成のための信号処理を行わせ、前記撮像素子の出力信号の無効期間には予め指定された演算処理を行わせ、前記ハードウェアにおける演算処理を変更できる演算処理機能変更情報を記憶する記憶手段に前記演算処理機能変更情報が記憶されている場合は前記演算処理機能変更情報に従って演算処理の指定を変更する映像信号処理方法。