JP2006107451A

JP2006107451A - データ処理装置及びその制御方法

Info

Publication number: JP2006107451A
Application number: JP2005211532A
Authority: JP
Inventors: Yoshiyuki Endo; 吉之遠藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-09-10
Filing date: 2005-07-21
Publication date: 2006-04-20
Anticipated expiration: 2025-07-21
Also published as: JP4863438B2; US20060056712A1; EP1641273A1; EP3253052A1; US7623718B2

Abstract

【課題】装置の大型化を伴わずに、複数の表示装置に対して、各装置からの要求に応じた画像処理が施された動画像をリアルタイムで低遅延に伝送可能にする。
【解決手段】フレームバッファ１６２６は映像データを入力して蓄積する。画像補正実行部１６４０は画像データに対してそれぞれ異なる処理を実行する複数の処理ユニット（１６１４〜１６１７）を有する。制御用シーケンサ１６００は、フレームバッファ１６２６に映像の１フレーム分を蓄積する間に、すでに蓄積済みとなっているフレームの画像データに関して、該フレームバッファより読み出し、複数の処理ユニットより出力先からの要求に基づいて選択された処理ユニットを、同時出力制御部１６１０から出力される同じデータに対し処理動作させる事で処理し、処理された画像データをコーデック部１６２１により符号化する一連の処理を複数回繰り返すことにより、複数の出力先からの要求に対応した複数の符号化データを生成するよう制御する。
【選択図】図１４

Description

本発明は、映像データの処理に関するものであり、特に、ネットワーク上へ映像を伝送するのに好適なデータ処理装置及びその制御方法に関するものである。

近年、インターネットが普及し、ＷＷＷ（World Wide Web）等による情報発信が一般的に行なわれるようになってきた。その様な中で、リアルタイムに映像を撮影し、その映像をネットワーク上に配信する機能を持つような撮像装置が出現している。

一方、ネットワークを介してユーザにカメラ画像配信サービスを提供するような場合に、ユーザ側の環境に適した画像データを配信するための提案がなされている。

特許文献１には、ユーザ側の画像表示用のディスプレイ（ＰＣモニタとしてのＣＲＴ、ＬＣＤ等）固有の情報（γ補正量）をカメラに送信し、カメラ側ではその情報を元に撮影した画像を処理して配信する画像処理装置が記載されている。特許文献１は、このような構成により、ユーザ側の画像表示用のディスプレイにとって最も好ましいと推定される画像を表示させることを達成しようというものである。

また、特許文献２には、ディスプレイ（携帯電話）固有の輝度特性を一台一台測定して得られた情報を受信し、ディスプレイ（携帯電話）の特性に応じた画像補正を施した後に配信処理を行うサーバが記載されている。

更に、特許文献３に記載された映像配信装置は、カメラで撮影した画像を一度特定の画像生成サーバに蓄積する。そして、インターネット経由で特定のＷＥＢサーバに対してアクセスしてきた複数のユーザに対し、前記ＷＥＢサーバ経由でユーザの要求する画角で切出した動画を配信する。
特開２００１−１９７４５８号公報（第１１頁第１図、及び第１２頁第９図）特開２００４−１５１１６７号公報（第７頁第１図、及び第５図）特開２００３−３１９３６４号公報（第９頁第１図、及び第３図）

特許文献１に記載の構成は、配信先のディスプレイ固有の情報をカメラ側に送信し、カメラで画像を撮影する際にその情報を反映させるというものである。しかしこのような構成においては、１台のカメラに対して複数のユーザがアクセスした場合に、第１優先権を持ったユーザに対する要求にしか対応することができない。すなわち、第１優先権を持たないユーザは、第１優先権を持ったユーザの操作する画像をただ眺めているだけになり、第１優先権を持ったユーザのディスプレイに適応した画像データを表示しなければならないことになる。

このような複数のユーザによる同時撮影要求に対応するために、画像処理部を複数持たせた構成が考えられる。しかしながら、そのような場合には、その処理ユニット数によってサービスできる内容が制限を受けることになる。処理ユニットの数を増やせばそのような制限は緩くなる。しかしながら、映像配信システムの撮影側機能を受け持つネットワークカメラサーバなどは一般に小型化を要求されるものであり、そこに実装できる処理ユニットの数は基板／チップ面積や発熱量などによって制限を受ける。そのため、実際にはそのような処理ユニットの数は限られたものになってしまうという課題がある。

さらに、特許文献３に記載された技術のように、カメラの画像を一度サーバに蓄積した後にユーザの要求に合わせて画像を処理して送信する構成においては、一度蓄積された画像を所定の処理を行った後に配信することになる。このため、撮影した時間と再生する時間に大幅なズレを生じることになるという問題がある。この問題は、動画像を撮影し、その動画像を離れた場所からリアルタイム性を重視した複数箇所・複数ユーザからの監視用途などに利用する場合には深刻である。そのような用途では、撮像装置から入ってくる１秒間に３０フレームの非符号化画像を、非符号化の状態で複数の要求に応じた処理を施した後、それぞれの要求するフォーマットで個々に符号化して送信するシステムが要求される。従って、同時に配信できるユーザの数は著しく制限されてしまう。

一方、カメラから出力される画像に対し、何らかの非可逆符号化処理を行ってサーバに蓄積、もしくはアナログ画像としてカメラから配信された画像をデジタル変換してサーバに蓄積するような構成が考えられる。しかしながら、そのような構成では、サーバから読み出した符号化データを一度伸張した画像や、デジタルからアナログ変換を行った後にアナログからデジタル変換を行った画像に対して画像加工することになる。そのため、非符号化・非変換画像に対して画像加工する場合に比べて、明らかに画質が落ちるという問題があった。

また、特許文献２に記載の技術は、携帯電話のように限られた表示デバイス（ＬＣＤ）を使用しているケースに限定されたものであり、不特定多数種類のディスプレイに対応することは不可能である。

本発明は上記の課題に鑑みてなされたものであり、装置の大型化を伴わずに、複数の表示装置に対して、各装置からの要求に応じた画像処理が施された動画像をリアルタイムで低遅延に伝送可能にすることを目的とする。

上記の目的を達成するための本発明の一態様によるデータ処理装置は以下の構成を備える。すなわち、
入力された画像データに対してそれぞれ異なる処理を実行する複数の処理ユニットを有する画像処理手段と、
前記画像処理手段によって処理された画像データを符号化する符号化手段と、
前記画像処理手段及び前記符号化手段の中から選択された複数の画像処理手段及び符号化手段に対し、同じ画像データを供給する同時出力手段と、
前記入力された各フレームの画像データに対して、複数の出力先からの要求に基づいて選択された複数の画像処理手段及び符号化手段に対して、前記同時出力手段から画像データを同時に供給する事で時系列的な画像処理と符号化処理を同じ画像データに対し実行させることにより、前記複数の出力先からの要求に対応した複数の画像データをそれぞれ生成する生成手段とを備える。

また、上記の目的を達成するための本発明のたの態様によるデータ処理装置は以下の構成を備える。即ち、
入力された画像データに対してそれぞれ異なる処理を実行する複数の処理ユニットを有する画像処理手段と、
前記画像処理手段によって処理された画像データを符号化する符号化手段と、
前記複数の処理ユニット及び前記符号化手段の中から選択された複数の処理ユニット及び符号化手段に対し、同じ画像データを供給する同時出力手段と、
前記入力された各フレームの画像データに対して前記複数の処理ユニット及び符号化手段の中から複数の出力先からの要求に基づいて選択された複数の処理ユニットに対して前記同時出力手段から画像データを同時に供給し、画像処理と符号化処理を同じデータに対し同時に且つ時系列的に処理することで前記複数の出力先からの要求に対応した複数の画像データをそれぞれ生成する生成手段とを備える。

上記の構成によれば、装置の大型化を伴わずに、複数の表示装置に対して、各装置からの要求に応じた画像処理が施された動画像をリアルタイムで低遅延に伝送することが可能になる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。

［第１実施形態］
図１は第１実施形態における撮像装置の構成を示すブロック図である。図１において、撮像装置５は、画像処理部１、撮像部２、及び通信部３の３つの構成要素に大きく分けられる。撮像部２は、画像が入射されるレンズ２１、レンズ２１で集められた光を電気信号に変換する光電変換センサ（以下、センサ）２２、センサ２２から得られる信号を現像する現像処理部２３を有する。現像処理部２３は、センサ２２から出力されるデータ（原色フィルタであればRGBの各素子データ）に対する輝度/色分離処理、ノイズリダクション処理、基準となるγ補正処理および色補正/色抑圧処理が行われる。現像処理部２３から出力される画像データは最終的な出力データは、4:2:2のYCデータになる。現像処理部２３によって現像された信号は画像データとして画像処理部１に与えられる。画像処理部１において、画像データは、各種画像処理、符号化処理を経て符号化データに変換され、通信部３に与えられる。

ネットワーク通信を実現する通信部３では、ネットワークを介して接続された表示装置６１、６２，６３からの撮像装置５に対する要求が処理性能判断部３１によって判断され、処理情報が画像処理部１や撮像部２に対して伝えられる。

上記の処理情報に基づいて、画像処理部１はそれぞれの表示装置用に符号化した動画像データをデータバッファ４２４（図４）に格納する。ネットワーク制御部３０はデータバッファ４２４に入力された動画像符号化データを、送出先のネットワークの形態に応じてパケット化するなどの処理を行い、ネットワークインターフェイス部３２に対して送信用データとして受け渡す。ネットワークインターフェイス部３２はネットワーク網４に対してそのネットワークの形態に応じた形態でデータを送出する。また、通信部３は、撮像部２から出力される動画像、もしくは任意のユーザに配信する動画像を蓄積する為のストレージ部３３も備える。なお、ネットワーク網４はEthernet（登録商標）等の有線ＬＡＮ、IEEE802.11b等に代表される形式の無線ＬＡＮ、もしくはＩＳＤＮ等の公衆回線網などを代表的なものとして想定することができる。

なお、本実施形態では図１において画像処理部１、撮像部２、通信部３はそれぞれ別のブロックとして記述しているが、本実施形態をハードウェアで構成する際には、これらのブロックを物理低に区別する必要はない。例えば、画像処理部１、撮像部２、通信部３をそれぞれ別のＩＣとして実現してもよいし、各部のいくつかの部分をまとめて（例えば現像処理部２３と画像処理部１とネットワーク制御部３０をまとめて）１チップ上に実現するなどの様々な実現形態が可能である。よって、その形態は以下の実施形態の記載によって制限されるものではない。

また、画像処理部１、撮像部２、通信部３は、不図示のＣＰＵ（制御ユニット）がＲＯＭなどの読出し可能な記憶媒体に記憶されたプログラムに基づいて実行される。特に、画像処理部１は、後述の制御用シーケンサ４００に対してＣＰＵが指示を行うことになる。
また、ネットワーク制御部３０の中にある処理性能判断部３１は、各表示装置６１、６２，６３から要求の出ている処理の内容を、１映像期間内に全て画像処理部１で処理させることが可能であるかどうかの判断を行う。これらの処理は基本的にＣＰＵ上で動作するソフトウエアによって実現される。なお、１映像期間内に処理をしきれないと判断された場合は、処理を仕切れなくなった時点の要求以後の要求を拒絶し、要求が拒絶された表示装置に対してはその旨を表示装置に通知する。そして、要求を拒絶した表示装置に対しては、他の要求が受け入れられた表示装置に提供している映像のうちのいずれかを配信する。

図３は本実施形態におけるネットワーク接続可能な表示装置６１〜６３における映像の表示例を示す図である。表示装置６１〜６３としては例えばパーソナルコンピュータ等を用いることができる。図３の（Ａ）において３０１は撮像装置５から送られてくる動画像を表示装置側の表示部に出力した表示例である。３０２はユーザの操作に応じて表示されるユーザインターフェース（ＵＩ）であるところのメニューアイコンであり、この項目を選択することにより、表示装置の各種機能を選択することが可能になる。メニューアイコン３０２を選択する（たとえばポインティングデバイスにより選択する）とアイコン３０３〜３０５を含むメニューが表示される。

画像選択アイコン３０３は、撮像装置５からの画像を表示するか蓄積されている画像を表示するかを切り替えるのに用いられる。画像補正アイコン３０４は、本実施形態における画像補正処理を選択するのに用いられる。画像補正アイコン３０４を選択することにより、図３の（Ｂ）に示すようなアイコン３１５〜３１９を含むメニューが提示され、各種の画像補正（明るさ調整、色バランス調整、コントラスト調整、フィルタ処理、色域選択）を選択することが可能になる。範囲指定アイコン３０５は画像中より切り出すべき所望の範囲を指定する操作を提供するものである。

図３の（Ｂ）において、表示３１０は画像補正アイコン３０４を選択することにより表示３０１から切り替わったものである。明るさアイコン３１５は表示画像全体の明るさを調整するためのものである。色バランスアイコン３１６は表示画像全体の色バランスを調整するためのものである。コントラストアイコン３１７は表示画像全体のコントラストを調整するためのものである。フィルタアイコン３１８は表示画像全体に対してフィルタ処理を施すためのものである。色域選択アイコン３１９は表示画像全体の色域を調整するためのものである。

例えば、明るさアイコン３１５が選択されると、図３（Ｃ）の表示３２０に示す用に明るさ調整のためのユーザインターフェースを含む画像に切り替わり、明るさの調整が可能となる。輝度低下アイコン３２１は画面全体を暗くしたい際に選択するものであり、輝度上昇アイコン３２２は画面全体を明るくしたい際に選択するものである。バーアイコン３２３は画面全体の輝度レベルの状態を表し、ユーザが直接このバーアイコン３２３を操作することによっても、画面全体の輝度レベルを段階的に変更することが可能である。キャンセルアイコン３２４は輝度変更（明るさの変更）を実行しないことを指示するためのアイコンである。輝度変更許可アイコン３２５は輝度変更（明るさの変更）を実行を指示するためのアイコンである。

図４は第１実施形態における撮像装置５に含まれる画像処理部１の詳細を表すブロック図である。

図４において、制御用シーケンサ４００は、ネットワーク制御部３０内の処理性能判断部３１と通信して、表示装置側から要求される表示処理を実現する。制御用シーケンサ４００は、そのために、画像処理部１内の各部に対し、１垂直同期期間中に１つのフレーム画像に対し任意の処理を時系列的に複数回処理するための適切な動作指示を与える。ここで、画像処理部１内の各部とは、画像読出しＤＭＡ部４１０、前段セレクタ部４１１、前段デマルチプレクサ部４１２、画像補正実行部４１３、後段セレクタ部４１９、後段デマルチプレクサ部４２０、コーデック部４２１、コーデック用ＤＭＡ部４２３、ワークメモリ用ＤＭＡ部４２２である。

フレームバッファ４０１は現像処理部２３から出力される動画像データを１フレーム単位で蓄積する。画像読出しＤＭＡ部４１０は、制御用シーケンサ部４００の指示に応じて、フレームバッファ４０１もしくはワークメモリ４２５のいずれかより任意の画角の画像フレームデータを読み出す。前段セレクタ部４１１は、制御用シーケンサ部４００の指示に応じて、画像読出しＤＭＡ部４１０からの画像フレームデータ出力と後段デマルチプレクサ部４２０からの画像フレームデータ出力のいずれかを選択的に前段デマルチプレクサ部４１２に出力する。前段デマルチプレクサ部４１２は、前段セレクタ部４１１から出力される画像フレームデータを制御用シーケンサ部４００の指示に応じて画像補正実行部４１３内の各処理部に選択的に出力する。

画像補正実行部４１３では複数の画像補正処理（４１４〜４１８）が並行して動作する。輝度補正部４１４は、画像データの輝度（Ｙ）信号を調整して画像の明るさを変更する。色補正部４１５は、画像データの色差（Ｃｂ／Ｃｒ）信号を調整して画像の色バランスを変更する。γ補正部４１６は、画像データのトーンカーブに対しγ補正を掛けて画像のコントラストを変更する。フィルタ処理部４１７は、画像データに対しフィルタ処理を掛けて画像の輪郭強調や符号化容量低減の為のアンシャープマスクを行う。色空間変換部４１８は、画像データのｂｉｔ数変更を実行したり、カラーマトリクス係数による画像の色調の変更を実行する。なお、経路４２６を選択することにより、補正の施されない画像データを後段セレクタ部４１９へ供給することが可能である。

後段セレクタ部４１９は画像補正実行部４１３内の各処理部（４１４〜４１８）から出力される画像フレームデータを、制御用シーケンサ部４００の指示により選択的に後段デマルチプレクサ部４２０に出力する。後段デマルチプレクサ部４２０は後段セレクタ部４１９から出力される画像フレームデータを、制御用シーケンサ部４００の指示により、コーデック部４２１、ワークメモリ用ＤＭＡ部４２２、或いは前段セレクタ部４１１のいずれかに出力する。

コーデック部４２１は後段デマルチプレクサ部４２０から出力される画像フレームデータをＭＪＰＥＧやＭＰＥＧ２やＭＰＥＧ４などのフォーマットで符号化する。ワークメモリ用ＤＭＡ部４２２は、後段デマルチプレクサ部４２０から出力される画像フレームデータをワークメモリ４２５に転送（ＤＭＡ転送）する。コーデック用ＤＭＡ部４２３はコーデック部４２１から出力される符号化されたデータをデータバッファ４２４に転送（ＤＭＡ転送）する。データバッファ４２４はコーデック部４２１で符号化されたデータを蓄積し、ネットワーク制御部３０の要求に応じて蓄積されたデータを出力する。ワークメモリ４２５には後段デマルチプレクサ部４２０から出力される画像フレームデータが一時的に保管される。ワークメモリ４２５に保管された画像フレームデータは、制御用シーケンサ部４００の指示に応じた再処理のために、或いはその画像フレーム中の任意のエリアに対して再度異なる画像補正処理を施すために用いられる。

なお、フレームバッファ４０１、ワークメモリ４２５、データバッファ４２４のそれぞれは、画像処理部のそれ以外の構成要素が１つのＩＣの中で実現される場合に、それらと同一のＩＣ上のオンチップメモリとして構成することも可能である。或いは、ＩＣの外部でそのＩＣと接続されるメモリデバイス（例えばＳＤＲ（Single Data Rate）又はＤＤＲ（Double Data Rate）のＳＤＲＡＭ（シンクロナスＤＲＡＭ）など）として実現することも可能である。また、そのメモリもそれぞれを別のメモリデバイス上に配することや１つの同じメモリデバイス上に配置するなど、様々な構成をとることが可能であることは当業者には明らかであろう。

図５は本実施形態における画像処理部１の各処理部における内部動作を表す図である。図５は、現像処理部２３から出力され、フレームバッファ４０１に蓄積された１垂直期間のフレーム画像に対して補正処理を実行する場合を示している。すなわち、１垂直期間の１フレーム画像がフレームバッファ４０１に格納されてから当該フレーム画像に対する補正処理を行う場合が示されている。しかしながら、現像処理部２３が出力しフレームバッファ４０１にフレーム画像を書き込み始めるのとほぼ同時に最初の補正処理を実行するように構成することも可能である。その場合、画像処理部１による遅延時間がより短縮されることになる。なお、図５に関する詳細な説明は後述する。

次に、図２を参照して、第１実施形態による撮像装置と表示装置の動作を説明する。図２は本実施形態による撮像装置５と表示装置６１、６２、６３による処理を説明するフローチャートである。なお、本実施形態では、１台の撮像装置に３台の表示装置が接続された場合の動作について説明するが、本発明がこのような構成に限定されるものではないことは言うまでもない。

表示装置６１が撮像装置５に対してアクセスし、通信が確立すると（ステップＳ２０１、Ｓ２２１）、表示装置６１と撮像装置５の間で設定情報の通信が行われ、撮像装置５に表示装置６１の設定情報が格納される（ステップＳ２０２、Ｓ２２２）。設定情報としては、表示装置６１で表示可能な画像のＸＹ画素数（解像度で表される場合もある）、符号化フォーマット、転送レートなどを含む）等が含まれる。より詳細に説明すると、まず表示装置６１側から当該装置の設定情報が撮像装置５に対して送信される。撮像装置５は、その送信データをネットワークインターフェイス部３２で受信し、受信した設定情報が正しいかどうかを表示装置６１に対して確認するために、受信した内容（設定情報）をそのまま表示装置６１に送信する。表示装置６１は受信した内容が送信した内容と合っているかどうかを判断し、問題が無ければ処理開始を示すコマンド（図２ではＯＫ信号）を送信する。

処理開始を示すコマンドを受けた撮像装置５は、処理性能判断部３１でそれらの送信データを元に撮像部２及び制御用シーケンサ部４００に対する設定を判断する（ステップＳ２０３）。そして、撮像部２及び制御用シーケンサ部４００に対し画像出力を行うように指示する（ステップＳ２０４）。この指示を受けて画像処理部１による画像の出力が開始され（ステップＳ２０５）、通信部３とネットワーク４を経由して表示装置６１に対して動画像が出力される。出力された画像はステップＳ２２３、Ｓ２２４において表示装置により表示される。

最初に出力される動画像に対する画像処理部１の設定は、動画像に対して何の画像補正も行わずに出力するものとする。すなわち、フレームバッファ４０１に蓄えられた１垂直期間のフレーム画像は、画像読出しＤＭＡ部４１０ですべて読み出され、前段セレクタ部４１１から前段デマルチプレクサ部４１２を経由して画像補正実行部４１３に入力される。画像補正実行部４１３内部においては、前段マルチプレクサ部４１２から後段セレクタ部４１９に直接出力する経路４２６が選択される。また、後段デマルチプレクサ部４２０からの出力はコーデック部４２１に供給されるように設定される。このように処理動作が選択されることにより、通信部３とネットワーク４を経由して、表示装置６１に対して何も画像補正が行われない符号化後の動画像が出力されることになる。

なお、本実施形態において処理性能判断部３１は通信部３のネットワーク制御部３１の中にあるとしたがこれに限られるものではない。例えば、処理性能判断部３１を画像処理部１の中に配することや、画像処理部１の制御用シーケンサ部４００に組み込まれた機能の一部として実装すること等も可能であり、その実装位置は制限されるものではない。

表示装置６２、６３が上記接続手順をそれぞれ行った場合も、いずれの表示装置も画像補正処理を要求していないため、制御用シーケンサ部４００は上記のデータフロー処理を維持すればよい。従って、本例のこの時点では、通信部３は３台の表示装置に対し同じ符号化動画像を配信することになる。

次に、ユーザが表示装置を操作して補正処理を要求した場合の表示装置と撮像装置５の通信動作について説明する。以下では表示装置６１より補正処理が要求された場合を例にあげて説明する。

撮像装置５から出力される動画像データを受信した表示装置６１は、受信した動画像に対して伸張処理を行い、表示装置６１上の表示画面上にこれを表示する（ステップＳ２２３、Ｓ２２４）。図３の（Ａ）に示す表示３０１は、ユーザが表示装置６１に対し、動画像上にメニューアイコン３０２、画像選択アイコン３０３、画像補正アイコン３０４、範囲指定アイコン３０５を表示させた場合の表示例である。例えば、ユーザがこの動画像を見てもう少し明るくしたいと思った場合は、画像補正アイコン３０４を選択することで、図３（Ｂ）の表示３１０に画面が切り替わる。この表示においてユーザが明るさアイコン３１５を選択すると、図３（Ｃ）に示す表示３２０に画面が切り替わる。

ユーザがバーアイコン３２３を選択し操作する毎（或いは輝度低下アイコン３２１、輝度上昇アイコン３２２を操作する毎）に、表示装置６１は撮像装置５に対して画像補正項目と補正量を送信する。この処理は、ステップＳ２２５、Ｓ２２６、Ｓ２３１、Ｓ２３２、Ｓ２３３に対応する。この情報を受信した撮像装置５は、受信した情報が正しいかどうかを表示装置６１に対し確認するために受信した設定をそのまま送信する（ステップＳ２０６）。表示装置６１は受信した内容が送信した内容と合っているかどうかを判断し、問題が無ければ処理開始を示すコマンド（本実施形態ではＯＫ信号）を送信する。処理開始を示すコマンドを受けた撮像装置５は、ネットワーク制御部３０において受信データの内容を判断する。そして、その情報が画像補正にかかわるものであると判断した場合（ステップＳ２０７）にはステップＳ２０８において制御用シーケンサ４００を介して画像処理装置１に画像補正処理を実行させる。

上記のように画像の明るさを補正した場合（ステップＳ２３１）は、処理性能判断部３１において補正項目及び補正量から制御用シーケンサ部４００に対する設定が判断され、制御用シーケンサ部４００に対して設定が指示される。これにより、表示装置６１に送信される動画像のみ明るさが補正された動画像が配信されることになる（ステップＳ２０８）。また、画角が指示された場合（ステップＳ２３２）は指示された画角に応じて画像が出力される（ステップＳ２０９）がこの処理の詳細は第２実施形態で説明する。また、ステップＳ２３３により画像制御情報（画像出力停止、画像切換え等）が送信された場合は、ステップＳ２１０でそれに対応した画像制御が行われる。

次に表示装置６１におけるユーザ操作と同様に、表示装置６２を使用しているユーザが色バランスを変える設定を要求し、表示装置６３を使用しているユーザがフィルタによる画像補正を要求した場合における画像処理部１の内部動作について説明する。この場合、要求に応じて色バランスを変更した画像を表示装置６２に対して、フィルタ処理を施した画像を表示装置６３に対して送信する必要がある。すなわち、要求された処理を画像に対して施して複数の処理後の画像を取得し、それらを夫々の要求元に送信する必要がある。以下、図５を参照して、そのような画像処理及び送信処理が本実施形態によっていかにして実現されるかを説明する。

現像処理部２３から出力される現像処理済みのフレーム画像５１０は、フレームバッファ４０１の任意のエリアＡに、Ｎフレーム書き込み画像５１１として書き込まれる。さらに次のフレーム画像５３０は、フレームバッファ４０１の任意のエリアＢに、Ｎ＋１フレーム書き込み画像５３２として書き込みが行われる。このように交互にフレームバッファ４０１の異なるエリアに対して書き込み処理を行い、その時点で書き込み処理を行っていないほうのエリア内に書き込まれているフレーム画像（Ｎ−１フレーム画像５１２、Ｎフレーム画像５３１）に対しては画像補正を行う。このように制御することにより、一定間隔で送られてくるフレーム画像を逐次処理することが可能になる。なお、フレーム現像処理画像５１０、５３０は１垂直期間であるところの約１／３０ｍｓの期間内に現像処理部２３から出力される。

制御用シーケンサ部４００は画像読出しＤＭＡ部４１０に対し、少なくとも現像処理部２３がフレーム画像を出力するよりも早いスピードで、フレーム画像を読み出すように指示する。すなわち現在接続されている表示装置（接続されている表示装置の台数は処理性能判断部３１において判断される）から独立した要求（異なる要求）がきた場合にそれらをすべて処理できるスピードでフレーム画像を読み出すように指示する。本実施形態においては３台の表示装置が接続されており、図５に示すように１垂直期間中に３種類の補正処理後の画像データが得られるように動作することになる。以下、図５に示された動作をより詳細に説明する。なお、以下に説明する画像処理部１の各部の動作は制御用シーケンサ部４００からの指示によって実現されるものである。

画像データＤＭＡ部４１０は、エリアＢに格納されているＮ−１フレーム画像５１２を読み出し（フレーム読出し処理５１３）、表示装置６１から要求された輝度補正を行うためのフレーム画像として前段セレクタ部４１１に転送する。前段セレクタ部４１１は、画像読出しＤＭＡ部４１０からのデータを選択し、入力されたフレーム画像を前段デマルチプレクサ部４１２に対して出力する。前段デマルチプレクサ部４１２は、入力したフレーム画像を輝度補正部４１４に対して出力し、フレーム輝度補正処理５１４が実行される。輝度補正部４１４で輝度補正処理されたフレーム画像は、後段セレクタ部４１９に出力される。後段セレクタ部４１９は、輝度補正部４１４から入力した、輝度補正処理されたフレーム画像を後段デマルチプレクサ部４２０に出力する。後段デマルチプレクサ部４２０は輝度補正処理されたフレーム画像をコーデック部４２１に出力する。コーデック部４２１は、制御用シーケンサ部４００から指示されたフォーマットで画像符号化を実施（フレーム符号化処理５１５）し、輝度補正されたフレーム符号化画像をワークメモリ用ＤＭＡ部４２３に対して出力する。ワークメモリ用ＤＭＡ部４２３がＮ−１フレームのフレーム符号化画像をデータバッファ４２４に対して記録する処理を開始すると、制御用シーケンサ部４００はネットワーク制御部３０に対し表示装置６１への動画像符号化データの通信許可信号を出力する。ネットワーク制御部３０はこの通信許可信号に応じて、データバッファ４２４に格納された動画像符号化データの表示装置６１への通信を開始する。

制御用シーケンサ部４００はコーデック部４２１の符号化処理を監視する。そして、Ｎ−１フレーム画像に対するフレーム符号化処理５１５が終了したことを検出すると、画像読出しＤＭＡ部４１０に対し、表示装置６２により要求される色補正を施すためのフレーム画像としてＮ−１フレーム画像５１２を読み出すように指示する。画像読出しＤＭＡ部４１０はフレーム読出し処理５１６を実行し、読み出されたフレーム画像は、前段セレクタ部４１１と前段デマルチプレクサ部４１２を経由して色補正部４１５に入力される。色補正部４１５ではフレーム画像に対して色補正処理５１７を実行する。色補正処理５１７によって色補正処理されたフレーム画像は、後段セレクタ部４１９及び後段デマルチプレクサ部４２０を経由してコーデック部４２１に入力される。コーデック部４２１は、制御用シーケンサ部４００から指示されたフォーマットで画像符号化（フレーム符号化処理５１８）を行い、処理結果を色補正されたフレーム符号化画像としてデータバッファ用ＤＭＡ部４２３に出力する。データバッファ用ＤＭＡ部４２３が色補正されたフレーム符号化画像をデータバッファ４２４に対して記録する処理を開始すると、制御用シーケンサ部４００はネットワーク制御部３０に対して表示装置６２への動画像符号化データの通信許可信号を出力する。ネットワーク制御部３０はこの通信許可信号に応じて、データバッファ４２４に格納された動画像符号化データの表示装置６２への通信を開始する。

制御用シーケンサ部４００はコーデック部４２１の符号化処理を監視する。そして、色補正されたフレーム画像の符号化処理５１８が終了したことを検出すると、画像読出しＤＭＡ部４１０に対し、表示装置６３により要求されるフィルタ処理を施すためのフレーム画像としてＮ−１フレーム画像５１２を読み出すように指示する。フレーム読出し処理５１９において画像読出しＤＭＡ部４１０が読み出したＮ−１フレーム画像５１２は、前段セレクタ部４１１と前段デマルチプレクサ部４１２を経由して、今度はフィルタ処理部４１７に入力される。フレームフィルタ処理５２０においてフィルタ処理部４１７で処理されたフレーム画像は、フィルタ処理されたフレーム画像として、後段セレクタ部４１９及び後段デマルチプレクサ部４２０を経由してコーデック部４２１に入力される。コーデック部４２１は、制御用シーケンサ部４００から指示されたフォーマットで画像符号化を行い（フレーム符号化５２１）、処理結果をフィルタ処理されたフレーム符号化画像としてデータバッファ用ＤＭＡ部４２３に出力する。データバッファ用ＤＭＡ部４２３がフィルタ処理されたフレーム符号化画像をデータバッファ４２４に対して記録する処理を開始すると、制御用シーケンサ部４００はネットワーク制御部３０に対し表示装置６３への動画像符号化データの通信許可信号を出力する。ネットワーク制御部３０はこの通信許可信号に応じて、データバッファ４２４に格納された動画像符号化データの表示装置６３への通信を開始する。

以上説明したように、第１実施形態によれば、フレーム画像読出しから画像補正を経て符号化を行うに至るまで処理が、画像処理部１の内部接続を時系列的に切替えながら１垂直期間内に複数回実行される。そして、この複数回処理が垂直期間毎（１フレームごと）に繰り返されることにより、連続した動画像符号化ファイルを複数同時に出力することが可能になっている。

また、第１実施形態によれば、撮像装置５内にストレージ部３３を備えている。このため、ネットワークに画像を出力するだけでなく、デジタルカメラやデジタルビデオカメラのように自ら撮影したカメラ動画像を任意の画像処理を施して蓄積すると同時にネットワーク経由で外部表示装置に対し、任意の動画像を出力することも可能になる。

なお、上記実施形態では３つの接続先に同時に異なる画像補正を行った結果を送信する場合を例にあげたが、画像送信先の接続数に合わせて処理数を変えることは、処理周波数の高速化などにより実現可能である。さらに、省電力化のための方策として、１垂直期間内に一種類の処理しかしない場合と複数種類の処理を行う場合で、処理性能判断部３１や制御用シーケンサ４００からの指示により、画像処理部１の動作周波数を切り替えるようにしてもよい。或いは、常に高速な処理周波数で画像処理部１を動作させておき、各処理部毎に、１垂直期間内において処理を行わない期間にその動作を停止させることも考えられる。

［第２実施形態］
第１実施形態においては、同じ画像に対して３つの接続先に同時に異なる画像補正を行った場合の処理について説明を行った。そして、第１実施形態では書く出力先に対して１種類の画像処理を施して出力する処理を説明したが、出力先の表示装置からの要求によっては複数種類の画像処理を施す必要が生じる。例えば、輝度補正＋フィルタ処理、輝度補正＋所望の画角による切り出し等である。第２実施形態においては、このような複合された処理を実現する構成について説明する。

第１実施形態と同様に撮像装置５と複数の表示装置がネットワークを介して接続される（図１）。図６は第２実施形態における画像処理部１の各処理部の動作を説明する図である。図７は第２実施形態におけるネットワーク接続可能な表示装置側の表示例を示す図である。

図７の（Ａ）において、表示９０１はフレーム画像全体を表示している場合のＵＩ表示例であり、範囲指定アイコン３０５を選択することにより表示９０１上に切り抜き領域を示す枠９０２が表示されている。ユーザが枠９０２の位置及び大きさを操作し、任意のエリアを選択した後、枠位置固定を指示するためのＯＫアイコン９１０を選択すると、当該表示装置に対しては枠９０２内の動画像のみが伝送されることになる。

第１実施形態と同様に３つの表示装置６１、６２、６３が接続された場合を例にあげて説明する。例えば、図７の（Ｂ）の表示において、
・表示装置６１がカメラ画像全体（９２０）に対し輝度補正を施すことを要求し、
・表示装置６２がカメラ画像の一部分（９２１）に輝度補正とフィルタ処理を施すことを要求し、
・表示装置６３がカメラ画像の一部分（９２０）に色空間変換処理とフィルタ処理を施すことを要求してきた場合を考える。

そのような場合、処理性能判断部３１は要求画角の重なりや要求画像補正の内容を判断して、最も効率の良い内部処理を制御用シーケンサ部４００に対して指示する。上記の例においては、表示装置６１の要求する画角内９２０に表示装置６２の要求する画角９２１が含まれており、さらに画像補正処理においても、同じ輝度補正処理が含まれている。このため、一度フレーム画像全体に対し画像補正処理を行ってワークメモリ４２５に蓄積し、その後処理対象部分（部分画像９２１）を個別に読み出して処理を行うようにシーケンスを決定するべく判断する。また、表示装置６３はフレーム画像全体表示の中から指定された一部分のみを複数回の画像補正を施した形での動画配信を要求している。このような場合、指定された一部分の画角９２２自体は表示装置６１の画角９２０内に入っているが、補正処理の要求内容が異なるため、個別の読出しから補正、圧縮処理を行うように処理性能判断部３１によって判断される。

図６を参照して、上記要求に対応した画像処理部１の動作を詳細に説明する。なお、以下の各部の処理動作は制御用シーケンサ部４００からの指示により実行される。また、図６ではエリアＡにＮフレーム画像を書き込み、エリアＢに書き込まれたＮ−１フレーム画像を処理する様子を示したが、エリアＡ，Ｂへの書込み、読出し（処理）が交互に行われるのは図５により説明したとおりである。

まず、画像読出しＤＭＡ部４１０は、フレーム読出し処理８１３において、Ｎ−１フレーム画像８１２全体を読み出す。読み出されたフレーム画像は前段セレクタ部４１１と前段デマルチプレクサ部４１２を経由して輝度補正部４１４に入力され、輝度補正処理８１４が実行される。輝度補正部４１４にて輝度補正処理されたフレーム画像は、後段セレクタ部４１９と後段デマルチプレクサ部４２０を経由して、ワークメモリ用ＤＭＡ部４２２に入力される（ワークメモリ書き込み処理８１５）。

ワークメモリ４２５への輝度補正されたフレーム画像の書き込み処理８１５が終了すると、ワークメモリ読出し処理８１６が実行される。すなわち、画像読出しＤＭＡ部４１０は、ワークメモリ４２５に格納されたフレーム画像のうちの表示装置６１によって要求された画角９２０に対応する画像を輝度補正画像として読み出す。本例では、表示装置６１が指示する画角９２０は全フレーム分の画像である。ワークメモリ読出し処理８１６において画像読出しＤＭＡ部４１０によってワークメモリ４２５から読み出された輝度補正画像は、経路４２６、後段セレクタ部４１９、後段デマルチプレクサ部４２０を経て、そのままコーデック部４２１に供給される。輝度補正画像はコーデック部４２１において符号化処理８１７が施された後、符号化された輝度補正画像としてデータバッファ用ＤＭＡ４２３によりデータバッファ４２４に書き込まれる。ワークメモリ用ＤＭＡ部４２３が符号化画像をデータバッファ４２４に対して記録する処理を開始すると、制御用シーケンサ部４００はネットワーク制御部３０に対し表示装置６１への動画像符号化データの通信許可信号を出力する。

次に、制御用シーケンサ部４００はコーデック部４２１の符号化処理８１７を監視し、符号化処理８１７が終了したことを検出する。すると、画像読出しＤＭＡ部４１０に対して、ワークメモリ４２５に格納されたフレーム画像のうちの表示装置６２によって要求された画角９２１に対応する画像を読み出すように指示する。これにより、表示装置６２により要求されているフィルタ処理用の画像として、ワークメモリ４２５内に存在する輝度補正されたフレーム画像から、表示装置６２の要求する画角９２１（指定領域）に相当する部分画像データが読み出される。

画像読出しＤＭＡ部４１０によって読み出された部分画像データは、前段セレクタ部４１１、前段デマルチプレクサ部４１２を経て、フィルタ処理部４１７に入力される。こうして、ワークメモリ４２５より読み出された指定領域に対応する輝度補正済みの部分画像データに対してフィルタ処理８２１が施される。フィルタ処理された指定領域の部分画像データ８２１は、コーデック部４２１で表示装置６２に応じた符号化処理８２２が施された後、コーデック用ＤＭあ部４２３によりデータバッファ４２４に書き込まれる。この連続処理により、画角が重なり合い同じ補正処理が含まれる場合に、処理の共有化を実現することが出来る。

次に、表示装置６３が要求する画像処理は、指定領域に対する色空間変換処理とフィルタ処理であり、上述した輝度補正は含まれない。従って、新たにＮ−１フレーム画像８１２から処理対象となる部分画像データを読み出すことになる。従って、まず、表示装置６３の要求する画角９２２に相当する部分画像データが、画像読出しＤＭＡ部４１０によりＮ−１フレーム画像８１２から読み出される（指定領域読出し処理８３０）。読み出された部分画像データは前段セレクタ部４１１と前段デマルチプレクサ部４１２を経由して色空間変換部４１８に入力され、所定の変換処理が行われる。色空間変換処理部で処理された部分画像データは、後段デマルチプレクサ部４２０により、再度前段セレクタ部４１１に転送され、フィルタ処理部４１７へ入力される。これにより、当該部分画像データにたしいて２つ目の処理であるフィルタ処理８２２が施されることになる。こうして色空間変換処理とフィルタ処理が施された部分画像データは、後段セレクタ部４１９と後段デマルチプレクサ部４２０によりコーデック部４２１に入力されて符号化処理８３４が施される。その後、データバッファ用ＤＭＡ４２３経由でデータバッファ４２４に入力される。続いて制御用シーケンサ部４００は表示装置６３の要求する画角９２２に相当する画像の中から、最初に読み出された画像に続く部分を、画像読出しＤＭＡ部４１０によりＮ−１フレーム画像８１２から所定量読み出し、上記処理を繰り返す。この連続処理を繰り返すことにより、１つの領域指定されたフレーム画像に対し、複数の補正処理を実行することが出来る。

［第３実施形態］
第１実施形態及び第２実施形態においては、画像処理部１の内部構成が図４に表されるように各画像補正処理が並行に配置され、デマルチプレクサ部により指定された補正処理に画像データを配分するような構成になっていた。しかしながら、このような構成をとった場合、制御用シーケンサ部４００のデータフロー管理が複雑になり、処理時間が増加する可能性がある。

第３実施形態は上記問題点を解決すべく、画像補正実行部４１３を変形した例を説明する。第３実施形態では、図８に示すように、画像補正実行部１００１内の各処理部をパイプライン的に直列に接続する。そして、各処理部の前段に各補正処理を行うか行わないかを示すフラグと各種補正量を示すパラメータを付加するフラグ処理部１０１０を設けることで、データフロー管理の簡略化と処理時間の短縮を図る。

図８は第３の実施形態における画像処理部１の詳細を表すブロック図である。図８において、制御シーケンサ部１０００は、各ＤＭＡ部に対する読出し／書き込みエリアの設定や、フラグ処理部１０１０に対するフラグ付加指示やコーデック部４２１に対する符号化方式の切替え等の処理を行う。画像補正実行部１００１はパイプライン的に接続された複数の補正処理ブロックを含む。セレクタ部１００３は、画像データに付加されているフラグを判断し、画像読出しＤＭＡ部４１０から出力される画像データとデマルチプレクサ１００４から出力される画像データのいずれかを選択し、画像補正実行部１００１に出力する。

デマルチプレクサ１００４は画像補正実行部１００１から出力される画像データに付加されているフラグを判断し、入力されたデータを、コーデック部４２１、ワークメモリ用ＤＭＡ部４２２、或いはセレクタ部１００３のいずれかに出力する。フラグ処理部１０１０は、制御用シーケンサ部１０００の指示により、画像データに対して、画像補正実行部１００１内のどの処理を行うかを指示するためのフラグを付加するとともに、指定した補正処理に対する補正量を示すパラメータを付加する。

輝度補正部１０１１は、フラグ処理部１０１０によって付加されたフラグを判断し、輝度補正処理実行フラグが立っていれば輝度補正処理を実行し、該フラグが立っていなければ次の色補正処理部１０１２にデータを出力する。色補正部１０１２は、フラグ処理部１０１０によって付加されるフラグを判断し、色補正処理実行フラグが立っていれば輝度補正処理を実行し、該フラグが立っていなければ次のγ補正部１０１３にデータを出力する。γ補正部１０１３はフラグ処理部１０１０によって付加されたフラグを判断し、γ補正処理実行フラグが立っていればγ補正処理を実行し、該フラグが立っていなければ次のフィルタ処理部１０１４にデータを出力する。フィルタ処理部１０１４はフラグ処理部１０１０によって付加されたフラグを判断し、フィルタ処理実行フラグが立っていればフィルタ処理を実行し、該フラグが立っていなければ次の色空間変換処理部１０１５にデータを出力する。色空間変換部１０１５は、フラグ処理部１０１０によって付加されたフラグを判断し、色空間変換処理実行フラグが立っていれば色空間変換処理を実行し、フラグが立っていなければ次のデマルチプレクサ１００４にデータを出力する。
図９は第３実施形態における画像処理部１の各処理部における内部動作を説明する図である。以下、図８で説明した構成による、第３実施形態の画像処理部１の内部動作について説明する。なお、以下では、異なる２つの表示装置からの要求を処理する場合を例にあげる。例えば、「所定の輝度補正を行ってフレーム画像全体を表示する」という要求と、「前記所定の輝度補正を行った後に、フィルタ処理が施された、指定画角の画像表示する」という要求（但し両要求の輝度補正内容は同一とする）である。
制御用シーケンサ部１０００は、処理性能判断部３１から２つの異なる表示装置からの画角範囲や補正処理内容についての情報を取得し、処理スケジュールを決定する。制御用シーケンサ１０００は、現像処理部２３からＮフレーム画像の１垂直期間の出力が開始されるとフレームバッファ４０１の一方のエリア（エリアＡ）にＮフレーム画像の書き込みを開始する。そして、この書き込みの開始に応じて、フレームバッファ４０１の他方のエリア（エリアＢ）からのＮ−１フレーム画像５１２の読出しを画像読出しＤＭＡ部４１０に対して指示する。この指示に応じて、画像読出しＤＭＡ部４１０はＮ−１フレーム画像を読み出す（Ｎ−１フレーム読出し処理１１１３）。読み出されたフレーム画像は、セレクタ部１００３を経由してフラグ処理部１０１０に入力される。

フラグ処理部１０１０は、制御用シーケンサ部１０００からの指示により、入力されたフレーム画像の先頭に「画像全体に輝度補正処理のみを行った後にワークメモリ４２５に蓄積する処理」を指示するためのフラグと、輝度補正量を示すパラメータを付加する。そして、画像補正実行部１００１へ、上記フラグとパラメータが付加されたフレーム画像を供給する。画像補正実行部１００１においては、まず、輝度補正部１０１１にフレーム画像が供給されることになる。輝度補正部１０１１は、入力されたフレーム画像の先頭に付加されているフラグを調べ、輝度補正を行うか否かを判定すると共に、輝度補正を行う場合は画像のどの部分を処理するかを判定する。この例では、画像全体に輝度補正処理を行う旨のフラグが立っているので、指定されたパラメータに応じた輝度補正処理を当該フレーム画像全体に対して行う（Ｎ−１フレーム輝度補正処理１１１４）。

輝度補正されたフレーム画像は次の補正処理である色補正処理部１０１２に入力される。本例では、フラグ処理部１０１０で付加されたフラグにおいて色補正処理を行うフラグは立っていないため、何も処理をせずに後段のγ補正処理部１０１３に出力される。同様にγ補正処理部１０１３及びフィルタ処理部１０１４及び色空間処理部１０１５においても、処理の実行を示すフラグが立っていないため、それぞれの補正処理は行われず、輝度補正されたフレーム画像がデマルチプレクサ部１００４に出力されることになる。ワークメモリ４２５に蓄積するフラグが設定されているため、デマルチプレクサ部１００４は輝度補正されたＮ−１フレーム画像をワークメモリ用ＤＭＡ部４２２に出力する。

ワークメモリ用ＤＭＡ部４２２では、入力されたフレーム画像をワークメモリ４２５に書き込む（ワークメモリ書き込み処理１１１５）。

制御用シーケンサ部１０００は、このワークメモリ書き込み処理１１１５の動作の完了を監視し、書き込み完了を検出すると画像読出しＤＭＡ部４１０に対してワークメモリ４２５内のフレーム画像の読出しを指示する。画像読出しＤＭＡ部４１０はワークメモリ４２５より、ワークメモリ書き込み処理１１１５で書き込まれたフレーム画像を読み出す（ワークメモリ読出し処理１１１６）。ワークメモリ読出し処理１１１６で読み出されたフレーム画像はセレクタ部１００３を経てフラグ処理部１０１０へ供給される。フラグ処理部１０１０は、制御用シーケンサ部１０００の指示により、画像補正処理なしでコーデック処理を行う旨を示すフラグをフレーム画像に付加し、画像処理実行部１００１に供給する。この結果、画像処理実行部１００１では何の補正処理も行われずに（全ての処理部をそのまま通過して）デマルチプレクサ部１００４にフレーム画像が出力され、コーデック部４２１に入力される。コーデック部４２１は入力されたフレーム画像を符号化する（符号化処理１１１７）。

制御用シーケンサ部１０００は、コーデック部４２１による符号化処理１１１７が終了したことを検出すると、続いて異なる表示装置のための画像データの準備を開始する。まず、ワークメモリ書き込み処理１１１５でワークメモリ４２５に書き込まれた輝度補正されたフレーム画像から、処理性能判断部３１により指定された画角の画像データを切り出すように、画像読出しＤＭＡ部４１０に対して指示する。上記指示を受けた画像読出しＤＭＡ部４１０は指定された領域の画像をワークメモリ４２５より読み出す（ワークメモリ指定領域読出し処理１１２０）。読み出された画像データはセレクタ部１００３を経てフラグ処理部１０１０に入力される。

フラグ処理部１０１０は、制御用シーケンサ部１０００からの指示により、フィルタ処理とコーデック処理を行うフラグとフィルタ処理の処理量を示すパラメータを指定領域画像１１２０の先頭に付加し、画像補正実行部１００１へ供給する。輝度補正処理部１０１１、色補正処理部１０１２及びγ処理部１０１３においては、フラグが立っていないため、何の処理も行われない。フィルタ処理部１０１４では、パラメータの指示に従ってフィルタ処理が施され（ワークメモリ指定領域フィルタ処理１１２１）、処理結果を色空間変換部１０１５に対して出力する。色空間変換部１０１５では何の処理も行われず、デマルチプレクサ部１００４経由でコーデック部４２１に対して指定領域フィルタ処理画像１１２１が入力され、指定された方式で符号化処理が行われる。

以上説明したように、フラグ処理部によって付加された処理指定のためのフラグとパラメータを各処理部が自動的に判断し、データフロー処理を行うことにより、処理判断の簡略化による処理時間短縮を図ることが出来る。

［第４実施形態］
第３実施形態においては、画像補正実行部１００１内の各補正処理部をパイプライン的に直列に接続し、その前段に各補正処理を行うか行わないかを示すフラグと各種補正量を示すパラメータを付加するフラグ処理部１０１０を設けた。そして、このような構成の採用により、データフロー管理の簡略化と処理時間の短縮を図った。しかしながら各補正処理部の配置を適切にし、且つフラグ処理を行う部分を制御用シーケンサ部に組み込むことにより、画像処理部１の内部構成をさらに簡略化することが出来る。第４実施形態では、図１０に示すように、制御用シーケンサ部１２００に画像補正実行部内の各補正処理部の機能をＯＮ／ＯＦＦする機能を組み込み、画像補正実行部１２０１内の各補正処理部をパイプライン的に直列に接続する。このようにしてフラグ処理部を排除することで、更なるチップ面積の省スペース化と省電力化を図ることが可能になる。

図１０は第４実施形態における画像処理部１の詳細を表すブロック図である。図１０において、制御用シーケンサ部１２００は、各ＤＭＡ部に対する読出し／書き込みエリアの設定や、各補正処理部の機能のＯＮ／ＯＦＦや、コーデック部４２１に対する符号化方式の切替えを指示する等の処理を行う。画像補正実行部１２０１はパイプライン的に接続された各処理ブロックを有する。輝度補正部１２１１は、制御用シーケンサ部１２００からの指示に従って輝度補正処理を実行するか否かを決定する。色補正部１２１２は制御用シーケンサ部１２００からの指示によって色補正処理を実行するか否かを決定する。γ補正部１２１３は、制御用シーケンサ部１２００からの指示によってγ補正処理を実行するか否かを決定する。色空間変換部１２１４は制御用シーケンサ部１２００からの指示によって色空間変換処理を実行するか否かを決定する。フィルタ処理部１２１５は制御用シーケンサ部１２００からの指示によってフィルタ処理を実行するか否かを決定する。なお、１２１１〜１２１５の各部において、制御用シーケンサ部１２００より処理を実行しない旨（機能のＯＦＦ）の指示を受けた場合は、何の処理も施さずに後段へデータを渡す。

図１１は第４実施形態における画像処理部１の各処理部における内部動作を表す図である。

図１０に示した構成において、３つの表示装置からの要求を処理する場合の第４実施形態による画像処理部１の内部動作について図１１を参照して説明する。

制御用シーケンサ部１２００は処理性能判断部３１からの情報により、３つの異なる表示装置からの補正処理内容についての処理手順を判断する。本例では、第１の表示装置が輝度補正を要求し、第２の表示装置が色補正を要求し、第３の表示装置がγ補正とフィルタ処理を要求した場合を説明する。

まず制御用シーケンサ部１２００は、第１の表示装置用に、輝度補正処理部１２１１に対し輝度補正の実行と処理量パラメータを指示する。一方、色補正処理部１２１２、γ処理部１２１３、色空間変換部１２１４及びフィルタ処理部１２１５には処理を実行せずに次の処理部にデータを転送する指示を与える。現像処理部２３からＮ＋１フレーム画像の１垂直期間の出力が開始されると、フレームバッファ４０１の一方のエリア（エリアＢ）に書き込みが開始される（５１２）。この書き込みの開始とともに、フレームバッファ４０１の他方のエリア（エリアＡ）からのＮフレーム画像５３１の読出しが画像読出しＤＭＡ部４１０に対して指示される。画像読出しＤＭＡ部４１０はＮフレーム画像５３１を読出し（Ｎフレーム読出し処理１３３３）、輝度補正部１２１１に入力する。

輝度補正部１２１１は、制御用シーケンサ部１２００から輝度補正処理を行うという指示がきているため、指定されたパラメータに応じた輝度補正処理を入力された画像データに対して行う（Ｎフレーム輝度補正処理１３３４）。Ｎフレーム輝度補正処理１３３４によって輝度補正された画像は次の補正処理である色補正処理部１２１２に入力されるが、制御用シーケンサ部１２００から動作ＯＦＦの指示が来ているため、何の処理も受けずに後段のγ補正処理部１２１３に出力される。同様にγ補正処理部１２１３、色空間処理部１２１４及びフィルタ処理部１２１５においても、制御用シーケンサ部１２００から動作ＯＦＦが指示されているため、フレーム画像は何の処理も受けずにコーデック部４２１に出力される。コーデック部４２１は、輝度補正された画像を、制御用シーケンサ部１２００で指示された符号化方式に基づいて符号化する（Ｎフレーム符号化処理１３３５）。得られた符号化データはデータバッファ用ＤＭＡ部４２３によりデータバッファ４２４に書き込まれ、ネットワーク制御部３０により表示装置に対して伝送処理が行われる。

コーデック部４２１による符号化処理１３３５が終了したことを検出した制御用シーケンサ部１２００は、第２の表示装置用の画像データを生成するために、色補正処理部１２１２に対し色補正の実行と処理量パラメータを指示する。また、他の処理部（輝度補正処理部１２１１、γ処理部１２１３、色空間変換部１２１４、フィルタ処理部１２１５）には動作をＯＦＦする指示を与える。続いて、フレームバッファ４０１のエリアＡからＮフレーム画像５３１の読出しを画像読出しＤＭＡ部４１０に対して指示する。画像読出しＤＭＡ部４１０はＮフレーム画像を読み出し（Ｎフレーム読出し処理１３３６）、読み出したフレーム画像を輝度補正処理部１２１１に入力する。

輝度補正処理部１２１１では、制御用シーケンサ部１２００から動作ＯＦＦの指示が来ているため、何も処理をしない状態で後段の色補正処理部１２１２にデータを渡す。色補正処理部１２１２においては、制御用シーケンサ部１２００から色補正処理を行う旨の指示がきているため、指定されたパラメータに応じた色補正処理を入力された画像データに対して実施する（Ｎフレーム色補正処理１３３７）。色補正されたＮフレーム画像は次の補正処理であるγ補正処理部１２１３に入力されるが、γ補正部１２１３には制御用シーケンサ部１２００から動作ＯＦＦの指示が来ているため、何も処理されずに出力される。同様に色空間処理部１２１４及びフィルタ処理部１２１５においても、制御用シーケンサ部１２００から動作ＯＦＦが指示されているため、それぞれの処理は行われずにコーデック部４２１に出力される。コーデック部４２１は、制御用シーケンサ部１２００で指示された符号化方式に基づき、入力された、色補正されたＮフレーム画像を符号化し（符号化処理１３３８）、Ｎフレーム符号化データを生成される。Ｎフレーム符号化データはデータバッファ用ＤＭＡ部４２３によりデータバッファ４２４に書き込まれ、ネットワーク制御部３０により表示装置に対して伝送処理が行われる。

コーデック部４２１による符号化処理が終了したことを検出した制御用シーケンサ部１２００は、更に第３の表示装置のための画像データを生成する。この目的のために、γ補正処理部１２１３とフィルタ処理部１２１５に対しγ補正の実行と処理量パラメータ及びフィルタ処理の実行と処理量パラメータを指示する。他の処理部（輝度補正部１２１１、色補正部１２１２、色空間変換部１２１４）には動作ＯＦＦの指示を与える。続いて、フレームバッファ４０１のエリアＡからＮフレーム画像５３１の読出しを画像読出しＤＭＡ部４１０に対して指示する。画像読出しＤＭＡ部４１０はＮフレーム画像を読み出し（Ｎフレーム読出し処理１３４０）、読み出したフレーム画像を輝度補正部１２１１に入力する。

輝度補正部１２１１では制御用シーケンサ部１２００から動作ＯＦＦが指示されているため、何も処理をしない状態で後段の色補正部１２１２に入力する。同様に色補正部１２１２においても、制御用シーケンサ部１２００から動作ＯＦＦが指示されているため、何も処理をしない状態で後段のγ補正部１２１３に画像データを渡す。γ補正部１２１３においては、制御用シーケンサ部１２００からγ補正処理を実行する旨が指示されているため、指定されたパラメータに応じたγ補正処理を入力された画像データに対して実行する（Ｎフレームγ補正処理１３４１）。γ補正された画像データは逐次、次の色空間変換部１２１４に入力される。色空間変換部１２１４では制御用シーケンサ部１２００から動作ＯＦＦが指示されているため、入力した画像データをそのまま次のフィルタ処理部１２１５に逐次出力する。

フィルタ処理部１２１５においては、制御用シーケンサ部１２００からフィルタ処理を実行する旨が指示されているため、指定されたパラメータに応じたフィルタ処理を入力された画像データに対して行う（Ｎフレームフィルタ処理１３４２）。フィルタ処理部１２１５から出力される画像データは逐次コーデック部４２１に入力され、制御用シーケンサ部１２００で指示された符号化方式に基づき符号化されてＮフレーム符号化データ１３４３が生成される。Ｎフレーム符号化データ１３４３はデータバッファ用ＤＭＡ部４２３によりデータバッファ４２４に書き込まれ、ネットワーク制御部３０により表示装置に対して伝送処理が行われる。

以上説明したように、最適化された各補正処理部の配置に基づくパイプライン処理方式を実現することで、第１実施形態と同様の効果を実現しながらチップ面積の省スペース化と省電力化を図ることが可能になる。

なお、第４実施形態においても、第３実施形態に示したようなワークメモリ４２５に関連する構成を具備することにより、所望の画角で切り出す処理を実現するようにできる。
［第５実施形態］
第１実施形態及び第２実施形態においては、画像処理部１の内部構成が図４に表されるように各画像補正処理が並行に配置され、デマルチプレクサ部により指定された補正処理に画像データを配分するような構成になっていた。また、第３実施形態及び第４実施形態においては、各処理部とフラグ処理部をパイプライン的に接続し補正処理を行う構成になっていた。

第５実施形態においては、各補正処理部やバッファに対するデータ入出力を、制御用シーケンサによるＤＭＡで管理することにより、上記各実施形態と同様の動作、効果を実現する。

図１２は第５の実施形態における画像処理部１の詳細を表すブロック図である。図１２において、制御用シーケンサ部１４００は、処理性能判断部３１からの指示により、各処理部やバッファに対するデータの入出力をＤＭＡにより管理する。データバス１４１０は各処理部やバッファを接続する。フレームバッファ１４１１は現像処理部２３から出力される１垂直期間のフレーム画像を蓄積し、画像処理部１内の他の処理部とはＤＭＡインターフェイスを介して接続される。ワークメモリ１４１２は任意の処理部で処理された画像データを一時的に記録するワークメモリであり、画像処理部１内の他の処理部とはＤＭＡインターフェイスを介して接続される。データバッファ１４１３はコーデック部１４２５から出力される符号化データを蓄積し、蓄積した符号化データをネットワーク制御部３０に出力する。データバッファ１４１３は、画像処理部１内の他の処理部とＤＭＡインターフェイスを介して接続されている。

画像補正実行部１４１４に含まれる輝度補正部１４２０は、色補正部１４２１、γ補正部１４２２、フィルタ処理部１４２３及び色空間変換部１４２４と、コーデック部１４２５のデータの入出力はＤＭＡインターフェイスを介して行われる。ＤＭＡＣ部１４２６はダイレクトメモリアクセスコントローラで、制御用シーケンサ１４００からの設定により画像処理部１内の各ＤＭＡインターフェイスに対する優先順位やデータ入出力順序やアドレス追い越しを監視し、ＤＭＡ動作の実行／停止を制御する。

図１３は第５の実施形態における画像処理部１の各処理部における内部動作を表す図である。上記構成において３つの表示装置からの要求を処理する場合の第５実施形態による画像処理部１の内部動作について、図１２と図１３を用いて説明する。

制御用シーケンサ部１４００は１つ目の表示装置用に、フレームバッファ４０１Ａに蓄積されているＮフレーム画像５３１をＤＭＡ転送で任意のデータ量単位で逐次読出し、輝度補正部１４２０に直接入力する。あらかじめ制御用シーケンサ部１４００からの指示で動作設定された輝度補正部１４２０では、ＤＭＡ転送で入力されたデータを任意のデータ量単位で処理した後、処理済のデータを逐次コーデック部１４２５に対しＤＭＡ転送で出力する。コーデック部１４２５においては入力された任意のデータ量単位で符号化し、データバッファ部１４１３に対しＤＭＡ転送する。これら一連のＤＭＡ転送をＮフレーム画像すべてに対しての処理が終了するまで続けられる。

制御用シーケンサ部１４００はＮフレーム画像すべての符号化処理１５３５の終了を検出すると、２つ目の表示装置のための処理を行う。すなわち、制御用シーケンサ部１４００は、再びフレームバッファ４０１Ａに蓄積されているＮフレーム画像５３１をＤＭＡ転送で任意のデータ量単位で逐次読出し、色補正部１４２１に直接入力する。あらかじめ制御用シーケンサ部１４００からの指示で動作設定された色補正部１４２１では、ＤＭＡ転送で入力されたデータを任意のデータ量単位で処理した後、逐次コーデック部１４２５に対しＤＭＡ転送で出力する。コーデック部１４２５においては入力された任意のデータ量単位で符号化し、データバッファ部１４１３に対しＤＭＡ転送する。これら一連のＤＭＡ転送をＮフレーム画像すべてに対しての処理が終了するまで続けられる。

更に、制御用シーケンサ部１４００はＮフレーム画像すべての符号化処理１５３８の終了を検出すると、３つ目の表示装置用に再びフレームバッファ４０１Ａに蓄積されているＮフレーム画像５３１をＤＭＡ転送で任意のデータ量単位で逐次読出す。そして、読み出した画像データをγ補正部１４２２に直接入力する。あらかじめ制御用シーケンサ部１４００からの指示で動作設定されたγ補正部１４２２では、ＤＭＡ転送で入力されたデータを任意のデータ量単位で処理した後、処理済のデータを逐次フィルタ処理部１４２３に対しＤＭＡ転送で出力する。あらかじめ制御用シーケンサ部１４００からの指示で動作設定されたフィルタ処理部１４２３では、ＤＭＡ転送で入力されたデータを任意のデータ量単位で処理した後、逐次コーデック部１４２５に対しＤＭＡ転送で出力する。コーデック部１４２５においては入力された任意のデータ量単位で符号化し、データバッファ部１４１３に対しＤＭＡ転送する。これら一連のＤＭＡ転送をＮフレーム画像すべてに対しての処理が終了するまで続けられる。

上記一連の処理を垂直期間毎に繰り返し、ワークメモリ１４１３に蓄積された符号化データをネットワーク制御部３０に出力することで、３つの異なる符号化動画像をネットワーク経由で出力することが可能になる。

なお、第５実施形態では、ＤＭＡ制御により画像処理されたデータをワークメモリ１４１２に保持し、これを別の処理部へ転送することによっても複数の処理が施された画像データを生成することができる。また、ワークメモリ１４１２に記憶された画像データより指定された範囲を切り出してコーデック部１４２５に供給するようにすれば、所望の画角に切り出した符号化画像データを得ることができる。

以上説明したように、各処理部をＤＭＡ転送によって管理することによっても、他の実施形態と同様の効果を実現することが可能である。

［第６実施形態］
第１実施形態及び第２実施形態においては、画像処理部１の内部構成が図４に表されるように各画像補正処理が並行に配置され、デマルチプレクサ部により指定された補正処理に画像データを配分するような構成になっていた。また、第３実施形態及び第４実施形態においては、各処理部とフラグ処理部をパイプライン的に接続し補正処理を行う構成になっていた。また、第５実施形態においては、各補正処理部をＤＭＡで管理する事で、上記各実施形態と同様の動作、効果を実現していた。

第６実施形態においては、各補正処理部に対し、読み込んだ画像データを同時に複数の補正処理部及びコーデック部に供給する手段（同時出力制御部１６１０）を設ける。この構成により、上記各実施形態と同様の動作、効果を実現するとともに、所定単位時間あたりの補正・符号化処理効率の向上と同様の処理を行った際のメモリ使用効率の低下を実現する事を可能にする。

図１４は第６実施形態における画像処理部１の詳細を表すブロック図である。図１４において、制御用シーケンサ部１６００は、処理性能判断部３１からの指示により、各処理部やバッファに対するデータの入出力をＤＭＡにより管理する。データバス１６３０は各処理部やバッファを接続する。現像処理部２３から出力される１垂直期間のフレーム画像は、画像入力部１６１３に入力され、画像入力部ＤＭＡ１６３１によりフレームバッファ１６２６に書き込まれる。フレームバッファ１６２６は、画像処理部１内の他の処理部とメモリコントローラ１６２８を介して接続される。ワークメモリ１６２５は任意の処理部で処理された画像データを一時的に記録するワークメモリであり、画像処理部１内の他の処理部とはメモリコントローラ１６２８を介して接続される。データバッファ１６２７はコーデック部１６２１から出力される符号化データを蓄積し、蓄積した符号化データをネットワーク制御部３０内の処理性能判断部３１に出力する。なお、データバッファ１６２７も、画像処理部１内の他の処理部とメモリコントローラ１６２８を介して接続されている。

画像補正実行部１６４０に含まれる輝度補正部１６１４、色補正部１６１５、γ補正部１６１６及びフィルタ処理部１６１７と、同時出力制御部１６１０と、コーデック部１６２１のデータの入出力はＤＭＡ１６３３〜１６３７を介して行われる。各ＤＭＡはダイレクトメモリアクセスコントローラであり、制御用シーケンサ１６００からの設定により、画像処理部１内の各ＤＭＡに対する優先順位やデータ入出力順序やアドレス追い越しを監視し、ＤＭＡ動作の実行／停止を制御する。

同時出力制御部１６１０と画像補正実行部１６４０に含まれる１６１４〜１６１７の各処理部とコーデック部１６２１はデータバス１６３０に対するＤＭＡ接続とは別に独自インターフェイス１６４１で接続されている。同時出力制御部のＤＭＡ１６３２によりワークメモリ１６２５、フレームバッファ１６２６及びデータバッファ１６２７から画像データが読み出される。読み出された画像データは、制御用シーケンサ１６００からの設定により選択された各処理部及びコーデック部１６２１のうちの複数の処理部に同時に供給される。また、各処理部及びコーデック部１６２１のいずれかの処理部によって画像処理された画像データは、上記独自インターフェイス１６４１を経由して同時出力制御部１６１０に供給される。同時出力制御部１６１０は、制御用シーケンサ１６００からの設定により選択された、各処理部及びコーデック部１６２１のうちの複数の処理部に、画像データを同時に供給する。

図１５は同時出力制御部１６１０の内部構成を表すブロック図である。図１５において、入力調停部１８２１は同時出力制御部ＤＭＡ１６３２及び各処理部１６３３〜１６３７の出力部１８０１〜１８０６と接続されている。なお、出力部１８０１〜１８０６はそれぞれ同時出力制御部ＤＭＡ１６３２、輝度補正部１６１４、色補正出力部１６１５、γ補正出力部１６１６、フィルタ処理部１６１７、及びコーデック部１６２１の出力部である。入力調停部１８２１と各出力部１８０１〜１８０６との間においては、データ出力用ポート１８２４と出力BUSY信号１８２３が接続されている。なお、出力BUSY信号は、入力調停部１８２１から各出力部１８０１〜１８０６に出力される。

出力調停部１８２０は同時出力制御部ＤＭＡ１６３２及び各処理部１６３３〜１６３７の入力部１８１１〜１８１６と接続されている。なお、入力部１８１１〜１８１６はそれぞれ同時出力制御部ＤＭＡ１６３２、輝度補正部１６１４、色補正出力部１６１５、γ補正出力部１６１６、フィルタ処理部１６１７、及びコーデック部１６２１の入力部である。出力調停部１８２０と各入力部１８１１〜１８１６との間においては、データ出力用ポート１８３１と入力BUSY信号１８３０が接続されている。なお、入力BUSY信号は、各入力部１８１１〜１８１６から出力調停部１８２０に出力される。

図１４に示した独自インターフェース１６４１は、これらのデータ出力用ポート１８２４、出力BUSY信号１８２３、データ入力用ポート１８３１及び入力BUSY信号１８３０によって構成される。

入力調停部１８２１は制御用シーケンサ１６００からの設定によりデータを入力する出力部を選択する。また、入力調停部１８２１は、出力調停部１８２０に入力される各入力BUSY信号１８３０の状況を判断しながら出力BUSY信号１８２３を制御する事により各出力部のデータ出力を制御する。データ出力用ポート１８２４から入力されたデータは入力調停部１８２１を経由して一時的にデータ保持部１８２２に保持される。そして、出力調停部１８２０に接続された各入力部１８１１〜１８１６のうち、制御用シーケンサ１６００からの設定により選択された複数の出力部に対し、データ保持部１８２２に保持されたデータが出力調停部１８２０を経由して出力される。

なお、上記では、独自インターフェイス１６４１は入力用ポートと出力用ポートが分離している構成になっているが、入出力ポートが一体化している場合においても、時分割制御を行う事により、同様の機能を実現する事が可能である。

また、この同時出力制御部１６１０においては、制御用シーケンサ１６００からの設定により各入出力用ポートのＯＮ／ＯＦＦが可能な構成になっている。このため、入力部及び出力部の数を増減させる際においても、あらかじめ多くのポートを持つ構成にしておき、未使用のポートをＯＦＦする事で動作させるべきポート数に対応させることができる。また、出力調停部１８２０に複数のコーデック部を接続することにより、よりたくさんのネットワーク出力要求に対応することが可能になる。

図１６は第６実施形態における画像処理部１の各処理部における内部動作を表す図である。上記構成において３つの表示装置からの要求を処理する場合の第６実施形態による画像処理部１の内部動作について、図１４〜図１６を用いて説明する。

制御用シーケンサ１６００は１つ目の表示装置用に、フレームバッファ１６２６のエリアＢに蓄積されている第Ｎフレームの画像（以下、Ｎフレーム画像という）１７１２を同時出力制御部ＤＭＡ１６３２の転送により入力する。この転送では、任意のデータ量単位でＤＭＡ出力部１８０１経由で同時出力制御部１６１０に逐次にＮフレームデータが入力される。そして、輝度補正部１６１４内の輝度補正入力部１８１２及びコーデック部１６２１のコーデック入力部１８１６に同じデータが出力される。あらかじめ制御用シーケンサ部１６００からの指示で動作設定された輝度補正部１６１４では、入力されたデータを任意のデータ量単位で処理した後、処理済のデータを逐次ワークメモリ１６２５に対しＤＭＡ転送で出力する。あらかじめ制御用シーケンサ部１６００からの指示で動作設定されたコーデック部１６２１は、入力された任意のデータ量単位で符号化を行い、結果をデータバッファ１６２７に対してＤＭＡ転送する。これら一連のＤＭＡ転送は、Ｎフレームの読出し画像１７１３すべてに対しての処理が終了するまで続けられる。

制御用シーケンサ１６００は、Ｎフレーム画像すべての輝度補正処理１７１４及び符号化処理１７１５の終了を検出すると、２つ目の表示装置用の処理を開始する。まず、制御用シーケンサ１６００は、ワークメモリ１６２５に蓄積されているＮフレームの輝度補正画像１７１６を色補正部ＤＭＡ１６３４の転送により、任意のデータ量単位で逐次読出し、色補正部１６１５に直接入力する。あらかじめ制御用シーケンサ部１６００からの指示で動作設定された色補正部１６１５は、ＤＭＡ転送で入力されたデータを任意のデータ量単位で色補正処理１７２１する。その結果は、色補正部出力部１８０３から逐次出力され、同時出力制御部１６１０に入力される。同時出力制御部１６１０は、あらかじめ制御用シーケンサ１６００により、当該データをコーデック部１６２１及びフィルタ処理部１６１７に対して出力するべく設定されている。よって、同時出力制御部１６１０は、色補正部出力部１８０３から入力されたデータを、コーデック部１６２１及びフィルタ処理部１６１７に対して出力する処理を行う。コーデック部１６２１は、入力された任意のデータ量単位で輝度／色補正画像データを符号化１７２３し、結果をＤＭＡ１６３７によりデータバッファ１６２７に転送する。これら一連のＤＭＡ転送がＮフレームの画像すべてに対しての処理が終了するまで続けられる。

フィルタ処理部１６１７は色補正処理部１６１５から入力された輝度／色補正画像について、任意のデータ量単位でフィルタ処理を行い、処理の完了したデータ１７２２を逐次ワークメモリ１６２５に対しＤＭＡ１６３７で転送する。転送されたデータは、ワークメモリ１６２５に、Ｎフレーム輝度／色補正／フィルタ処理画像１７２４として保持される。これら一連のＤＭＡ転送がＮフレーム輝度補正画像１７１６すべてに対しての処理が終了するまで続けられる。

更に、制御用シーケンサ部１６００はＮフレーム輝度補正画像１７１６すべての符号化処理１７２３及び色補正処理後のメモリ書き込み１７２４の終了を検出すると、３つ目の表示装置用の処理を開始する。まず、ワークメモリ１６２５に蓄積されているＮフレームの輝度／色補正／フィルタ処理画像１７２４をコーデック部ＤＭＡ１６３７により、任意のデータ量単位で逐次読出す（１７３０）。コーデック部１６２１は、読み出したＮフレームの輝度／色補正／フィルタ処理画像１７２４を符号化し、その結果をデータコーデック部ＤＭＡ１６３７を介してデータバッファ１６２７に転送する。これら一連のＤＭＡ転送がＮフレームの輝度／色補正／フィルタ処理画像１７２４すべてに対しての処理が終了するまで続けられる。

上記一連の処理を垂直期間毎に繰り返し、データバッファ１６２７に蓄積された符号化データをネットワーク制御部３０内の処理性能判断部３１に出力することで、３つの異なる符号化動画像をネットワーク経由で出力することが可能になる。

なお、第６実施形態において、コーデック部１６２１が１つの場合について説明してきたが、複数のコーデックをコーデック部１６２１と同様に接続することで、より多数のネットワーク要求に対して対応することが可能になる。

以上説明したように、第６実施形態では、同時出力制御部１６１０を設け、同じデータを複数の処理部、メモリ及びコーデック部に対し供給することを可能にした。これにより、上記各実施形態と同様の動作、効果を実現するとともに、所定単位時間あたりの補正・符号化処理効率の向上と同様の処理を行った際のメモリ使用効率の低下を実現することが可能になる。

［第７実施形態］
第６実施形態においては、画像処理部１の内部構成が図１４に表されるように各画像補正処理に対し、ＤＭＡによりデータを供給する構成とした。第７実施形態では、各画像補正処理を並行に配置し、デマルチプレクサ部により指定された補正処理に画像データを配分する構成をとると共に、各補正処理部に対して読み込んだ画像データを同時に複数の補正処理部及びコーデック部に供給する手段を設ける。この構成により第６実施形態と同様の動作、効果を実現する。

図１７は第７実施形態における画像処理部１の詳細を表すブロック図である。図１７において、制御用シーケンサ１９００は、処理性能判断部３１からの指示により、各処理部やバッファに対するデータの入出力を管理する。フレームバッファ１９０２には現像処理部２３から出力される１垂直期間のフレーム画像が画像入力部１９０１経由で蓄積される。ワークメモリ１９２５は任意の処理部で処理された画像データを一時的に記録するワークメモリであり、画像処理部１内の他の処理部とはワークメモリ書き込みＤＭＡ１９２２及び第２画像読出しＤＭＡ１９１０を介して接続される。データバッファ１９２４はコーデック部１９２１から出力される符号化データを蓄積し、蓄積した符号化データをネットワーク制御部３０内の処理性能判断部３１に出力する。

同時出力制御部１９１２と画像補正実行部１９１３に含まれる輝度補正部１９１４、色補正部１９１５、γ補正部１９１６及びフィルタ処理部１９１７と、コーデック部１９２１は第６実施形態同様独自インターフェイスで接続されている。第２画像出力ＤＭＡ１９１０は、ワークメモリ１９２５及びフレームバッファ１９０２から画像データを読み出し、制御用シーケンサ１９００の設定により選択された複数の処理部に同時に供給する。この画像データの供給の対象となる処理部は、ユニット１９１３内の複数の処理部１９１４〜１９１７及びコーデック部１９２１から選択された処理部である。また、処理部１９１４〜１９１７及びコーデック部１９２１のいずれかの処理部によって画像処理された画像データは、図１８で後述する入出力ポート（２１２４，２１３１）を経由して同時出力制御部１９１２に供給される。同時出力制御部１９１２は、処理部１９１４〜１９１７及びコーデック部１９２１の中から制御用シーケンサ１９００からの設定により選択された複数の処理部に同時に画像データを供給することができる。

図１８は同時出力制御部１９１２の内部構成を表すブロック図である。図１８において、出力部２１０１〜２１０６の各データ出力用ポート２１２４がデータ出力選択スイッチ（以下ＳＷ）２００１群にそれぞれ接続されている。出力部２１０１〜２１０６はそれぞれ、第２画像読出しＤＭＡ１９１０、輝度補正部１９１４、色補正出力部１９１５、γ補正出力部１９１６、フィルタ処理部１９１７及びコーデック部１９２１の出力部である。また、入力部２１１１〜２１１６の各データ入力用ポート２１３１がＳＷ２００１群にそれぞれ接続されている。入力部２１１１〜２１１６はそれぞれ、第２画像読出しＤＭＡ１９１０、輝度補正部１９１４、色補正出力部１９１５、γ補正出力部１９１６、フィルタ処理部１９１７及びコーデック部１９２１の入力部である。ＳＷ２００１群は各入出力部に対してクロスバースイッチ的な接続になっている。ただし、従来のクロスバースイッチとは異なり、各出力部からの１つの入力に対し、制御用シーケンサ１９００により指定された複数の入力部が出力先として指定されるような構成になっている。

図１９は第７実施形態における画像処理部１の各処理部における内部動作を表す図である。上記構成において３つの表示装置からの要求を処理する場合の第７実施形態による画像処理部１の内部動作について、図１７〜図１９を用いて説明する。

制御用シーケンサ部１９００はまず、１つ目の表示装置用に画像処理を行なう。まず、フレームバッファ１９０２のエリアＢに蓄積されている第Ｎフレームの画像（以下、Ｎフレーム画像という）２０１２を第２画像読出しＤＭＡ１９１０により任意のデータ量単位で逐次同時出力制御部１９１２に入力する。同時出力制御部１９１２は、輝度補正部１９１４内の輝度補正入力部２１１２及びコーデック部１９２１のコーデック入力部２１１６に同じデータを出力する。あらかじめ制御用シーケンサ１９００からの指示により動作設定された輝度補正部１９１４は、入力されたデータを任意のデータ量単位で処理し、処理済のデータをＤＭＡ１９２２により逐次ワークメモリ１９２５に転送する。また、あらかじめ制御用シーケンサ１９００からの指示で動作設定されたコーデック部１９２１は、入力された画像データを任意のデータ量単位で符号化し、結果をＤＭＡ１９２３を介してデータバッファ部１９２４に転送する。これら一連のＤＭＡ転送が、Ｎフレーム読出し画像２０１３すべてに対しての処理が終了するまで続けられる。

制御用シーケンサ部１９００はＮフレーム画像すべての輝度補正処理２０１４及び符号化処理２０１５の終了を検出すると、２つ目の表示装置用の処理を実行する。まず、ワークメモリ１９２５に蓄積されているＮフレーム輝度補正画像２０１６を第２画像読出しＤＭＡ１９１０の転送により任意のデータ量単位で逐次読み出し、色補正部１９１５に直接入力する。あらかじめ制御用シーケンサ部１９００からの指示で動作設定された色補正部１９１５は、ＤＭＡ転送で入力されたデータを任意のデータ量単位で色補正処理（２０２１）する。そして、その結果を、同時出力制御部１９１２に対して色補正部出力部２１０３から逐次に出力する。

同時出力制御部１９１２は、色補正出力部２１０３からのデータをコーデック部１９２１及びフィルタ処理部１９１７に出力するよう、あらかじめ制御用シーケンサ１９００により設定されている。よって、同時出力制御部１９１２は、色補正部出力部２１０３から入力されたデータを、コーデック入力部２１１６及びフィルタ処理入力部２１１５に出力する。コーデック部１９２１においては入力されたデータを任意のデータ量単位で符号化（２０２３）し、ＤＭＡ１９２３によりデータバッファ部１９２４に転送する。これら一連のＤＭＡ転送がＮフレーム画像すべてに対しての処理が終了するまで続けられる。

一方、フィルタ処理部１９１７は、入力された任意のデータ量単位でフィルタ処理（２０２２）を行い、処理の完了したデータ（Ｎフレーム輝度／色補正／フィルタ処理画像２０２２）をＤＭＡ１９２２により逐次ワークメモリ１９２５に転送する。こうして、ワークメモリ１９２５にＮフレーム輝度／色補正／フィルタ処理画像２０２４が保持される。これら一連のＤＭＡ転送がＮフレーム輝度補正画像２０１６すべてに対する処理が終了するまで続けられる。

更に、制御用シーケンサ１９００はＮフレーム輝度補正画像２０１６すべての符号化処理２０２３及び色補正処理後のメモリ書き込み２０２４の終了を検出すると、３つ目の表示装置用の処理を開始する。まず、ワークメモリ１９２５に蓄積されているＮフレーム輝度／色補正／フィルタ処理画像２０２４を第２画像読出しＤＭＡ１９１０により任意のデータ量で逐次読み出し（２０３０）コーデック部１９２１へ転送する。コーデック部１９２１は、転送されたデータに対して符号化を行い、符号化したデータをコーデック部ＤＭＡ１９２３を解してデータバッファ部１９２７に転送する。これら一連のＤＭＡ転送がＮフレーム輝度／色補正／フィルタ処理画像２０２４すべてに対しての処理が終了するまで続けられる。

上記一連の処理を垂直期間毎に繰り返し、データバッファ１９２４に蓄積された符号化データをネットワーク制御部３０内の処理性能判断部３１に出力することで、３つの異なる符号化動画像をネットワーク経由で出力することが可能になる。

以上説明したように、第７実施形態によれば、同時出力制御部１９１２を設け、同じデータを複数の処理部、メモリ及びコーデック部に対し供給することを可能にした。これにより、上記各実施形態と同様の動作、効果を実現するとともに、所定単位時間あたりの補正・符号化処理効率の向上と同様の処理を行った際のメモリ使用効率の低下を実現することが可能になる。

以上説明したように、各実施形態によれば、１垂直同期期間内に時分割的に複数の処理が可能になることで、複数の表示装置に対しリアルタイムで低遅延な動画像を伝送できる撮像装置を提供することが可能になる。特にインターネットを経由しないクローズドなネットワーク内においては、ネットワーク伝送における時間的遅延の影響をほとんど受けなくなる為、サーバを介した従来の画像配信システムと比較しても、よりリアルタイムな動画像伝送が可能になる。

また、各実施形態の撮像装置５では、非圧縮の動画像に対し直接画像補正処理を実行できる。そのため、一度圧縮されたりアナログ化された画像を伸張したりデジタル変換した後に画像処理するサーバを介したシステムに対して、より高画質な画像処理を施した動画像配信を実現できる。

また、各実施形態の撮像装置５では、複数の異なる表示装置に対し、それぞれ異なる画像補正処理と符号化処理を施して動画像伝送することが可能になる。そのため、表示装置の特性に応じた、且つ表示装置を見ているユーザの任意の操作・設定に応じた動画像を伝送することが可能になる。

また、各実施形態の撮像装置５では、接続する表示装置の数や要求される処理の内容に応じて、１垂直同期期間内の処理数を可変にすることも可能である。その場合、処理数の少ない場合はより低い周波数で、処理数の多い場合はより高い周波数で動作させることにより、省電力を実現することが出来る。

また、各実施形態の撮像装置５では、撮像装置本体内外にストレージ手段を設けることにより基本となる動画像を蓄積しながら、外部の表示装置からの要求に応じた任意の画角切出しや画像補正を施した動画像の配信が可能になる。

また、各実施形態の撮像装置５では、同じ処理ユニットを複数並列に実装することなしに複数の動画像伝送が可能になるので、基板もしくはチップ面積を小さくし、消費電力等も削減できるので、結果として小型のネットワークカメラを提供できるようになる。

また、第６及び第７実施形態の撮像装置５では、メモリを経由させずに複数の処理ユニットに対し同時に同じデータを供給することが可能になるため、より低い周波数で複数の処理を行った動画像の転送が可能になり、省電力を実現することが出来る。

また、第６及び第７実施形態の撮像装置５では、メモリを経由させずに複数の処理ユニットに対し同時に同じデータを供給することが可能になる。そのため、１垂直同期期間内の処理数が容易に増加でき、より多くのネットワーク要求に対応した動画像を転送することが可能になる。

また、第６及び第７実施形態の撮像装置５では、メモリを経由させずに複数の符号化処理ユニットに対し同時に同じデータを供給することが可能になる。そのため、１垂直同期期間内の符号化処理量が増加し、より多くのネットワーク要求に対応した動画像を転送することが可能になる。

なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

第１実施形態における撮像装置のハードウエア構成ならびにシステムの構成を示す図である。第１実施形態による撮像装置と表示装置の動作を示すフローチャートである。第１実施形態におけるネットワーク接続可能な表示装置における表示例を示す図である。第１実施形態による画像処理部の詳細を表すブロック図である。第１実施形態による画像処理部の各処理部における内部動作を表す図である。第２実施形態による画像処理部の各処理部における内部動作を表す図である。第２実施形態におけるネットワーク接続可能な表示装置側の表示例を示す図である。第３実施形態による画像処理部の詳細を表すブロック図である。第３実施形態による画像処理部の各処理部における内部動作を表す図である。第４実施形態における画像処理部の詳細を表すブロック図である。第４実施形態における画像処理部の各処理部における内部動作を表す図である。第５実施形態における画像処理部の詳細を表すブロック図である。第５実施形態における画像処理部の各処理部における内部動作を表す図である。第６実施形態における画像処理部の詳細を表すブロック図である。第６実施形態における同時出力制御部の詳細を表すブロック図である。第６実施形態における画像処理部の各処理部における内部動作を表す図である。第７実施形態における画像処理部の詳細を表すブロック図である。第７実施形態における同時出力制御部の詳細を表すブロック図である。第７実施形態における画像処理部の各処理部における内部動作を表す図である。

Claims

入力された画像データに対してそれぞれ異なる処理を実行する複数の画像処理手段と、
画像データを符号化する符号化手段と、
前記入力された各フレームの画像データを、複数の出力先からの要求に基づいて前記複数の画像処理手段より選択された画像処理手段において時系列的に処理させ、処理された画像データを前記符号化手段により符号化させることにより、前記複数の出力先からの要求に対応した複数の画像データをそれぞれ生成する生成手段とを備えることを特徴とするデータ処理装置。
前記生成手段で生成された複数の符号化データを前記複数の出力先のそれぞれに送信する送信手段を更に備えることを特徴とする請求項１に記載のデータ処理装置。
前記画像データを生成する撮像手段を更に備えることを特徴とする請求項１または２に記載のデータ処理装置。
前記出力先からの要求が複数の処理を要求する場合、前記一連の処理が、選択された画像処理手段で処理された画像データを一時的にメモリに保持し、該メモリに保持された画像データをさらに別の画像処理手段によって処理し、該別の画像処理手段によって処理が施された画像データを前記符号化手段により符号化することを特徴とする請求項１乃至３のいずれかに記載のデータ処理装置。
前記一連の処理が、選択された画像処理手段で処理された画像データを一時的にメモリに保持し、該メモリに保持された画像データから所望の部分画像を読み出して得られた画像データを符号化する処理を含み得ることを特徴とする請求項１乃至３のいずれかに記載のデータ処理装置。
前記メモリに保持された画像データを別の出力先に対する一連の画像処理のための画像データとして利用できることを特徴とする請求項４または５に記載のデータ処理装置。
前記一連の処理において、画像処理手段の選択はデマルチプレクサによって選択された処理ユニットへ画像データを送ることによりなされることを特徴とする請求項１乃至６のいずれかに記載のデータ処理装置。
前記複数の画像処理手段がパイプライン処理を可能に直列に接続されており、非選択の画像処理手段はデータをスルーさせることを特徴とする請求項１乃至６のいずれかに記載のデータ処理装置。
前記複数の画像処理手段の選択／非選択を示すフラグを画像データに付加し、各画像処理手段が該フラグを参照することにより処理を実行するか否かを決定することを特徴とする請求項８に記載のデータ処理装置。
出力先の要求に応じて、前記複数の画像処理手段に対して選択／非選択状態を設定する設定手段を更に備えることを特徴とする請求項８に記載のデータ処理装置。
入力された画像データに対してそれぞれ異なる処理を実行する複数の画像処理手段と、
画像データを符号化する符号化手段と、
前記複数の画像処理手段及び前記符号化手段の中から選択された複数の画像処理手段及び符号化手段に対し、同じ画像データを供給する同時出力手段と、
前記入力された各フレームの画像データを、前記複数の画像処理手段の中から複数の出力先からの要求に基づいて選択された画像処理手段と、前記符号化手段に対して前記同時出力手段から画像データを同時に供給させ、それにより画像処理と符号化処理を同じデータに対し同時に且つ時系列的に処理させて前記複数の出力先からの要求に対応した複数の画像データをそれぞれ生成する生成手段とを備えることを特徴とするデータ処理装置。
前記同時出力手段に対して複数の符号化手段を接続することで、複数の符号化データを前記複数の出力先のそれぞれに送信する送信手段を更に備えることを特徴とする請求項１１に記載のデータ処理装置。
前記複数の画像処理手段及び符号化手段における画像データの入出力方式において、異なる複数の画像データ入出力手段を備えることを特徴とする請求項１１または１２に記載のデータ処理装置。
前記同時出力手段において、前記複数の画像処理手段及び符号化手段からの出力データを任意の処理ブロック単位で保持する保持手段を有し、同時に出力する前記複数の画像処理手段及び符号化手段からの要求に応じて前記保持手段内の任意の処理ブロック単位のデータを出力することを特徴とする請求項１１に記載のデータ処理装置。
前記同時出力手段において、前記複数の処理ユニット及び符号化手段の出力信号ポートと、前記複数の画像処理手段及び符号化手段内の同時に入力する複数の入力信号ポートと、を接続するポート接続制御手段を有することを特徴とする請求項１１に記載のデータ処理装置。
入力された画像データに対してそれぞれ異なる処理を実行する複数の画像処理工程と、
画像データを符号化する符号化工程と、
前記入力された各フレームの画像データを、複数の出力先からの要求に基づいて前記複数の画像処理工程より選択された画像処理工程において時系列的に処理させ、処理された画像データを前記符号化工程により符号化させることにより、前記複数の出力先からの要求に対応した複数の画像データをそれぞれ生成する生成工程とを備えることを特徴とするデータ処理装置の制御方法。
入力された画像データに対してそれぞれ異なる処理を実行する複数の画像処理工程と、
画像データを符号化する符号化工程と、
前記複数の画像処理工程及び前記符号化工程の中から選択された複数の画像処理工程及び符号化工程に対し、同じ画像データを供給する同時出力工程と、
前記入力された各フレームの画像データを、前記複数の画像処理工程の中から複数の出力先からの要求に基づいて選択された画像処理工程と、前記符号化工程に対して前記同時出力工程から画像データを同時に供給させ、それにより画像処理と符号化処理を同じデータに対し同時に且つ時系列的に処理させて前記複数の出力先からの要求に対応した複数の画像データをそれぞれ生成する生成工程とを備えることを特徴とするデータ処理装置の制御方法。
請求項１６または１７に記載の制御方法をコンピュータに実行させするためのプログラム。
請求項１８に記載のプログラムを記憶した記憶媒体。