JP2016039587A - 画像処理装置及び撮像表示システム - Google Patents

Abstract

【課題】迷光を抑制しつつ、投影型表示装置から投影される画像を自由な形状で表示する画像処理装置及び撮像表示システムを提供する。【解決手段】ピコプロジェクターからの照射光を所定形状の開口部より射出する表示システムに用いることが可能な画像処理装置であって、開口部の外側に至る照射光の輝度が、開口部の内側に至る照射光の輝度より低くなるように、撮像信号に基づく画像信号ＤＨ２に所定形状に応じたマスク画像ＭＤを合成する画像処理を施して画像信号Ｄを生成し、画像信号をピコプロジェクターに出力する。【選択図】図１３

Description

本発明は、画像処理装置及び撮像表示システムに関する。

従来から、液晶プロジェクター等の投射型表示装置からの照射光を筐体に形成された開口部から射出させ、照射光に応じた画像を投影する表示システムが知られている（例えば特許文献１）。

特開２０１２−２４０４６７号公報

ところで、投射型の表示システムでは一般に、光源からの光を液晶パネルを介して照射光として射出するため、液晶パネルの形状と同じ矩形の画像が投影される。一方、筐体の内部に投射型表示装置を設置し、その照射光を筐体に形成された開口部から射出する場合には、デザイン性を高める観点から、開口部の形状を矩形ではない自由な形状にしたいという要望がある。
しかしながら、開口部の形状を液晶パネルの形状と相違させると、照射光の全てが開口部を通過するのではなく、筐体の内部の開口部の周辺部分で照射光が反射して迷光が生じ、それが乱射することで本来投影する画像に乱射光が漏れこみ、表示に悪影響を及ぼすおそれがある。

本発明は、上述した事情に鑑みてなされたものであり、迷光を抑制しつつ、投影型表示装置から投影される画像を自由な形状で表示可能とすることを解決課題の一つとする。

以上の課題を解決するために、本発明に係る画像処理装置の一態様は、投射型表示装置からの照射光を所定形状の開口部より射出する表示システムに用いることが可能な画像処理装置であって、前記開口部の外側に至る前記照射光の輝度が、前記開口部の内側に至る前記照射光の輝度より低くなるように、入力信号に基づく表示画像に前記所定形状に応じた画像処理を施して画像信号を生成し、当該画像信号を前記投射型表示装置に出力する、ことを特徴とする。この発明によれば、開口部の外側に至る照射光の輝度が開口部の内側に至る照射光の輝度よりも低く設定されるので、開口部の外側に至る照射光が反射することで生じる迷光を抑制しつつ、所定形状に応じた画像を投影することが可能となる。なお、液晶プロジェクターやレーザープロジェクター等のプロジェクター（ピコプロジェクターを含む）は、投射型表示装置の一例である。また、上記表示システムとしては、各種の形態のヘッドアップディスプレイ（ＨＵＤ）や、背面投射型のプロジェクター方式による表示システムが例示される。

また、上述した画像処理装置の一態様において、前記所定形状に応じたマスク画像を取得するマスク画像取得部と、入力信号に基づく表示画像と前記マスク画像を合成して、前記画像信号を生成する画像合成部とを、備えるようにしてもよい。この発明によれば、入力信号に基づく表示画像に所定形状に応じたマスク画像を合成した画像信号を生成するので、画像信号が示す画像のうち開口部の外側に至る領域をマスク画像で覆うことが可能となる。なお、マスク画像取得部においては、あらかじめ記憶部に記憶されたマスク画像を読み出すことにより取得してもよいし、所定形状の座標などマスク画像の生成に必要な情報に基づいて生成されたマスク画像を取得してもよい。

この場合において、好ましくは、前記マスク画像の位置を示す制御情報に基づいて前記マスク画像の位置を調整して調整済マスク画像を生成する位置調整部を備え、前記画像合成部は、前記マスク画像の代わりに前記調整済マスク画像を用いて前記画像信号を生成するようにしてもよい。この発明によれば、表示システムにおいて、マスク画像の所定形状の位置が開口部の所定形状の位置とずれる場合に、マスク画像の位置を調整することが可能となる。

さらに好ましくは、前記制御情報を記憶する制御情報記憶部を備え、前記位置調整部は、前記制御情報記憶部から読み出した前記制御情報を用いて前記マスク画像の位置を調整するようにしてもよい。この発明によれば、例えば、表示システムの製造時に、マスク画像の位置を示す制御情報を生成して記憶部にあらかじめ記憶しておくことで、マスク画像の位置を開口部の所定形状の位置に近づけるように制御することができる。この結果、投射型表示装置の位置決めの精度を低くすることができ、表示システムを簡易に製造することが可能となる。

また、上述した画像処理装置の一態様において、前記所定形状は、複数種類の形状を含み、前記複数種類の形状に応じた前記マスク画像を記憶したマスク画像記憶部を備え、前記マスク画像取得部は、前記所定形状の種別を指定する指定情報に応じて前記マスク画像記憶部から前記マスク画像を読み出すことによって、前記所定形状に応じた前記マスク画像を取得する、ようにしてもよい。この発明によれば、複数種類の形状に応じたマスク画像のうち、開口部の形状に応じたマスク画像を取得することが可能となる。このため、複数種類の形状の開口部のいずれにも対応可能な共通の表示システムが製造可能となり、開口部の形状ごとに表示システムを製造する場合と比較して、製造コストが低減される。

さらに、本発明に係る撮像表示システムの一態様は、上述したいずれかの態様に係る画像処理装置と、前記投射型表示装置と、被写体を撮像して得た撮像信号を前記入力信号として前記画像処理装置に出力する撮像装置とを、備えたことを特徴とする。この発明によれば、上記画像処理装置と同様の効果を得ることができる。

さらに、上述した撮像表示システムの一態様において、前記画像処理装置は、前記撮像信号に基づいて、前記投射型表示装置の各ラインで表示すべき画像を示す前記画像信号を生成する生成処理の後、当該画像信号を前記投射型表示装置に出力する画像信号生成部と、前記画像信号生成部が前記画像信号を前記投射型表示装置に出力するタイミングを制御するタイミング制御部とを備え、前記撮像信号のフレームの開始から、前記投射型表示装置に出力する前記画像信号のフレームの開始までの時間を位相差とし、前記撮像装置のフレームレートを第１フレームレートとし、前記投射型表示装置で表示可能な最高のフレームレートを第２フレームレートとしたとき、前記タイミング制御部は、前記位相差が所定時間より長い場合において、前記投射型表示装置のフレームレートが前記第２フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第１のタイミング制御と、前記位相差が、前記所定時間以下となった後において、前記投射型表示装置のフレームレートが前記第１フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第２のタイミング制御と、を実行可能である。
この発明によれば、撮像信号のフレームの開始から画像信号のフレームの開始までの時間である位相差が、所定時間よりも長い場合には、撮像装置よりも高いフレームレートである第２フレームレートで画像信号を出力することで、投射型表示装置のフレーム期間と撮像装置のフレーム期間との差分に相当する期間ずつ位相差を縮小する。そして、位相差が所定時間以下となった後は、投射型表示装置のフレームレートが撮像装置のフレームレートである第１フレームレートとなるようにすることで、画像信号を撮像信号に同期するように出力する。この結果、位相差が所定時間よりも大きい場合において、位相差が所定時間以下となるまでは、位相差を段階的に短くすることができ、位相差が所定時間以下に収束した後は当該位相差を維持することができる。よって、撮像から表示までの遅延時間を短縮することが可能となる。
なお、撮像装置が撮像信号を出力してから、画像信号を生成するまでの時間を画像処理時間としたとき、所定時間は画像処理時間であることが好ましい。

本発明の第１実施形態に係る撮像表示システム１の概略構成を示すブロック図である。 各左側後方領域撮像部１０−１、中央後方領域撮像部１０−２、及び右側後方領域撮像部１０−３について、車両Ａにおける配置例を示す図である。 車両Ａの車内における表示領域の配置例を示す図である。 左側表示部４０−１の構成例を示す図である。 中央表示部４０−２の構成例を示す図である。 撮像表示システム１の詳細な構成を示すブロック図である。 撮像信号ＤSと表示領域ＡDとの関係を説明するための説明図である。 撮像表示システム１の動作を説明するためのタイミングチャートである。 画像処理部２１の構成を示すブロック図である。 歪曲補正処理を説明するための説明図である。 トリミング領域の一例を示す図である。 トリミング処理後の画像の一例を示す図である。 左右反転処理によって生成された画像の一例を示す図である。 撮像信号ＤSLに基づく画像に対して施す拡大・縮小処理の概念図である。 水平方向縮小・拡大処理を説明するための概念図である。 垂直方向縮小・拡大処理を説明するための概念図である。 撮像信号ＤSLに基づく画像に対して施す拡大・縮小処理の概念図である。 水平方向縮小・拡大処理を説明するための概念図である。 垂直方向縮小・拡大処理を説明するための概念図である。 撮像信号ＤSLに基づく画像に対して施す拡大・縮小処理の概念図である。 水平方向縮小・拡大処理を説明するための概念図である。 垂直方向縮小・拡大処理を説明するための概念図である。 変倍率変更処理を説明するための概念図である。 画像生成処理後の画像信号ＤH2が示す画像の一例である。 マスク画像ＭＤについて説明するための図である。 マスク処理の第２態様に係る画像処理部２１Ａの主要部の構成例を示すブロック図である。 位置調整部２３１による処理を説明するための説明図である。 撮像表示システム１の動作を説明するためのタイミングチャートである。 表示領域ＡDを説明するための説明図である。 左側表示部４０−１の構成を示すブロック図である。 左側フロントＡピラー部ＦＰにおける画像信号ＤLの示す画像の表示例を示す図である。 撮像信号ＤSRに基づく画像に対して施す拡大・縮小処理の概念図である。 撮像信号ＤSRに基づく画像に対して施す拡大・縮小処理の概念図である。 撮像信号ＤSRに基づく画像に対して施す拡大・縮小処理の概念図である。 画像信号ＤH2の示す画像の一例を示す図である。 撮像信号ＤSCに基づく画像に対して施す拡大・縮小処理の概念図である。 撮像表示システム１の動作を説明するためのタイミングチャートである。 撮像表示システム１の動作を説明するためのタイミングチャートである。 撮像表示システム１の動作を説明するためのタイミングチャートである。 撮像表示システム１の動作を説明するためのタイミングチャートである。 撮像表示システム１の動作を説明するためのタイミングチャートである。 撮像表示システム１の動作を説明するためのタイミングチャートである。 従来例に係る撮像表示システムの動作を説明するためのタイミングチャートである。 本発明の第２実施形態に係る撮像表示システムの動作を説明するためのタイミングチャートである。 第２実施形態に係る撮像表示システムの動作を説明するためのタイミングチャートである。 第２実施形態に係る撮像表示システムの動作を説明するためのタイミングチャートである。

本発明を実施するための形態について図面を参照して説明する。ただし、各図において、各部の寸法及び縮尺は、実際のものと適宜に異ならせてある。また、以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

＜Ａ．第１実施形態＞
以下、本発明の第１実施形態に係る撮像表示システム１について説明する。

＜１．撮像表示システムの全体構成＞
図１は、撮像表示システム１の概略構成を示すブロック図である。この例の撮像表示システム１は、運転者が自動車や電車などの車両を運転する際に、車両の運行を補助するための画像を表示するシステムである。なお、撮像表示システム１の適用は、車両に限定されるものではないことは勿論であり、例えば、デザイン性が要求される商業施設における画像の表示に好適である。
図1に示すように、撮像表示システム１は、左側後方領域撮像部１０−１と中央後方領域撮像部１０−２と右側後方領域撮像部１０−３と、これら各撮像部から出力された各撮像信号ＤSL，ＤSC，ＤSRに対して画像処理を施して画像信号ＤL，ＤC，ＤRをそれぞれ生成する画像処理回路１００−１，１００−２，１００−３と、画像信号ＤL，ＤC，ＤRが示す画像を表示する左側表示部４０−１と中央表示部４０−２と右側表示部４０−３と、を備える。

さらに、撮像表示システム１は、その設定の変更や撮像信号ＤSの画像処理に関する指示等を入力するための操作部６０と、撮像信号ＤSL，ＤSC，ＤSRに基づく画像と合成されるマスク画像を記憶するフラッシュＲＯＭ(Read Only Memory)（マスク画像記憶部）７０と、外部装置とのインターフェース（Ｉ／Ｆ）９０と、撮像表示システム１全体の動作を制御する制御部５０と、を備える。操作部６０は表示装置と一体に構成されたタッチパネルである。運転者は、操作部６０から、例えば撮像信号ＤSに基づく画像をトリミングする処理について、トリミングの位置を指定する指示を入力することができる。また、撮像信号ＤSに基づく画像を複数の領域に分割した後に各領域を縮小又は拡大する処理について、縮小率及び拡大率を入力することができる。
なお、マスク画像を記憶する記憶装置としては、工場出荷時に書き換え可能なように、フラッシュＲＯＭ７０を採用する。

撮像表示システム１のうち、画像処理回路１００−１，１００−２，１００−３、フラッシュＲＯＭ７０、及び制御部５０の一部又は全部は「画像処理装置」の一例である。
なお、以下の説明において、左側後方領域撮像部１０−１と中央後方領域撮像部１０−２と右側後方領域撮像部１０−３を「撮像部１０」と総称する場合がある。同様に、左側表示部４０−１と中央表示部４０−２と右側表示部４０−３を「表示部４０」と総称し、画像処理回路１００−１，１００−２，１００−３を「画像処理回路１００」と総称する場合がある。

左側後方領域撮像部１０−１は車両の左側後方領域にある被写体を撮像し、中央後方領域撮像部１０−２は車両の後方領域にある被写体を撮像し、右側後方領域撮像部１０−３は車両の右側後方領域にある被写体を撮像することが可能である。
各左側後方領域撮像部１０−１、中央後方領域撮像部１０−２、及び右側後方領域撮像部１０−３について、車両における配置例を図２に示す。図２に示されるように、左側後方領域撮像部１０−１は車両Ａの左側フロントＡピラー部の外側表面付近（図示の例では従来の左サイドミラーが設けられる位置）に配置され、車両Ａの左側後方領域ＬRを撮像する。右側後方領域撮像部１０−３は車両Ａの右側フロントＡピラー部の外側表面付近（図示の例では従来の右サイドミラーが設けられた位置）に配置され、車両Ａの右側後方領域ＲRを撮像する。中央後方領域撮像部１０−２は車両Ａの後方端の車両幅方向における中点位置付近（図示の例ではバックウィンドウの下側）に配置され、車両の後方領域ＢRを撮像する。なお、図示の配置例は一例であり、本発明の趣旨を損なわない範囲で適宜変更され得る。例えば、左側後方領域撮像部１０−１及び右側後方領域撮像部１０−３を、車両Ａの前方の例えばヘッドライト脇に配置する構成を採用してもよい。この場合には、図示の例と比較してより広範囲の後方確認が可能となるため、より安全性が高まる。

左側表示部４０−１は従来の左サイドミラーの代わりに左側後方領域ＬRの画像を表示し、中央表示部４０−２は従来のバックミラーの代わりに後方領域ＢRの画像を表示するものである。また、右側表示部４０−３は従来の右サイドミラーの代わりに右側後方領域ＲRの画像を表示する。すなわち、各左側表示部４０−１、中央表示部４０−２、及び右側表示部４０−３は、各左側後方領域撮像部１０−１、中央後方領域撮像部１０−２、及び右側後方領域撮像部１０−３から出力される各撮像信号ＤSLに応じた画像、撮像信号ＤSCに応じた画像、撮像信号ＤSRに応じた画像（正確には、画像処理回路１００による画像処理を経た画像信号ＤLに応じた画像、画像信号ＤCに応じた画像、画像信号ＤRに応じた画像）をそれぞれ表示する。

図３に、車両Ａの車内における各左側表示部４０−１、中央表示部４０−２、及び右側表示部４０−３によって表示される画像の表示領域の配置例を示す。いずれの例においても、各左側表示部４０−１、中央表示部４０−２、及び右側表示部４０−３は、各表示部によって表示される画像が運転者によって視認されやすいように、運転席の前方に配置されている。また、左側表示部４０−１は、左側後方領域ＬRについて表示する画像が運転者に視認される領域が、後方領域ＢRについて表示される画像が視認される領域よりも左側となるように配置される。また、右側表示部４０−３は、右側後方領域ＲRの画像について表示する画像が、後方領域ＢRについて表示される画像が視認される領域より右側となるように配置される。すなわち、中央表示部４０−２は、後方領域ＢRについて表示する画像が運転者に視認される領域が、左側後方領域ＬRについて表示する画像が視認される領域と、右側後方領域ＲRについて表示する画像が視認される領域との間となるように配置される。このように、左側表示部４０−１、中央表示部４０−２、及び右側表示部４０−３を配置することによって、従来の右サイドミラー、バックミラー、左サイドミラーに慣れた運転者にとって、違和感のない画像を視認させることが可能となる。
つまり、左右後方及び中央後方の画像は運転手が直感的に理解出来るように配置するのが望ましい。このため、左後方の画像（左側後方領域ＬRについて表示する画像）を運転手正面に対して相対的に左側に配置し、右後方の画像（右側後方領域ＲRの画像について表示する画像）を運転手正面に対して相対的に右側に配置し、中央後方の画像（後方領域ＢRについて表示される画像）を左後方の画像と右後方の画像の中間（中点付近）、あるいは中点の上側又は下側に配置する構成が好適である。
図３において、ダッシュボードの中央（運転席正面と助手席正面の中間領域）の液晶パネルは、本実施形態の操作部６０である。

図３に示す例では、左フロントＡピラー部の内部に左側表示部４０−１と右フロントＡピラー部の内部に右側表示部４０−３とがそれぞれ配置され、撮像信号ＤSLに応じた画像と撮像信号ＤSRに応じた画像が左右の各フロントＡピラー部付近の領域Ａ−１とＡ−３においてそれぞれ視認されるように表示される。また、中央表示部４０−２は運転席前方のフロントウィンドウ下のダッシュボード内に配置され、撮像信号ＤSCに応じた画像がフロントガラス下部の帯状の領域Ａ−２にて視認されるように表示される。
本実施形態では、各表示部４０は、いわゆるヘッドアップディスプレイ（ＨＵＤ）で構成される。図４に、左側フロントＡピラー部ＦＰに配置される左側表示部４０−１の構成例を示す。図４は、左側表示部４０−１を運転者の視線方向からみた縦断面図である。図４に示すように、左側表示部４０−１は、ピコプロジェクター４０１Lと透過型スクリーン４０２Lとフィールドレンズ４０３Lとコンバイナー（凹面ハーフミラー）４０４Lを備える。ピコプロジェクター４０１Lは、入力された画像信号Ｄに応じた画像を透過型スクリーン４０２Lに投影して実像を描画する。透過型スクリーン４０２Lを透過した光はフィールドレンズ４０３Lで像の方向が調整され、コンバイナー４０４Lで反射される。このとき、コンバイナー４０４Lによって反射された光が左側フロントＡピラー部の開口部ＯpLを介して運転者の目に入射すると、運転者からは、左側フロントＡピラー部の領域Ａ−１に画像が拡大されて表示されているように見える（すなわち、左側フロントＡピラー部の先に拡大画像の虚像が形成される）。右側表示部４０−３は、左側表示部４０−１と同様の構成を有する。すなわち、右側表示部４０−３は、ピコプロジェクター４０１Cと透過型スクリーン４０２Cとフィールドレンズ４０３Cとコンバイナー４０４Cを備える（いずれも図示略）。ただし、運転者の視線等に応じて、コンバイナー４０４C等の向きを適宜調整した構成が採用される。

ここで、図示のように、ピコプロジェクター４０１Lはその投射方向が下方であるため、実像が描画される透過型スクリーン４０２Lの投影面（フィールドレンズ４０３Lとの対向面）は下方に向いている。すなわち、ピコプロジェクター４０１Lと透過型スクリーン４０２Lとフィールドレンズ４０３Lは開口部ＯpLより上側に設けられている。このため、透過型スクリーン４０２Lの投影面が上向きとなるように配置された構成と比較して透過型スクリーン４０２Lの投影面及びフィールドレンズ４０３Lに塵や埃が付着しづらいという利点がある。また、コンバイナー４０４Lの表面を容易にクリーニング可能である（例えば、付着物等を容易に除去可能である）。
なお、コンバイナー４０４Lを利用して運転者に虚像を見せる構成の代わりに、開口部ＯpLに半透明のスクリーンに投影した実像を運転手に見せる構成も採用し得る。好適には、開口部ＯpLのスクリーンに対して背面（すなわち、開口部ＯpLの内部）からプロジェクターで実像を投影する構成を採用し得る。

図５は、ダッシュボード内に配置される中央表示部４０−２の構成例を示す。中央表示部４０−２も左側表示部４０−１と同様に、ピコプロジェクター４０１Cと透過型スクリーン４０２Cとフィールドレンズ４０３Cとコンバイナー４０４Cを備える。ただし、図示のように、ピコプロジェクター４０１Cは斜め下方向から透過型スクリーン４０２C及びフィールドレンズ４０３Cを介してコンバイナー４０４Cに投影光を反射させる。ダッシュボードの開口部ＯpCからコンバイナー４０４Cに反射された光が運転者の目に映り、運転者からは、領域Ａ−２に画像が拡大されて表示されているように見える。なお、開口部ＯpCを透明な板で塞ぎ、塵や埃が内部に入らないようにしてもよい。また、左側表示部４０−１の場合と同様に、開口部ＯpCに半透明なスクリーンを設けて、プロジェクターからの実像をスクリーンに投影する構成も採用し得る。

図６は、撮像表示システム１の詳細な機能構成を示すブロック図である。
図６に示すように、撮像表示システム１の制御部５０は、撮像表示システム１全体の動作を制御する。例えば、制御部５０は、例えば電源制御信号を各撮像部１０、各画像処理回路１００、及び各表示部４０に対して与える。また、制御部５０はトリミングの位置を指定する運転者からの指示に応じた制御信号Ｃ１を画像処理回路１００に対して出力するとともに、フラッシュＲＯＭ７０からマスク画像ＭＤを読み出して、画像処理回路１００に対して出力する。
左側後方領域撮像部１０−１は、被写体の像を結像させる撮像光学系１１と、マトリックス状に配列された受光素子（撮像素子）からの信号を線順次に走査して被写体の像に応じた撮像信号ＤSを出力するイメージセンサー１２と、イメージセンサー１２に対して各種のタイミング信号を出力するタイミングジェネレーター１３と、を備える。中央後方領域撮像部１０−２及び右側後方領域撮像部１０−３も、左側後方領域撮像部１０−１と同様の構成を有する。
なお、以降の説明においては、簡易のため、左側後方領域撮像部１０−１から出力される撮像信号ＤSLを撮像信号ＤSとする。また、各撮像信号ＤSL,ＤSC,ＤSRを特に区別する必要がない限り単に撮像信号ＤSとして記載する。同様に、画像処理回路１００−１から出力される画像信号ＤLを画像信号Ｄとし、各画像信号ＤL,ＤC,ＤRを特に区別する必要がない限り単に画像信号Ｄとして記載する。

イメージセンサー１２は、図７に示すようにＰ行×Ｑ列の画素に対応する撮像信号ＤSとして出力する。画像処理回路１００は、撮像信号ＤSに画像処理を施してＭ行×Ｎ列（Ｍは、２≦Ｍ≦Ｐを満たす自然数。Ｎは、２≦Ｎ≦Ｑを満たす自然数）の画素に対応する画像信号Ｄを出力する。

タイミングジェネレーター１３は、図８に示す撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを生成し、これら生成した信号をイメージセンサー１２に対して出力する。撮像垂直同期信号ＳＶsyncは、イメージセンサー１２の受光素子から検出信号を読み出すための垂直走査期間Ｆs（すなわち、撮像部１０のフレーム期間）を規定する信号である。なお、撮像部１０のフレームレート、すなわち、「１／Ｆs」を、「第１フレームレート」と称する場合がある。撮像水平同期信号ＳＨsyncは、１ライン分の受光素子から検出信号を読み出すための水平走査期間Ｈsを規定する信号である。撮像ドットクロック信号ＳCLKは、１画素分の受光素子から検出信号を読み出すためのタイミングを規定する信号である。
垂直走査期間Ｆsの時間長は一定（固定長）であり、水平走査期間Ｈsの時間長も一定（固定長）である。また、垂直走査期間Ｆsは、複数の水平走査期間Ｈsから構成される。
なお、タイミングジェネレーター１３は、撮像垂直同期信号ＳＶsync、撮像水平同期信号ＳＨsync、及び、撮像ドットクロック信号ＳCLKを、画像処理回路１００に対して出力するものであってもよい。

説明を図６に戻す。
左側表示部４０−１は、左側後方領域撮像部１０−１が撮像する左側後方領域ＬRにおける被写体を示す画像を表示して車両Ａの運転者に車両外部の様子を把握させるための装置であり、その構造は図４を参照して既に説明したとおりである。そのうち、ピコプロジェクター４０１Lは、光源（図示略）と液晶パネル４２と投射光学系（図示略）と、液晶パネル４２の動作を制御するコントローラー４１と、を備える。光源は例えばＬＥＤ(Light Emitting Diode)やレーザーダイオードを備え、液晶パネル４２に向けて白色光を照射する。投射光学系は液晶パネル４２を透過した光を投射する、例えば凸型レンズ等である。なお、図６では、左側表示部４０−１の主要な機能としてコントローラー４１と液晶パネル４２を表示している。
中央表示部４０−２及び右側表示部４０−３も左側表示部４０−１と同様の構成を有する。
図７に示すように、液晶パネル４２には、表示領域ＡDにおいて、複数の画素がＸ軸方向にＮ列、Ｙ軸方向にＭ行（Ｍライン）となるようにマトリックス状に配列されている。換言すれば、表示領域ＡDは、Ｘ軸方向に配列されたＮ個の画素からなるラインが、Ｙ軸方向にＭ行並ぶように構成されている。当該表示領域ＡDには、画像処理回路１００が生成する画像信号Ｄに応じた画像が表示される。

＜２．画像処理回路＞
図６に示すように、画像処理回路１００−１は、撮像信号ＤSに基づいて画像信号Ｄを生成し、生成した画像信号Ｄを左側表示部４０−１に対して出力する画像信号生成部２０と、画像信号生成部２０が画像信号Ｄを出力するタイミングを制御するタイミング制御部３０と、を備える。画像処理回路１００−２及び１００−３の構成は、画像処理回路１００−１と同様であるので、以下においては、画像処理回路１００−１を、画像処理回路１００として説明する。
画像信号生成部２０は、撮像信号ＤSに対して画像処理を施して画像信号Ｄを生成する画像処理部２１と、画像処理部２１が生成した画像信号Ｄを一時的に記憶するＶＲＡＭ／ラインバッファ２２（以下、「ラインバッファ２２」と称する）と、ラインバッファ２２から画像信号Ｄを取得して、取得した画像信号Ｄを表示部４０に対して出力する画像信号出力部２３と、を備える。

画像信号Ｄは、液晶パネル４２の表示領域ＡDに設けられるＭ行×Ｎ列の画素のそれぞれが表示すべき画像（階調）を規定する信号である。以下では、表示領域ＡDで表示すべき画像を示す画像信号Ｄのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す１ライン分の画像信号Ｄを、画像信号Ｄ[m]と表記する（ｍは、１≦ｍ≦Ｍを満たす自然数）。
画像処理部２１は、液晶パネル４２の表示領域ＡDで表示すべき画像を示す画像信号Ｄを、１ライン分の画素で表示すべき画像毎に生成する。より具体的には、画像処理部２１は、画像信号Ｄ[1]、画像信号Ｄ[2]、…、画像信号Ｄ[M]の順番で、画像信号Ｄを生成する。

図９は、画像処理部２１の構成を示すブロック図である。
この図に示すように、画像処理部２１は、イメージセンサー１２から出力される撮像信号ＤSを一時的に格納するラインバッファ２１１と、ラインバッファ２１１に格納された撮像信号ＤSに対して補間処理を行う画素補間処理部２１２と、補間された撮像信号ＤSに対して色再現処理を行う色再現処理部２１３と、色再現された撮像信号ＤSに対してフィルタ処理を行うフィルタ処理部２１４と、フィルタ処理された撮像信号ＤSに対してガンマ補正を施すガンマ補正部２１５と、ガンマ補正された撮像信号ＤSを一時的に格納するラインバッファ２１６とを備える。さらに、画像処理部２１は、ラインバッファ２１６に格納された撮像信号ＤSが示す画像を表示領域ＡDの備える画素数の画像信号ＤRSに変換する歪曲収差補正部２１７と、歪曲補正処理後の画像信号ＤRSのうち運転者が指定した位置に応じた領域をトリミングするトリミング処理を画像信号ＤRSに対して施すトリミング処理部２１８と、トリミング処理後の画像を表示領域ＡDの備える画素数に応じた画像に拡大するリサイズ処理部２１９とを備える。
また、画像処理部２１は、さらに、画像信号Ｄの左右を反転する鏡像生成部２２０と、トリミング処理が施された後の画像信号Ｄをラインごとに水平方向に縮小及び拡大する水平方向縮小・拡大処理部２２１と、水平方向縮小・拡大処理が施された画像信号Ｄをラインごとに垂直方向に縮小又は拡大する垂直方向縮小・拡大処理部２２２とを備える。

＜２−１．歪曲補正処理＞
上述のとおり、撮像信号ＤSの示す画像の画素数と、画像信号Ｄの示す画像の画素数（表示領域ＡDの画素数）とは異なる。このため、歪曲収差補正部２１７では、撮像信号ＤSを、表示領域ＡDの画素数に対応した画像信号ＤRSに変換する歪曲補正処理を実行する。

ところで、撮像信号ＤSの示す画像は、撮像光学系１１が備えるレンズの光学特性に起因する歪曲収差を有する場合がある。具体的には、被写体を撮像した際の撮像結果を示す画像が、表示領域ＡDにおいて本来表示すべき画像に比べて外側に向かって膨張する樽型収差や、又は、本来表示すべき画像に比べて内側に向かって収縮する糸巻形収差を有することがある。このため、歪曲収差補正部２１７では、樽型収差や糸巻型収差等の歪曲収差を補正する歪曲補正処理を実行する。

図１０は、歪曲収差補正部２１７が実行する歪曲補正処理を説明するための説明図である。
以下、図１０を参照しつつ、歪曲補正処理について説明する。なお、図１０では、撮像信号ＤSの示す画像のライン数が１６ライン（Ｐ＝１６）であり、画像信号ＤRSの示す画像のライン数が１２ライン（Ｍ＝１２）である場合を想定している。

図１０（Ｃ）及び（Ｄ）は、被写体を撮像した際に表示領域ＡDに表示されるべき画素数の、画像信号ＤRSの示す画像を表し、図１０（Ａ）は、樽型収差が生じている場合に撮像信号ＤSの示す画像を表し、図１０（Ｂ）は、糸巻型収差が生じている場合に撮像信号ＤSの示す画像を表している。
すなわち、図１０（Ａ）は、表示領域ＡDに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤSが、樽型収差によって四角形ＳQが膨張した閉曲線ＣV1を示す場合を表す。また、図１０（Ｂ）は、表示領域ＡDに表示すべき画像が四角形ＳQであるのにもかかわらず、撮像信号ＤSが、糸巻型収差によって四角形ＳQが収縮した閉曲線ＣV2を示す場合を表す。

歪曲収差補正部２１７は、図１０（Ａ）に示すような樽型収差が生じた場合、歪曲補正処理において、図１０（Ａ）に示すような閉曲線ＣV1で示される画像を、図１０（Ｃ）に示すような四角形ＳQで示される画像へと補正する。同様に、歪曲収差補正部２１７は、図１０（Ｂ）に示すような樽型収差が生じた場合、歪曲補正処理において、図１０（Ｂ）に示すような閉曲線ＣV2で示される画像を、図１０（Ｄ）に示すような四角形ＳQで示される画像へと補正する。
これらの場合、歪曲収差補正部２１７は、補正前の画像における画素と補正後の画像における画素とを対応付け、補正後の画素に対応する補正前の画素を中心画素とし、中心画素とその周辺の画素である周辺画素とを含む参照領域内の画素の各々で表示する階調に基づいて、補正後の画素の表示すべき階調を決定する。

例えば、歪曲収差補正部２１７は、図１０（Ｃ）又は（Ｄ）に示す、補正後の画素ＰxS1の階調を決定する場合、図１０（Ａ）又は（Ｂ）に示す、補正前の画素ＰxC1を中心画素と定める。そして、歪曲収差補正部２１７は、中心画素である画素ＰxC1を含む参照領域Ａrea1内の各画素で表示すべき階調に基づいて、画素ＰxS1で表示すべき階調を定める。
同様に、歪曲収差補正部２１７は、図１０（Ｃ）又は（Ｄ）に示す、補正後の画素ＰxS2の階調を決定する場合、図１０（Ａ）又は（Ｂ）に示す、補正前の画素ＰxC2を中心画素と定める。そして、歪曲収差補正部２１７は、中心画素である画素ＰxC2を含む参照領域Ａrea2内の各画素で表示すべき階調に基づいて、画素ＰxS2で表示すべき階調を定める。

なお、図１０（Ｃ）及び（Ｄ）において濃いハッチングを付した画素は、画像信号ＤRSにおける第１行、第７行、及び、第１２行に位置する補正後の画素を示し、図１０（Ａ）及び（Ｂ）において濃いハッチングを付した画素は、補正後の画素のそれぞれに対応する補正前の画素（中心画素）を示し、図１０（Ａ）及び（Ｂ）において淡いハッチングを付した画素は、中心画素のそれぞれに対応する周辺画素を示す。

図１０に示す例からも明らかなように、樽型収差が生じている場合の画像の膨張の程度は、画面のラインの位置によって変動し、垂直方向（Ｙ軸方向）の位置が端部に近づくにつれて、画像の膨張の程度は大きくなる。また、糸巻型収差が生じる場合における画像の収縮の程度は、画面のラインの位置によって変動し、垂直方向（Ｙ軸方向）の位置が端部に近づくにつれて、画像の収縮の程度は大きくなる。
よって、歪曲収差補正部２１７が画像信号Ｄ[m]を生成する場合に必要となる撮像信号ＤSのライン数は、画像信号Ｄ[m]に対応するラインの位置（ｍの値）により変動する。このため、歪曲収差補正部２１７が歪曲補正処理に要する時間長は、ラインの位置により変動することになる。

ここで、第ｐ行のラインに対応する撮像信号ＤSを、撮像信号ＤS[p]と表す（ｐは、１≦ｐ≦Ｐを満たす自然数）。
このとき、例えば、図１０に示す例では、歪曲収差補正部２１７が、第１行のラインに対応する画像信号Ｄ[1]を生成するためには、第１行〜第５行のラインに対応する撮像信号ＤS[1]〜ＤS[5]が必要となる。これに対して、歪曲収差補正部２１７が、第７行のラインに対応する画像信号Ｄ[7]を生成するためには、第８行〜第１０行のラインに対応する撮像信号ＤS[8]〜ＤS[10]が必要となる。つまり、歪曲収差補正部２１７が、画像信号Ｄ[1]を生成するために要する時間長は、画像信号Ｄ[7]を生成するために要する時間長よりも長くなる。

以下では、画像信号Ｄ[m]を生成するために必要となる、１又は複数ラインの撮像信号ＤS[p]を、撮像信号ＤGS[m]と総称する。
例えば、図１０に示す例では、画像信号Ｄ[1]を生成するために必要となる撮像信号ＤGS[1]は、撮像信号ＤS[1]〜ＤS[5]の５ライン分の撮像信号ＤS[p]であり、画像信号Ｄ[7]を生成するために必要となる撮像信号ＤGS[7]は、撮像信号ＤS[8]〜ＤS[10]の３ライン分の撮像信号ＤS[p]であり、画像信号Ｄ[12]を生成するために必要となる撮像信号ＤGS[12]は、撮像信号ＤS[12]〜ＤS[16]の５ライン分の撮像信号ＤS[p]である。

＜２−２．トリミング処理＞
従来のサイドミラーでは、運転者が運転席脇に設けられた操作レバーやボタン等により鏡の上下左右の向きを任意の方向に設定して鏡に映る領域を変更できる。同様の領域変更を可能とするために、本実施形態では、車両Ａの運転者が、タッチパネル（操作部６０）から、歪曲補正処理が施された画像信号ＤRSの示す画像の一部の領域をトリミングする処理について、トリミングの位置を指定する指示を入力することができるように構成している。

図１１Ａに、運転者によって指定されたトリミング領域の一例を示す。図１１Ａに示すように、トリミング領域Ｔareaは、画像信号ＤRSの示す画像の一部である矩形の領域である。運転者は、例えば、車両の非運転時に、トリミング領域設定モードにおいて左側表示部４０−１に表示された画像信号ＤRSの示す画像（すなわち、左側フロントＡピラー部の領域Ａ−１で視認される画像）を視認しながら、タッチパネル（操作部６０）を用いてトリミング領域Ｔareaを指定する。この指定は、トリミング領域Ｔareaの左上頂点ＴＲの位置の指定と、右上頂点ＴＬの位置の指定とによって実現される。表示領域ＡDの縦横比が例えば４：３であればトリミング領域Ｔareaの縦横比も４：３である必要がある。このため、左上頂点ＴＲと右上頂点ＴＬの位置の指定（すなわち矩形の一長辺の指定）によりトリミング領域Ｔareaの大きさが一意に決定される。すなわち、左上頂点ＴＲと右上頂点ＴＬの位置の指定により、トリミング領域Ｔareaの大小及び左右上下位置が定まる。

表示領域ＡDの縦横比は表示部４０の大きさに応じて定まる。このため、縦横比が例えば３：２の場合には、トリミング領域Ｔareaの縦横比が３：２となるようにその大小及び左右上下位置が定まる。また、縦横比が例えば１６：９の場合には、トリミング領域Ｔareaの縦横比が１６：９となるようにその大小及び左右上下位置が定まる。
制御部５０は、運転者によって左上頂点ＴＲと右上頂点ＴＬの位置が確定入力されると、これらの位置を指定する制御信号Ｃ１を生成して画像処理部２１に供給する。トリミング処理部２１８は、制御信号Ｃ１で指定される左上頂点ＴＲの位置と右上頂点ＴＬの位置をそれぞれ左上頂点及び右上頂点とし、且つ、表示領域ＡDの縦横比に応じたトリミング領域Ｔareaを決定し、画像信号ＤRSの示す画像のうち、トリミング領域Ｔareaをトリミングするトリミング処理を実行する。

トリミング領域Ｔareaの指定の方法は任意である。例えば、左上頂点及び右上頂点を指定する代わりに左下頂点と右下頂点の位置を指定する構成であってもよい。また、１つの短辺（すなわち、左上頂点と左下頂点の位置、又は右上頂点と右下頂点の位置）を指定する構成であってもよい。また、表示領域ＡDの縦横比に応じた矩形枠を表示部４０に表示し、矩形枠の位置や大きさをタッチ操作により自由に変更できる構成も採用し得る。なお、運転者が左側フロントＡピラー部の領域Ａ−１を視認する代わりに、タッチパネルに表示された、画像信号ＤRSの示す画像信号ＤRSの示す画像を視認しながら上記トリミング領域Ｔareaの指定を行う構成としてもよい。また、タッチ操作をする代わりに、従来と同様の操作レバー等を運転者が手で動かして所定の大きさの矩形枠Ｔgを左右上下方向に移動させることでトリミング領域Ｔareaを指定可能な構成としてもよい。

この例では、画像信号ＤRSは表示領域ＡDの備える画素数と一致するから、その一部であるトリミング領域Ｔareaの画素数は表示領域ＡDの備える画素数よりも少なくなる。このため、トリミング領域Ｔareaの画素数を表示領域ＡDの備える画素数に一致させる必要がある。リサイズ処理部２１９では、トリミング領域Ｔareaが指定された後に補間処理を行うことによりトリミング領域Ｔareaに表示される画像が表示領域ＡDの全体に表示されるように画像を変換するリサイズ処理を実行する。ここで、トリミング領域Ｔareaが拡大縮小された場合は、拡大縮小に応じた補完処理が実行される。図１１Ｂにリサイズ処理後の画像の一例を示す。図１１Ａ及び図１１Ｂから理解されるように、リサイズ処理により、図１１Ａに示すトリミング領域Ｔareaの示す画像が拡大されて、表示領域ＡDの備える画素数の画像信号ＤTが生成される。
なお、リサイズ処理部２１９は任意の構成である。すなわち、歪曲補正処理によって、Ｗ行×Ｚ列（ＷはＭ＜Ｗ＜Ｐとなる自然数、ＺはＮ＜Ｚ＜Ｑとなる自然数）の画像を生成し、当該画像からＭ行×Ｎ列の画像を切り出すトリミング処理を施してもよい。この場合は、トリミング領域ＴareaがＭ行×Ｎ列となるのでリサイズ処理が不要となり、画像の品質を向上させることができる。

このようなトリミング処理によれば、例えば撮像部においてカメラ自体の撮影する向きを可動とすることで撮影範囲を変更する構成と比較して、カメラの向きを可動にするための機構を不要とするためコストが抑制されるという利点がある。さらには、トリミング処理においては、トリミング領域Ｔareaが指定された後に表示領域ＡDのサイズに合わせて拡大されるため、運転者が見たい領域が拡大されて表示されるという利点もある。

＜２−３．鏡像生成処理＞
図１１Ｃは、鏡像生成部２２０が実行する左右反転処理によって生成された画像の一例を示す。車両の運転者は、従来型のサイドミラーやバックミラーに映る鏡像を見て車両の後方及び後側方の安全確認を行う。ところが、左側後方領域撮像部１０−１から出力される撮像信号ＤSはカメラを後ろ向きにして被写体を撮影したものであるので、イメージセンサー１２によって出力される画像の向きは従来型のサイドミラーやバックミラーに映る鏡像とは左右が逆である。このため、鏡像生成部２２０では、トリミング処理部２１８から出力された画像信号ＤTの示す画像（図１１Ｂ）を左右反転させて、鏡面画像である画像信号ＤF（図１１Ｃ）を生成する左右反転処理を行う。この左右反転処理によれば、従来のサイドミラーやフェンダーミラー等に映る鏡像と左右が同じ方向の画像による安全確認が可能となるので、従来とは左右が逆の画像が映ることで運転者を混乱させてしまうおそれがなくなる。

＜２−４．拡大・縮小処理＞
次に、本実施形態に係る画像の拡大・縮小処理について説明する。概略すると、拡大・縮小処理は、左側表示部４０−１に表示される画像（左側フロントＡピラー部の領域Ａ−１で視認される画像）については車両Ａに近い画像右側を拡大し、車両Ａよりも遠方の画像左側は縮小する処理を行う（例えば、図１２Ｋ）。右側表示部４０−３に表示される画像（右側フロントＡピラー部の領域Ａ−３で視認される画像）については車両Ａに近い画像左側を拡大し、車両Ａよりも遠方の画像右側は縮小する処理を行う（図２０Ｄ）。中央表示部４０−２に表示される画像（フロントガラス下部の帯状の領域Ａ−２で視認される画像）については、画像の中央を拡大し、車両Ａよりも遠方の画像左側及び右側については縮小する処理を行う（図２１）。

図１２Ａは、本実施形態に係る画像の拡大・縮小処理の概念図である。図示の例は、左側後方領域撮像部１０−１から出力された撮像信号ＤSに基づく画像である。図示のように、拡大・縮小処理においては、鏡像生成部２２０から出力された画像信号ＤFの画像を左上領域ＬR1、左中央領域ＬR2、左下領域ＬR3、中央上領域ＬR4、中央領域ＬR5、中央下領域ＬR6の６つの領域に区分（分割）する。左右方向において、左の領域（車体から遠い領域）と中央の領域（車体に近い領域）との長さの比は、「２：３」（すなわち「４０％：６０％」）であり、上下方向において、上の領域と、中央の領域と、下の領域との長さの比は「１：３：１」（すなわち「２０％：６０％：２０％」）である。以下、この比率を「分割比率」と称する場合がある。

また、各領域には、所定の水平方向変倍率（左右方向における拡大率又は縮小率）と所定の垂直方向変倍率（上下方向における拡大率又は縮小率）が予め設定される。サイドミラーに映る像のうち、車体に近い領域ＬRC（図２）にあるものは車両と接触する危険性が高いため車両の安全な運転に必要な情報である。逆に車体から遠い領域ＬRLにある画像、例えば沿道の建物等の画像は安全確認における重要度は低い。このため、本実施形態では、左右方向における拡大率又は縮小率は、左右方向について車体に近い領域ＬRCが車体に遠い領域ＬRLと比較して相対的に拡大されるように設定される。また、撮像信号ＤSに基づく画像のうち他の車両や歩行者などの画像は車両の安全な運転にとって必要な情報であるが、画像の上の領域における空や山などの景色の画像や、画像の下の領域における路面の画像の重要度は低い。このため、本実施形態では、上下方向における拡大率又は縮小率は、上下方向における中央の領域が、上又は下の領域と比較して相対的に拡大されるように設定される。

具体的には、図１２Ａに示すように、車体から遠く、且つ、上又は下の領域である左上領域ＬR1と左下領域ＬR3については、左右方向の縮小率Ｈ２及び上下方向の縮小率Ｖ２，Ｖ３がともに２５％に設定される。また、車体からは遠いが上下方向において中央の領域である左中央領域ＬR2については、左右方向の縮小率Ｈ２が２５％且つ上下方向の拡大率Ｖ１が１５０％に設定される。また、車体には近いが上又は下の領域である中央上領域ＬR4と中央下領域ＬR6については、左右方向の拡大率Ｈ１は１５０％に設定され、上下方向の縮小率Ｖ２，Ｖ３がともに２５％に設定される。そして、車体から近く、上下方向においても中央の領域である中央領域ＬR5については、左右方向の拡大率Ｈ１及び上下方向の拡大率Ｖ１がともに１５０％に設定される。このように設定することにより、撮像信号ＤSに基づく画像のうち、車両の運転時の安全確認により必要な領域の視認性を向上することが可能となる。また、例えばサイドミラーの鏡面に平面鏡部と凸面鏡部を設けて凸面鏡部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、車体により近く、上下方向においてはより中央の領域の視認性を向上することが可能となる。

また、左右方向における拡大率Ｈ１及び縮小率Ｈ２は、車体に近い領域について、左右方向の長さをＸ１とし、車体から遠い領域について左右方向の長さをＸ２としたとき、Ｘ１+Ｘ２＝Ｘ１・Ｈ１+Ｘ２・Ｈ２となるように定められ、上下方向において、中央の領域の拡大率Ｖ１、上の領域の縮小率Ｖ２、及び下の領域の縮小率Ｖ３は、中央の領域について上下方向の長さをＹ１、上の領域について上下方向の長さをＹ２、下の領域について上下方向の長さをＹ３としたとき、Ｙ１+Ｙ２＋Ｙ３＝Ｙ１・Ｖ１+Ｙ２・Ｖ２＋Ｙ３・Ｖ３となるように定められる。このように拡大率及び縮小率を設定することにより、撮像信号ＤSに基づく画像自体の大きさ（画素数）を変更することなく、各領域間の大きさの比率が変更された画像信号ＤH1を生成することができる。換言すれば、画像信号ＤH1を表示領域ＡDの備える画素数に一致せることができる。

図１２Ｂは、水平方向縮小・拡大処理部２２１が実行する水平方向縮小・拡大処理を説明するための概念図であり、図１２Ｃは、垂直方向縮小・拡大処理部２２２が実行する垂直方向縮小・拡大処理を説明するための概念図である。
水平方向縮小・拡大処理部２２１では、鏡像生成部２２０から出力された画像信号ＤFに対して、左右方向について車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理（第１処理）を実行する。具体的には、各領域ＬR1〜ＬR6の画像に対して、設定された拡大率Ｈ１又は縮小率Ｈ２に応じた変倍処理を実行する。この変倍処理はラインごとに実行される処理である。例えば１ラインにおける画素数を８００個（すなわち８００列）とした場合、左上領域ＬR1、左中央領域ＬR2、左下領域ＬR3に属する第１列から第３２０列までの画素を縮小率Ｈ２（２５％）で縮小する処理を行う。すなわち、画素数を３２０個から８０個に縮小する処理を行う。この縮小処理には、例えば隣接する所定数の画素ついて受光素子が出力する検出信号の示す値を相加平均するなど周知の方法が任意に採用される。また、中央上領域ＬR4、中央領域ＬR5、中央下領域ＬR6に属する第３２１列から第８００列までの画素を拡大率Ｈ１（１５０％）で拡大する処理を行う。すなわち、画素数を４８０個から７２０個に増加する処理を行う。この拡大処理には最近傍補間など周知の方法が任意に採用される。すべてのラインについて第１処理が施されると、各領域ＬR1〜ＬR6の画像の大きさの比率が図１２Ｂに示すように変更された画像（画像信号ＤH1が示す画像）が生成される。

垂直方向縮小・拡大処理部２２２は、水平方向縮小・拡大処理部２２１からラインごとに出力された画像信号ＤH1に対して、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理（第２処理）を実行する。具体的には、各領域ＬR1〜ＬR6の画像に対して、設定された拡大率Ｖ１又は縮小率Ｖ２又はＶ３に応じた変倍処理を実行する。この変倍処理は複数のラインごとに実行される処理である。例えば画像信号ＤH1のライン数を６００行とした場合、左上領域ＬR1及び中央上領域ＬR4に属する第１行から第１２０行のうち、縮小率Ｖ２（２５％）に応じた本数のラインを間引く処理を行う。すなち、４本に１本のラインを間引く処理を行う。また、左中央領域ＬR2及び中央領域ＬR5に属する第２１行から第４８０行の画素に対して、拡大率Ｖ１（１５０％）に応じた補間処理を行う。左下領域ＬR3と中央下領域ＬR6に属する第４８１行から第６００行のうち、縮小率Ｖ３（２５％）に応じた本数のラインを間引く処理を行う。すべてのラインについて第２処理が施されると、各領域ＬR1〜ＬR6の画像の大きさの比率が図１２Ｃに示すように変更された画像（画像信号ＤH2が示す画像）が生成される。
図１２Ｄは、第１処理及び第２処理を経た画像信号ＤH2が示す画像の一例である。図示のように、左右方向において車体に近く上下方向において中央の領域が他の領域と比較して相対的に拡大された画像が生成される。

図１２Ａに示す分割比率、水平方向変倍率、及び垂直方向変倍率は適宜設定され得る。図１２Ｄ〜図１２Ｆに、水平方向変倍率及び垂直方向変倍率を図１２Ａの例とは異なる値に設定した例を示す。この例では、分割比率の値は図１２Ａの例と同様である。図１２Ｄに示すように、車体から遠く、且つ、上又は下の領域である左上領域ＬR1と左下領域ＬR3については、左右方向の縮小率Ｈ２及び上下方向の縮小率Ｖ２，Ｖ３がともに５０％に設定される。また、車体からは遠いが上下方向において中央の領域である左中央領域ＬR2については、左右方向の縮小率Ｈ２が５０％且つ上下方向の拡大率Ｖ１が１３３％に設定される。また、車体には近いが上又は下の領域である中央上領域ＬR4と中央下領域ＬR6については、左右方向の拡大率Ｈ１は１３３％に設定され、上下方向の縮小率Ｖ２，Ｖ３がともに５０％に設定される。そして、車体から近く、上下方向においても中央の領域である中央領域ＬR5については、左右方向の拡大率Ｈ１及び上下方向の拡大率Ｖ１がともに１３３％に設定される。
この例によれば、水平方向縮小・拡大処理部２２１が実行した水平方向縮小・拡大処理後の画像（画像信号ＤH1が示す画像）は図１２Ｅに示すようなものとなる。また、垂直方向縮小・拡大処理部２２２が実行した垂直方向縮小・拡大処理後の画像（画像信号ＤH2が示す画像）は図１２Ｆに示すようなものとなる。

図１２Ｇ〜図１２Ｉに別の設定例を示す。図１２Ｇに示すように、この例では、左右方向の分割比率が「４０％：６０％」ではなく「３０％：７０％」に設定される。上下方向の分割比率は図１２Ａの例と同様である。車体から遠く、且つ、上又は下の領域である左上領域ＬR1と左下領域ＬR3については、左右方向の縮小率Ｈ２及び上下方向の縮小率Ｖ２，Ｖ３がともに５０％に設定される。また、車体からは遠いが上下方向において中央の領域である左中央領域ＬR2については、左右方向の縮小率Ｈ２が５０％且つ上下方向の拡大率Ｖ１が１２１％に設定される。また、車体には近いが上又は下の領域である中央上領域ＬR4と中央下領域ＬR6については、左右方向の拡大率Ｈ１は１２１％に設定され、上下方向の縮小率Ｖ２，Ｖ３がともに５０％に設定される。そして、車体から近く、上下方向においても中央の領域である中央領域ＬR5については、左右方向の拡大率Ｈ１及び上下方向の拡大率Ｖ１がともに１２１％に設定される。
この例によれば、水平方向縮小・拡大処理部２２１が実行した水平方向縮小・拡大処理後の画像（画像信号ＤH1が示す画像）は図１２Ｈに示すようなものとなる。また、垂直方向縮小・拡大処理部２２２が実行した垂直方向縮小・拡大処理後の画像（画像信号ＤH1が示す画像）は図１２Ｉに示すようなものとなる。

ところで、表示部４０に表示される画像（画像信号Ｄが示す画像）の水平方向及び垂直方向における変倍率を運転者が自由に設定できると便利である。
図１２Ｊは、変倍率変更処理を説明するための概念図である。図示の例では、運転者が、左上領域ＬR1の右下頂点である点Ｐ1又は左上領域ＬR1の右上頂点である点Ｐ2を移動させることにより、水平方向変倍率（Ｈ１,Ｈ２）及び垂直方向変倍率（Ｖ１，Ｖ２，Ｖ３）を変更（入力）可能である。移動させる方法は公知の方法を任意に採用可能であるが、本実施例では、タッチパネル（操作部６０）上において、運転者が点Ｐ1又は点Ｐ2にタッチした状態で表示領域ＡDの内側方向又は外側方向に向けて点Ｐ1又は点Ｐ2を移動させる操作（いわゆる「ドラッグ操作」）によって、水平方向変倍率（Ｈ１,Ｈ２）及び垂直方向変倍率（Ｖ１，Ｖ２，Ｖ３）を変更する。

点Ｐ1は左中央領域ＬR2の右上頂点でもあり、中央上領域ＬR4の左下頂点でもあり、中央領域ＬR5の左上頂点でもあるから、中央領域ＬR5の拡大率をより小さくする方向（すなわち、表示領域ＡDの内側方向）に点Ｐ1を移動させると、左中央領域ＬR2と中央上領域ＬR4と中央領域ＬR5について拡大率（Ｖ１及びＨ２）が小さくなる（拡大率の値（％）が減少する）だけでなく、左上領域ＬR1、左中央領域ＬR2及び中央上領域ＬR4の縮小率（Ｖ２，Ｈ２）が逆に大きくなる（縮小率の値（％）が増加する）。また、表示領域ＡDの縦横比が例えば４：３であれば拡大・縮小後の各領域の画像の縦横比も４：３となる必要があるから、点Ｐ1を移動させると点Ｐ2も連動して移動する。よって、点Ｐ1の内側方向への移動により、左下領域ＬR3と中央下領域ＬR6についても、縮小率（Ｖ３，Ｈ２）は大きくなり（縮小率の値（％）が増加する）、拡大率（Ｈ１）は小さくなる（拡大率の値（％）が減少する）。同様に、点Ｐ2をドラッグ操作により移動させた場合には点Ｐ1が移動する。この態様によれば、運転者は好みに合わせて各領域の拡大率及び縮小率を変更することが可能となる。

なお、縮小率が過度に小さいと、車両Ａの安全な運転に必要な画像の視認性が低下する。このため、安全性の観点から縮小率に下限を設けることが望ましい。縮小率の下限値は任意に設定可能であるが、例えば、図示の例のように、垂直方向縮小率Ｖ１，Ｖ３と水平方向縮小率Ｈ２については、２５％以上１００％未満の範囲で縮小率を変更可能とし、垂直方向拡大率Ｖ１と水平方向拡大率Ｈ１については、１００％より大きく１５０％以下の範囲で拡大率を変更可能とする構成とするのが好適である。
ドラッグ操作によらず、他の公知の入力手段により変倍率を数値で入力する方法を採用する場合には、例えば、タッチパネルに表示されたテンキーから拡大率又は縮小率を入力する構成が例示される。

＜２−５−１．マスク処理の第１態様＞
以下、マスク処理の第１態様について説明する。図９に示されるように、画像処理部２１は、さらに、フラッシュＲＯＭ７０からマスク画像ＭＤを取得するマスク画像取得部２３２と、取得したマスク画像ＭＤを画像信号ＤH2に合成して画像信号Ｄを生成する画像合成部２３０とを有する。

図１３は、マスク画像ＭＤについて説明する説明図である。マスク画像ＭＤは、液晶パネル４２の表示領域ＡDと同じ画素数を有し、矩形の画像のうち楕円形（所定形状）の内側の領域（以下、「透過領域ＡT」）で「１」となり、その外側の領域（以下、「非透過領域ＡNT」）で「０」となる。画像合成部２３０は、画像信号ＤH2の示す画像とマスク画像ＭＤとを合成する。具体的には、マスク画像ＭＤが「１」を示す透過領域ＡTでは、画像信号ＤH2の示す輝度値をそのまま出力し、マスク画像ＭＤが「０」を示す非透過領域ＡNTでは、画像信号ＤH2の示す輝度値を「０」にして、画像信号Ｄを生成する。すなわち、画像信号ＤH2とマスク画像ＭＤとのいずれかを選択するマスク処理によって、画像信号Ｄを生成することができる。なお、上記マスク処理は、画像信号ＤH2とマスク画像ＭＤとを乗算する乗算処理であってもよい。この場合、マスク画像ＭＤは、マスク処理において画像信号ＤH2の示す表示画像に対して各画素で乗算する係数を表すものと捉えることができる。
なお、図示の例では、所定形状（透過領域ＡTの形状）が楕円形であるが、これに限られず自由に設計可能である。例えば、ハート形やひし形等の形状も採用し得る。

ところで、図４及び図５について説明したように、表示部４０は、ピコプロジェクター４０１（４０１L，４０１C，４０１R）からの照射光が透過型スクリーン４０２（４０２L，４０２C，４０２R）及びフィールドレンズ４０３（４０３L，４０３C，４０３R）を通過してコンバイナー４０４（４０４L，４０４C，４０４R）に達し、コンバイナー４０４で反射された光が開口部Ｏp（ＯpL，ＯpC，ＯpR）から射出されるように構成されている。この構成において、仮にマスク画像ＭＤを画像信号ＤH2に合成しない場合には、画像信号ＤH2に相当する照射光が開口部Ｏpに向けて射出される。
一方、本実施形態ではデザイン性を高める観点から、左右サイドミラー用の画像を表示する各開口部ＯpL，ＯpRは左右の各フロントＡピラー部ＦＰに楕円状に形成されている（図１９）。しかしながら、各開口部ＯpL，ＯpRを楕円状（所定形状）に形成した場合、ピコプロジェクター４０１L，４０１Rからの照射光は矩形の画像である画像信号ＤH2に相当するため、各開口部ＯpL，ＯpRの外側に至った照射光が反射して迷光が生じ、それが乱射することで本来投影する画像に乱射光が漏れこんで表示に悪影響を及ぼすという問題がある。

そこで、本実施形態では、開口部ＯpL，ＯpRの形状に合わせた透過領域ＡTのマスク画像ＭＤをあらかじめ画像信号ＤH2に合成することで、ピコプロジェクター４０１から開口部ＯpL，ＯpRの外側に至る照射光の輝度を、開口部ＯpL，ＯpRの内側に至る照射光の輝度よりも低くなる（あるいは遮断する）ような画像信号Ｄを生成する。この態様によれば、開口部ＯpL，ＯpRの外側に至る照射光の輝度が低いため、迷光の発生が抑制され、ひいては、開口部ＯpL，ＯpRの内側に至る照射光に応じた画像の表示への影響も低減される。
なお、この例のマスク画像ＭＤは、非透過領域ＡNTにおいて「０」としたが、開口部ＯpL，ＯpRの外側に至る照射光の輝度を、開口部ＯpL，ＯpRの内側に至る照射光の輝度よりも低くできるのであれば、どのように設定してもよいが、開口部ＯpL，ＯpRの外側に照射光が至ったときに迷光が生じない程度に設定されることが好ましい。このため、黒色に近い輝度であることが好ましい。例えば、開口部ＯpL，ＯpRの外側に至る照射光の輝度をＬD1、開口部ＯpL，ＯpRの内側に至る照射光の輝度をＬD2としたとき、ＬD1／ＬD2の上限値は、１０％であってもよいが、視認性向上の観点から５％であることが好ましい。

＜２−５−２．マスク処理の第２態様＞
上述したように、開口部ＯpL，ＯpRの形状に合わせた透過領域ＡTのマスク画像ＭＤがフラッシュＲＯＭ７０にあらかじめ記憶されている。ところが、車両Ａに表示部４０を設置する製造過程においてピコプロジェクター４０１や各種光学系の物理的な位置にズレが生じると、フロントＡピラー部ＦＰの開口部ＯpL，ＯpRの形状にマスク画像ＭＤの透過領域ＡTが一致しない場合がある。
マスク処理の第２態様は、そのような場合に、マスク画像ＭＤの位置を調整可能とするものである。

図１４に、マスク処理の第２態様に係る画像処理部２１Ａの主要部の構成例を示すブロック図である。なお、ラインバッファ２１１から水平方向縮小・拡大処理部２２１までの構成は、図９に示す画像処理部２１と同様である。
図１４に示すように、画像処理部２１Ａは、マスク画像ＭＤの位置を指定する制御情報ＣRIを記憶する書き換え可能な不揮発性のメモリ（制御情報記憶部）８０と、制御情報ＣRIに基づいてマスク画像ＭＤの位置を調整して調整済みマスク画像ＭＤ’を生成する位置調整部２３１とを備える。なお、メモリ８０は画像処理部２１の外部に配置されてもよい。
この場合、画像合成部２３０は、マスク画像ＭＤの代わりに調整済みマスク画像ＭＤ’を用いて画像信号ＤH2にマスク処理を施して画像信号Ｄを生成する。
制御情報ＣRIは、マスク画像ＭＤにおける透過領域ＡTの位置を指定する情報であり、例えば、Ｘ方向にずらす画素数と、Ｙ方向にずらす画素数との組からなる。図１５は、位置調整部２３１による処理を説明するための説明図である。制御情報ＣRIが（ｘ１、ｙ１）である場合、位置調整部２３１は、図１５に示すように、透過領域ＡTをＸ方向にｘ１画素だけずらし、Ｙ方向にｙ１画素だけずらして調整済みマスク画像ＭＤ’を生成する。

本実施形態の撮像表示システムは、インターフェース９０を介してスマートフォンなどの機器を接続可能となっている。製造過程の最終段階（例えば工場検査時）では、インターフェース９０を介してスマートフォンなどの機器を接続すると、その画面上にマスク画像ＭＤが表示され、利用者が画面上の透過領域ＡTをドラッグ操作することによって、透過領域ＡTの位置が調整できるようになっている。利用者は開口部ＯpL，ＯpRに表示される画像を見ながら、透過領域ＡTの位置を調整する。スマートフォンからは、制御情報ＣRIが出力され、これがメモリ８０に記憶される。なお、撮像表示システムに接続可能な機器はスマートフォンに限られない。例えば、他のタブレット端末やパーソナルコンピューター等であってもよい。
この構成によれば、物理的なアライメント調整が不要となるため、例えば開口部ＯpL，ＯpRの外側の領域に暗色マスク等を物理的に配置して照射光の反射による迷光を抑制する構成と比較して、製造過程における手間が軽減される。
＜３.画像信号の出力＞

マスク処理の第１態様又は第２態様が終了すると、画像処理部２１は、ラインごとの画像信号Ｄ[m]を出力する。生成した画像信号Ｄ[m]をラインバッファ２２に格納するとともに、画像信号Ｄ[m]のラインバッファ２２への格納が完了したことを示す書込完了信号ＰtAを、タイミング制御部３０に対して出力する。

表示部４０の表示領域ＡDが１画面分の画像を表示可能な時間長は、撮像部１０が１画面分の画像を撮像可能な時間長よりも短い。このため、液晶パネル４２が表示可能な周期で画像を表示しようとする場合、撮像部１０からの撮像信号ＤSの出力が追いつかない。そこで、本実施形態に係る撮像表示システム１では、画像処理回路１００により、画像処理回路１００からの画像信号Ｄの出力タイミングを調整することで、表示部４０の表示速度を、撮像部１０からの撮像信号ＤSの出力周期に追従させる。

本実施形態において、書込完了信号ＰtAは、画像処理部２１によるラインバッファ２２への書込が完了した画像信号Ｄに対応するラインの番号ｍaを示す信号である（ｍaは、１≦ｍa≦Ｍを満たす自然数）。書込完了信号ＰtAの示す値であるライン番号ｍaは、画像処理が完了したラインを表す「画像処理ライン情報」の一例である。

なお、書込完了信号ＰtAは、ラインの番号を示す信号に限定されるものではなく、画像処理部２１による画像信号Ｄ[m]の生成が完了した場合にハイレベルに立ち上がるようなパルス波形を含む２値の信号であってもよい。書込完了信号ＰtAが２値の信号である場合、タイミング制御部３０は、例えば、一の画面の表示が開始された後に書込完了信号ＰtAに含まれるパルスの個数をカウントすることで、画像処理部２１により生成が完了した画像信号Ｄ[m]のライン番号を演算すればよい。この場合は、書込完了信号ＰtAに含まれるパルス波形（又は、パルス波形の個数）が、「画像処理ライン情報」に該当することになる。

画像信号出力部２３は、タイミング制御部３０の制御に応じて、ラインバッファ２２から１ライン毎に画像信号Ｄを読み出し、読み出した１ライン分の画像信号Ｄ[m]を表示部４０に対して出力する。
なお、以下では、説明の都合上区別が必要な場合には、画像処理部２１が生成してラインバッファ２２に格納する画像信号Ｄを画像信号ＤGAと称し、画像信号出力部２３がラインバッファ２２から取得して表示部４０に出力する画像信号Ｄを画像信号ＤGBと称する。また、画像処理部２１がラインバッファ２２に格納する画像信号ＤGAのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す画像信号ＤGAを画像信号ＤGA[m]と称し、画像信号出力部２３が表示部４０に出力する画像信号ＤGBのうち、表示領域ＡDの第ｍ行のラインで表示すべき画像を示す画像信号ＤGBを画像信号ＤGB[m]と称する。

画像信号出力部２３は、ラインバッファ２２から画像信号ＤGB[m]を読み出して当該画像信号ＤGB[m]を表示部４０に出力する処理が完了した場合、画像信号ＤGB[m]の表示部４０への出力が完了したことを示す出力完了信号ＰtBを、タイミング制御部３０に対して出力する。本実施形態において、出力完了信号ＰtBは、画像信号出力部２３による表示部４０への出力が完了した画像信号Ｄに対応するラインの番号ｍを示す信号である。以下では、出力完了信号ＰtBの示すラインの番号ｍを、特に「ライン番号ｍb」と称する（ｍbは、１≦ｍb≦Ｍを満たす自然数）。出力完了信号ＰtBの示す値であるライン番号ｍbは、表示部４０に対する出力が完了した画像信号Ｄ[m]のラインを示す「表示出力ライン情報」の一例である。
詳細は後述するが、画像信号出力部２３は、表示部４０に対して、画像信号ＤGB[m]を出力する代わりに、無効信号Ｄmyを出力する場合がある（図１６参照）。この場合は、画像信号出力部２３は、出力完了信号ＰtBを出力しない。

なお、出力完了信号ＰtBは、ラインの番号を示す信号に限定されるものではなく、画像信号出力部２３による画像信号Ｄ[m]の出力が完了した場合にハイレベルに立ち上がるようなパルス波形を含む２値の信号であってもよい。

図６に示すように、タイミング制御部３０は、書込完了信号ＰtA及び出力完了信号ＰtBに基づいて出力制御信号ＣTRを生成する出力制御部３１と、各種のタイミング信号を生成して画像信号出力部２３が画像信号ＤGB[m]を出力するタイミングを制御するタイミングジェネレーター３２と、コントローラー４１の動作を規定する設定パラメーターＰRMをコントローラー４１に対して送信するパラメーター送信部３３と、を備える。

出力制御部３１は、書込完了信号ＰtA及び出力完了信号ＰtBに基づいて、画像信号出力部２３が表示部４０に対して表示領域ＡDの第ｍ行で表示すべき画像を示す画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了したか否かを判定し、判定結果を示す出力制御信号ＣTRを生成する。
ここで、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」とは、以下の第１条件及び第２条件を充足したことをいう。
（第１条件） 画像処理部２１が、第ｍ行の画像信号Ｄ[m]（画像信号ＤGB[m]）の画像処理を完了していること。
（第２条件） 画像信号出力部２３が、第ｍ-1行の画像信号Ｄ[m-1]（画像信号ＤGB[m-1]）の出力を完了したこと。

第１条件は、書込完了信号ＰtAの示すライン番号ｍaがライン番号ｍ以上である場合、つまり、「ｍ≦ｍa」を満たす場合に充足される。第２条件は、出力完了信号ＰtBの示すライン番号ｍbが「ｍb＝ｍ-1」を満たす場合に充足される（厳密には、「ｍ＝１」の場合には、「ｍb＝Ｍ」を満たす場合に充足される）。
本明細書では、出力制御部３１が判定の対象とする画像信号Ｄ[m]が示す画像を表示する表示領域ＡDのラインを、「表示対象ライン」と称する場合がある。

なお、厳密には、画像信号出力部２３が画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するためには、以下の第３条件が充足される必要がある。
（第３条件） 画像信号出力部２３が第ｍ行の画像信号Ｄ[m]（画像信号ＤGB[m]）を出力するタイミングが、表示領域ＡDが画像を表示可能な期間（図１６で後述する水平有効データ期間ＤＨＩ）に含まれること。
しかし、上述した第１条件及び第２条件が充足されている場合、画像信号出力部２３からの画像信号Ｄ[m]（画像信号ＤGB[m]）の出力タイミングをタイミングジェネレーター３２が制御することにより第３条件は必然的に充足される。このため、本実施形態では、出力制御部３１における判定において第３条件を考慮しない。

出力制御部３１は、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定を、例えば、以下の２つの態様により実行することができる。

「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定の第１の態様としては、第１条件が充足されているか否かの判定（第１の判定）と、第２条件が充足されているか否かの判定（第２の判定）の２つの判定を、出力制御部３１が直接に実行する態様である。
具体的には、出力制御部３１は、画像処理部２１が書込完了信号ＰtAを出力すると、書込完了信号ＰtAの示すライン番号ｍaが「ｍ≦ｍa」を満たすか否かを判定し（第１の判定を実行し）、画像信号出力部２３が出力完了信号ＰtBを出力すると、出力完了信号ＰtBの示すライン番号ｍbが「ｍb＝ｍ-1」を満たすか否かを判定し（第２の判定を実行し）、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定である場合に、「画像信号Ｄ[m]を出力する準備が完了した」と判定する。
この場合、出力制御部３１は、第１の判定を実行することにより、表示対象ラインで表示すべき画像に対応する画像信号を生成したか否かを判定する「処理状況判定部」として機能し、第２の判定を実行することにより、表示対象ラインにおける画像の表示が可能であるか否かを判定する「表示判定部」として機能する。
なお、出力制御部３１は、第１の判定の判定結果、又は、第２の判定の判定結果が否定である場合、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定となるまで、第１の判定及び第２の判定を繰り返す。具体的には、出力制御部３１は、例えば、第１の判定及び第２の判定の両方の判定結果が肯定となるまで、画像処理部２１から書込完了信号ＰtAが出力される毎に第１の判定を実行し、また、画像信号出力部２３から出力完了信号ＰtBが出力される毎に第２の判定を実行すればよい。また、例えば、出力制御部３１は、第１の判定及び第２の判定の両方の判定結果が肯定となるまで、後述する水平走査期間Ｈdの周期で、第１の判定及び第２の判定を繰り返してもよい。そして、第１の判定の判定結果と、第２の判定の判定結果の両方が肯定となったときに、出力制御信号ＣTRを、判定結果が肯定であることを示す値に設定する。

次に、「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定の第２の態様としては、出力制御部３１が前回の判定（画像信号Ｄ[m-1]を出力する準備が完了したか否かの判定）の結果が肯定となった後であって、画像信号出力部２３が出力完了信号ＰtBを出力したタイミングで、第１条件が充足されているか否かの判定（第１の判定）を実行する態様である。
この態様において、出力制御部３１は、第１の判定の判定結果が否定である場合、第１の判定の判定結果が肯定となるまで第１の判定を繰り返し、第１の判定の判定結果が肯定となったときに、出力制御信号ＣTRを、判定結果が肯定であることを示す値に設定する。具体的には、出力制御部３１は、例えば、出力完了信号ＰtBが出力されたタイミングで第１の判定の判定結果が否定である場合には、その後、画像処理部２１が書込完了信号ＰtAを出力する毎に、当該書込完了信号ＰtAの示すライン番号ｍaが「ｍ≦ｍa」を満たすか否かを判定し、「ｍ≦ｍa」を満たしたときに、第１条件が充足されたと判定すればよい。

上述のとおり、画像処理部２１は、ライン番号順に画像信号Ｄ[m]（画像信号ＤGA[m]）を生成し、画像信号出力部２３は、ライン番号順に画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する。そして、本実施形態では、第ｍ-2行の画像信号Ｄ[m-2]の出力が完了し、出力制御部３１が「画像信号Ｄ[m-1]を出力する準備が完了した」と判定した後に、画像信号出力部２３が画像信号Ｄ[m-1]を出力する。よって、出力制御部３１が「画像信号Ｄ[m]（画像信号ＤGB[m]）を出力する準備が完了した」か否かの判定を行うタイミングは、画像信号出力部２３から画像信号Ｄ[m-2]（画像信号ＤGB[m-2]）が出力された後のタイミングであって、且つ、出力制御部３１が「画像信号Ｄ[m-1]（画像信号ＤGB[m-1]）を出力する準備が完了した」と判定した後のタイミングである。つまり、出力制御部３１が、「画像信号Ｄ[m]を出力する準備が完了した」か否かの判定を行うタイミングにおいて、画像信号出力部２３が出力する出力完了信号ＰtBの示すライン番号ｍbは「ｍ-1」となる。
このため、第２の態様において、出力制御部３１は、画像信号出力部２３からの出力完了信号ＰtBの出力をもって第２条件が充足されたと見做す。そして、出力制御部３１は、画像信号出力部２３から出力完了信号ＰtBが出力されたタイミングにおいて第１条件が充足されているか否かの判定（第１の判定）を実行することで、「画像信号Ｄ[m]（画像信号ＤGB[m]）の出力準備が完了した」か否かの判定を行う。

本実施形態では、上述した２つの態様のうち、第２の態様を採用することを前提として、以下の説明を行う。

タイミングジェネレーター３２は、表示垂直同期信号ＤＶsync、垂直有効データ信号ＤＶactive、表示水平同期信号ＤＨsync、表示ドットクロック信号ＤCLK、及び、イネーブル信号ＤＥnbを生成し、生成したこれらの信号を、画像信号出力部２３及び表示部４０に対して出力する。

図１６は、タイミングジェネレーター３２が生成する、表示垂直同期信号ＤＶsync、垂直有効データ信号ＤＶactive、表示水平同期信号ＤＨsync、表示ドットクロック信号ＤCLK、及び、イネーブル信号ＤＥnbを説明するためのタイミングチャートである。

図１６（Ａ）及び（Ｂ）に示すように、表示垂直同期信号ＤＶsyncは、液晶パネル４２の表示領域ＡD全体（Ｍライン分）の画素で画像を表示するための垂直走査期間Ｆd（すなわち、表示部４０のフレーム期間）を規定する信号である。表示水平同期信号ＤＨsyncは、表示領域ＡDの１ライン分の画素で画像を表示すための水平走査期間Ｈdを規定する信号である。表示ドットクロック信号ＤCLKは、表示領域ＡDの各画素で画像を表示するためのタイミングを規定する信号である。

本実施形態において、水平走査期間Ｈdは、予め定められた一定の時間長を有している。また、本実施形態において、垂直走査期間Ｆdは、複数の水平走査期間Ｈdから構成されており、垂直走査期間Ｆsの時間長以下の可変な時間長を有する。すなわち、各垂直走査期間Ｆdに含まれる水平走査期間Ｈdの個数は可変である。図１６（Ａ）に示す例では、図１６（Ａ）に示す複数の垂直走査期間Ｆdのうち、最初の垂直走査期間Ｆdである垂直走査期間Ｆd1は、垂直走査期間Ｆd1に後続する垂直走査期間Ｆd2よりも短く、垂直走査期間Ｆd2は、垂直走査期間Ｆd2に後続する垂直走査期間Ｆd3よりも短い場合を例示している。
なお、表示垂直同期信号ＤＶsyncの有する波形のうち、垂直走査期間Ｆdの開始及び終了のタイミングを規定するパルス状の波形を、垂直同期パルスＰlsＶと称する。また、表示水平同期信号ＤＨsyncの有する波形のうち、水平走査期間Ｈdの開始及び終了のタイミングを規定するパルス状の波形を、水平同期パルスＰlsＨと称する。

図１６（Ｂ）に示すように、垂直走査期間Ｆdは、垂直同期期間ＤＶpと、垂直バックポーチ期間ＤＶbと、垂直有効データ期間ＤＶＩと、垂直フロントポーチ期間ＤＶfと、からなる。
垂直同期期間ＤＶpは、表示垂直同期信号ＤＶsyncがアクティブ（この図の例ではローレベル）である期間であり、垂直走査期間Ｆdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。垂直バックポーチ期間ＤＶbは、垂直同期期間ＤＶpに後続する期間であり、予め定められた時間長を有する期間である。垂直有効データ期間ＤＶＩは、垂直バックポーチ期間ＤＶbに後続する、可変な時間長の期間である。当該垂直有効データ期間ＤＶＩにおいて、画像信号出力部２３から画像信号ＤGB（画像信号ＤGB[1]〜ＤGB[M]）が出力される。垂直フロントポーチ期間ＤＶfは、垂直有効データ期間ＤＶＩに後続する期間であり、垂直走査期間Ｆdの終了と同時に終了する、予め定められた時間長を有する期間である。
垂直有効データ期間ＤＶＩは、各垂直走査期間Ｆdにおいてイネーブル信号ＤＥnbが最初にアクティブとなる水平走査期間Ｈdの開始からイネーブル信号ＤＥnbがＭ回目にアクティブとなる水平走査期間Ｈdの終了までの期間である（イネーブル信号ＤＥnbがアクティブとなる場合については、後述する）。
当該垂直有効データ期間ＤＶＩは、例えば、イネーブル信号ＤＥnbがアクティブとなる回数をカウントするカウンタ（図示省略）が出力するカウント値に基づいて定めればよい。但し、本実施形態では、説明の便宜上、各垂直走査期間Ｆdにおいてイネーブル信号ＤＥnbが最初にアクティブとなる水平走査期間Ｈdの開始からイネーブル信号ＤＥnbがＭ回目にアクティブとなる水平走査期間Ｈdの終了までの期間においてアクティブ（この図の例ではハイレベル）となる垂直有効データ信号ＤＶactiveを導入する。すなわち、本実施形態では、垂直有効データ信号ＤＶactiveがアクティブである期間を垂直有効データ期間ＤＶＩとして説明する。なお、この垂直有効データ信号ＤＶactiveは、説明の便宜上導入した信号であり、出力制御部３１は、この垂直有効データ信号ＤＶactiveを出力しないものであってもよい。

図１６（Ｃ）及び（Ｄ）に示すように、水平走査期間Ｈdは、水平同期期間ＤＨpと、水平バックポーチ期間ＤＨbと、水平有効データ期間ＤＨＩと、水平フロントポーチ期間ＤＨfと、からなる。
水平同期期間ＤＨpは、表示水平同期信号ＤＨsyncがアクティブ（この図の例ではローレベル）である期間であり、水平走査期間Ｈdが開始されるのと同時に開始される、予め定められた時間長を有する期間である。水平バックポーチ期間ＤＨbは、水平同期期間ＤＨpに後続する期間であり、予め定められた時間長を有する期間である。水平有効データ期間ＤＨＩは、水平バックポーチ期間ＤＨbに後続する、予め定められた時間長を有する期間である。水平フロントポーチ期間ＤＨfは、水平有効データ期間ＤＨＩに後続する期間であり、水平走査期間Ｈdの終了と同時に終了する、予め定められた時間長を有する期間である。

本実施形態では、水平走査期間Ｈdには、画像信号出力部２３が画像信号Ｄ[m]を出力するための有効水平走査期間Ｈd-Ａ（図１６（Ｃ）参照）と、画像信号Ｄ[m]を出力する代わりに無効信号Ｄmy[m]を出力する無効水平走査期間Ｈd-Ｄ（図１６（Ｄ）参照）と、が存在する。
図１６（Ｃ）は、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合を例示している。この図に示すように、イネーブル信号ＤＥnbは、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合には、水平有効データ期間ＤＨＩにおいてアクティブ（この図の例ではハイレベル）となる。そして、イネーブル信号ＤＥnbがアクティブとなる水平有効データ期間ＤＨＩにおいて、画像信号出力部２３から画像信号Ｄ[m]（画像信号ＤGB[m]）が出力される。一方、イネーブル信号ＤＥnbは、有効水平走査期間Ｈd-Ａのうち、水平有効データ期間ＤＨＩ以外の期間（水平同期期間ＤＨp、水平バックポーチ期間ＤＨb、水平フロントポーチ期間ＤＨf）において、非アクティブとなる。画像信号出力部２３は、有効水平走査期間Ｈd-Ａのうち、イネーブル信号ＤＥnbが非アクティブとなる、水平有効データ期間ＤＨＩ以外の期間において、画像信号Ｄ[m]（画像信号ＤGB[m]）の出力を停止して、無効ライン信号ＤGB-dmyを出力する。
上述した第３条件は、タイミングジェネレーター３２が水平有効データ期間ＤＨＩにおいてイネーブル信号ＤＥnbをアクティブとすることで充足される。すなわち、出力制御部３１及びタイミングジェネレーター３２を備えるタイミング制御部３０は、上述した第１条件〜第３条件の全てが充足されたタイミングで、表示対象ラインに対応する画像信号Ｄ[m]（画像信号ＤGB[m]）を画像信号出力部２３から出力させる。

一方、図１６（Ｄ）は、水平走査期間Ｈdが無効水平走査期間Ｈd-Ｄである場合を例示している。この図に示すように、イネーブル信号ＤＥnbは、水平走査期間Ｈdが無効水平走査期間Ｈd-Ｄである場合には、水平有効データ期間ＤＨＩにおいて非アクティブ（すなわち、ＤＥnbはローレベル）となる。そして、画像信号出力部２３は、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]（画像信号ＤGB[m]）の代わりに、無効信号Ｄmyを出力する。一方、イネーブル信号ＤＥnbは、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩ以外の期間（水平同期期間ＤＨp、水平バックポーチ期間ＤＨb、水平フロントポーチ期間ＤＨf）においても非アクティブとなる。画像信号出力部２３は、無効水平走査期間Ｈd-Ｄのうち、水平有効データ期間ＤＨＩ以外の期間において、画像信号Ｄ[m]（画像信号ＤGB[m]）の出力を停止して、無効ライン信号ＤGB-dmyを出力する。
なお、タイミングジェネレーター３２は、出力制御部３１が出力する出力制御信号ＣTRに基づいて、水平走査期間Ｈdを有効水平走査期間Ｈd-Ａ又は無効水平走査期間Ｈd-Ｄのいずれにするか、換言すれば、水平有効データ期間ＤＨＩにおいてイネーブル信号ＤＥnbをアクティブとするか否かを決定する。この、出力制御信号ＣTR、イネーブル信号ＤＥnb、及び、水平走査期間Ｈdの種類の関係については、後述する。

図１７は、タイミングジェネレーター３２が生成する各種信号と、液晶パネル４２の表示領域ＡDにおける画像の表示タイミングとの関係を説明するための説明図である。
この図に示すように、表示領域ＡDの有する第１行のラインから第Ｍ行のラインに至るＭ行×Ｎ列の画素は、垂直走査期間Ｆdのうち、垂直有効データ信号ＤＶactiveがアクティブとなる垂直有効データ期間ＤＶＩにおいて、画像信号Ｄ[1]〜Ｄ[M]の示す１画面分の画像を表示する。
また、表示領域ＡDのうち第ｍ行のラインを構成するＮ個の画素は、水平走査期間Ｈd（有効水平走査期間Ｈd-Ａ）のうち、イネーブル信号ＤＥnbがアクティブとなる水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[m]の示す画像を表示する。
なお、垂直有効データ期間ＤＶＩは、当該垂直有効データ期間ＤＶＩに含まれる無効水平走査期間Ｈd-Ｄの個数によって延長されるが、この図では、垂直有効データ期間ＤＶＩに含まれる水平走査期間Ｈdは全て有効水平走査期間Ｈd-Ａである場合を想定している。

次に、図１８を参照しつつ、左側表示部４０−１について説明する。
図１８は、左側表示部４０−１の構成を示すブロック図である。上述のとおり、左側表示部４０−１は、液晶パネル４２の動作を制御するコントローラー４１と、画像信号Ｄに応じた画像を表示するための液晶パネル４２と、を備える。
液晶パネル４２には、上述のとおり、画像信号Ｄに応じた画像を表示するための表示領域ＡDが設けられている。表示領域ＡDは、図１７においてＸ軸方向に延在するＭ行の走査線と、Ｙ軸方向に延在するＮ列のデータ線と、走査線及びデータ線の交差に対応しても受けられるＭ行×Ｎ列の画素と、を含んで構成されている。また、液晶パネル４２は、走査線を選択するための走査線駆動回路４２１と、データ線を駆動するためのデータ線駆動回路４２２と、を備える。

コントローラー４１は、画像信号出力部２３から画像信号Ｄ（画像信号ＤGB）が入力されるデータ入力部４１１と、各垂直有効データ期間ＤＶＩにおいて有効水平走査期間Ｈd-Ａの個数（イネーブル信号ＤＥnbがアクティブとなる回数）をカウントするカウンター４１２と、液晶パネル４２の駆動タイミングを規定する各種タイミング信号を生成するタイミング生成部４１３と、液晶パネル４２に対して画像信号Ｄ（画像信号ＤGC）を出力するデータ出力部４１４と、コントローラー４１の動作を規定する設定パラメーターＰRMを格納するためのレジスタ４１５と、を備える。
なお、本実施形態において、各画像処理回路１００（画像信号生成部２０、及び、タイミング制御部３０）とコントローラー４１との間のデータ伝送は、パラレルインタフェース（図示省略）又は高速シリアルインターフェースによって行う。

レジスタ４１５に設定される設定パラメーターＰRMは、液晶パネル４２の仕様に応じてコントローラー４１を動作させるための、コントローラー４１の動作を規定する値である。
設定パラメーターＰRMとしては、例えば、水平走査期間Ｈdの時間長（又は、水平走査期間Ｈdに含まれる表示ドットクロック信号ＤCLKのクロック数。以下、表示ドットクロック信号ＤCLKのクロック数を、単に「クロック数」と称する）、水平有効データ期間ＤＨＩの時間長（又は、表示領域ＡDにおけるＸ軸方向の画素数（Ｎ））、水平同期期間ＤＨpの時間長（又は、クロック数）、水平バックポーチ期間ＤＨbの時間長（又は、クロック数）、水平フロントポーチ期間ＤＨfの時間長（又は、クロック数）、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄが含まれない場合の垂直有効データ期間ＤＶＩの時間長（又は、表示領域ＡDにおけるＹ軸方向のライン数（Ｍ）。すなわち、垂直有効データ期間ＤＶＩに含まれる有効水平走査期間Ｈd-Ａの個数）、垂直同期期間ＤＶpの時間長（又は、クロック数）、垂直バックポーチ期間ＤＶbの時間長（又は、クロック数）、垂直フロントポーチ期間ＤＶfの時間長（又は、クロック数）、等を含むものであればよい。
本実施形態に係る撮像表示システム１では、画像処理回路１００から、液晶パネル４２の仕様に応じたコントローラー４１の動作タイミングを設定できるので、液晶パネル４２のサイズを変更する場合や、フレームレート等の液晶パネル４２の仕様を変更する場合であっても、コントローラー４１を変更する必要がない。このため、システムの汎用性を向上させることが可能となる。

データ入力部４１１には、画像処理回路１００から、表示ドットクロック信号ＤCLKと、画像信号Ｄ（画像信号ＤGB）、無効ライン信号ＤGB-dmy、及び無効信号Ｄmyを含む画像信号出力部２３からの出力信号と、イネーブル信号ＤＥnbと、が供給される。
データ入力部４１１は、イネーブル信号ＤＥnbがアクティブとなると、当該イネーブル信号ＤＥnbがアクティブの間に表示ドットクロック信号ＤCLKに同期して画像信号出力部２３から供給される１ライン分の画像信号Ｄ[m]を取り込み、取り込んだ画像信号Ｄ[m]をデータ出力部４１４に対して出力する。一方、データ入力部４１１は、イネーブル信号ＤＥnbが非アクティブの場合、画像信号出力部２３から供給される無効信号Ｄmyを取り込まずに破棄する。

カウンター４１２には、画像処理回路１００から、イネーブル信号ＤＥnbと、表示垂直同期信号ＤＶsyncとが供給される。
カウンター４１２は、イネーブル信号ＤＥnbの立ち上がりエッジをカウントし、カウント結果を示すカウント値Ｃntを、タイミング生成部４１３に対して出力する。また、カウンター４１２は、表示垂直同期信号ＤＶsyncがアクティブになり、表示垂直同期信号ＤＶsyncとして垂直同期パルスＰlsＶが供給されると、カウント値Ｃntを「０」にリセットする。このため、カウンター４１２は、各垂直走査期間Ｆdに含まれる有効水平走査期間Ｈd-Ａの個数をカウントすることができる。すなわち、カウント値Ｃntは、データ入力部４１１が第ｍ行のラインで表示すべき画像を指定する画像信号Ｄ[m]を取り込む場合には、当該画像信号Ｄ[m]に対応するライン番号（ｍ）を示す。

タイミング生成部４１３には、画像処理回路１００から、表示垂直同期信号ＤＶsyncと、表示水平同期信号ＤＨsyncと、設定パラメーターＰRMと、が供給され、また、カウンター４１２から、カウント値Ｃntが供給される。
上述のとおり、タイミング生成部４１３は、画像処理回路１００から設定パラメーターＰRMが供給されると、供給された設定パラメーターＰRMをレジスタ４１５に設定する。

タイミング生成部４１３は、カウント値Ｃntが「ｍ」を示す場合には、走査線駆動回路４２１に対して、カウント値Ｃntに対応する第ｍ行のライン（走査線）の選択を行わせる。また、タイミング生成部４１３は、カウント値Ｃntが「ｍ」を示す場合には、データ出力部４１４に対して、データ入力部４１１が取り込んだ１ライン分の画像信号Ｄ[m]を画像信号ＤGC[m]としてデータ線駆動回路４２２に供給させる。この場合、データ線駆動回路４２２は、走査線駆動回路４２１が選択している第ｍ行の走査線に対応して設けられるＮ個の画素（第ｍ行のライン）に対し、データ出力部４１４から供給された画像信号ＤGC[m]を、データ線を介して書き込む。これにより、選択されたラインの画像が表示領域ＡDに表示される。なお、本実施形態では、画像信号ＤGA及びＤGBはデジタルの信号であるが、画像信号ＤGCは、デジタルの信号であってもアナログの信号であってもよい。
このように、コントローラー４１は、画像信号出力部２３から供給された画像信号Ｄの示す画像（すなわち画像信号ＤLの示す画像）を、液晶パネル４２の表示領域ＡDに表示させる。

図１９に、左側フロントＡピラー部ＦＰにおける画像信号ＤLの示す画像の表示例を示す。図示のように、画像信号ＤLの示す画像は、車両Ａのフロントガラスの左側にある左側フロントＡピラー部ＦＰにおいて室内側表面付近の領域Ａ−１において運転者に視認されるように表示される。左側表示部４０−１において、矩形の表示領域ＡDに表示された、画像信号ＤLの示す画像（マスク画像ＭＤ又は調整済みマスク画像ＭＤ’が合成された画像）がピコプロジェクター４０１Lから透過型スクリーン４０２Lに向けて照射されると、透過型スクリーン４０２L上に実像が形成され、その照射光がコンバイナー４０４Lから反射される。コンバイナー４０４Lから反射された照射光のうち、楕円形の開口部ＯpLの内側に至る部分だけが左側フロントＡピラー部ＦＰの外部に出力される結果、図示の例のように、楕円形の像が運転者に視認されることになる。一方、楕円形の開口部ＯpLの外側に至る照射光はマスク画像ＭＤ又は調整済みマスク画像ＭＤ’のうち輝度値が「0」の非透過領域ＡNTに相当するから、この照射光が開口部ＯpLの外側に達しても迷光が生じることはない。

右側後方領域撮像部１０−３、画像処理回路１００−３、及び右側表示部４０−３の構成は、左右の相違がある点を除いて、左側後方領域撮像部１０−１、画像処理回路１００−１、及び左側表示部４０−１の構成と同様である。具体的には、左側表示部４０−１における縮小・拡大処理が図１２Ａ、図１２Ｄ、及び図１２Ｇに示すものである場合には、右側表示部４０−３における縮小・拡大処理は図２０Ａ、図２０Ｂ、及び図２０Ｃにそれぞれ示すものとなる。
図２０Ｄに例示するように、右側後方領域撮像部１０−３が撮像した撮像信号ＤSに基づく画像（画像信号ＤH2の示す画像）は、左右方向において車体に近い領域ＲRC（図２）が車体から遠い領域ＲRRよりも拡大され、上下方向においては中央の領域が拡大されている。画像信号ＤH2は、画像合成部２３０においてマスク画像ＭＤ又は調整済みマスク画像ＭＤ’と合成された後に、画像信号ＤRとして出力される。画像信号ＤRの示す画像は右側表示部４０−３のピコプロジェクター４０１Rから透過型スクリーン４０２Rに向けて投射され、コンバイナー４０４Rによって反射されて、車両Ａのフロントガラスの右側にある右側フロントＡピラー部において室内側表面付近の領域Ａ−３において運転者に視認されるように表示される。
左側表示部４０−１について上述したように、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理において用いる画面の分割比率、垂直方向変倍率、及び水平方向変倍率は任意に設定され得る。

次に、中央後方領域撮像部１０−２、画像処理回路１００−２、及び中央表示部４０−２の構成は、左側後方領域撮像部１０−１、画像処理回路１００−１、及び左側表示部４０−１の構成と同様である。ただし、画像処理回路１００−２の画像処理部２１では、水平方向縮小・拡大処理部２２１による処理と拡大する垂直方向縮小・拡大処理部２２２による処理において、拡大及び縮小の比率が相違する。
図２１は、中央後方領域撮像部１０−２が撮像した撮像信号ＤSCに基づく画像に対して施す拡大・縮小処理の概念図である。図示の例は、撮像信号ＤSCに対してトリミング処理及び左右反転処理を施した画像信号ＤFを示す。図示のように、拡大・縮小処理においては、鏡像生成部２２０から出力された画像信号ＤIの画像を左上領域ＢR1、左中央領域ＢR2、左下領域ＢR3、中央上領域ＢR4、中央領域ＢR5、中央下領域ＢR6、右上領域ＢR7、右中央領域ＢR8、右下領域ＢR9の９つの領域に区分する。左右方向における左の領域ＢRL（図２）と中央の領域ＢRCと右の領域ＢRRとの長さの比、及び上下方向において、上の領域と、中央の領域と、下の領域との長さの比は任意に定めることができる。図２１に示す例では、左右方向を２０％、６０％、及び２０％に分割し、上下方向に２０％、６０％、及び２０％に分割してある。

また、各領域には、所定の水平方向変倍率（左右方向における拡大率又は縮小率）と所定の垂直方向変倍率（上下方向における拡大率又は縮小率）が予め設定される。具体的には、図２１に示すように、左右方向及び上下方向のいずれにおいても端の領域である左上領域ＢR1、左下領域ＢR3、右上領域ＢR7、及び右下領域ＢR9については、左右方向の縮小率及び上下方向の縮小率がともに５０％に設定される。また、左右方向において端の領域ではあるが上下方向において中央の領域である左中央領域ＢR2と右中央領域ＢR8については、左右方向の縮小率が５０％且つ上下方向の拡大率が１３３％に設定される。また、左右方向において中央の領域ではあるが上又は下の領域である中央上領域ＢR4と中央下領域ＢR6については、左右方向の拡大率が１３３％、上下方向の縮小率が５０％に設定される。そして、左右方向及び上下方向のいずれにおいても中央の領域である中央領域ＢR5については、左右方向の拡大率及び上下方向の拡大率がともに１３３％に設定される。このように設定することにより、撮像信号ＤSに基づく画像のうち、車両の運転時の安全確認により必要な領域の視認性を向上することが可能となる。また、例えばバックミラーの鏡面に平面鏡部と凸面鏡部を設けて凸面鏡部に映る鏡像が圧縮されるようにする構成と比較して、物理的な加工処理を不要としつつ、左右及び上下方向における中央の領域の視認性を向上することが可能となる。
このようにして生成された画像信号ＤCの示す画像は中央表示部４０−２のピコプロジェクター４０１Cから透過型スクリーン４０２Cに向けて投射され、コンバイナー４０４Cによって反射されて、車両Ａのフロントガラス下部における領域Ａ−２において運転者に視認されるように表示される。

図２２は、出力制御信号ＣTRと、イネーブル信号ＤＥnbとを説明するための説明図である。
上述のとおり、出力制御部３１は、画像信号Ｄ[m]の出力準備が完了したと判定したとき、つまり、第１条件及び第２条件が充足されたときに、出力制御信号ＣTRに判定結果が肯定であることを示す値を設定する。具体的には、本実施形態では、出力制御部３１は、画像信号Ｄ[m]の出力準備が完了したと判定したときに、出力制御信号ＣTRに一時的にハイレベルに立ち上がるパルス状の波形を設定する。図２２に示すように、出力制御信号ＣTRに設定される画像信号Ｄ[m]を出力する準備が完了した旨の判定結果を示す波形を、出力許可パルスＰL[m]と称する。

上述のとおり、本実施形態に係る出力制御部３１は、画像信号出力部２３から出力完了信号ＰtBが出力されたことをもって、第２の条件が充足されたと看做す。そして、出力制御部３１は、出力完了信号ＰtBが出力されたときに画像信号Ｄ[m]の画像処理が完了しているか（第１条件が充足されているか）否かの判定（第１の判定）を実行することで、画像信号Ｄ[m]の出力準備が完了したか否かを判定する。
図２２に示すように、出力制御部３１が画像信号Ｄ[m]の出力準備が完了したか否かの判定を行う場合において、出力制御部３１が画像信号Ｄ[m]の画像処理が完了したと判定（第１条件が充足されたと判定）するタイミング、つまり、第１の判定の結果が肯定となるタイミングを、画像処理判定時刻ＴA[m]と称する。また、出力制御部３１に出力完了信号ＰtBが供給された（第２条件が充足されたと看做す）タイミングを、表示準備判定時刻ＴB[m]と称する。また、以下では、説明の便宜上、画像処理部２１による画像信号Ｄ[m]の生成が実際に完了した時刻を、画像信号生成時刻ＴC[m]と定義する。つまり、画像信号生成時刻ＴC[m]は、画像処理部２１が書込完了信号ＰtAを出力する時刻と略同じ時刻である。

表示準備判定時刻ＴB[m]は、出力制御部３１からの画像信号Ｄ[m-1]の出力が完了した時刻と略同じ時刻であり、画像信号Ｄ[m-1]が出力される有効水平走査期間Ｈd-Ａ（有効水平走査期間Ｈd-Ａ[m-1]と称する）の水平有効データ期間ＤＨＩが終了する時刻と略同じ時刻である。なお、表示準備判定時刻ＴB[m]の後に最初の水平走査期間Ｈd[m]の水平有効データ期間ＤＨＩが開始される時刻は、「表示可能時刻」の一例である。
なお、本明細書において「略同じ時刻」とは、信号の送受信に起因するタイムラグや、各種処理に起因するタイムラグがある場合において、これらのタイムラグを無視した場合に同一の時刻であると看做すことができる場合を含む概念である。

画像処理判定時刻ＴA[m]は、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]（画像信号ＤGA[m]）の生成が完了している場合、すなわち、表示準備判定時刻ＴB[m]までに画像信号生成時刻ＴC[m]が経過している場合（Ｃase-1と称する）には、表示準備判定時刻ＴB[m]と略同じ時刻となる。
なお、Ｃase-1の場合、表示準備判定時刻ＴB[m]の経過後に、出力制御部３１が、当該表示準備判定時刻ＴB[m]までに出力制御部３１に供給されている書込完了信号ＰtAの示すライン番号ｍaが「ｍ≦ｍa」を満たす旨の判定をし、当該判定をしたタイミングが画像処理判定時刻ＴA[m]であるため、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じと看做す。

一方、画像処理判定時刻ＴA[m]は、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]（画像信号ＤGA[m]）の生成が完了していない場合、すなわち、表示準備判定時刻ＴB[m]までに画像信号生成時刻ＴC[m]が到来していない場合（Ｃase-2と称する）には、画像処理部２１が画像信号Ｄ[m]の生成を完了させた時刻、すなわち、画像信号生成時刻ＴC[m]と略同じ時刻となる。
なお、Ｃase-2の場合、画像処理部２１が画像信号生成時刻ＴC[m]に画像信号Ｄ[m]の生成を完了させた後に、画像処理部２１が書込完了信号ＰtAを出力し、当該書込完了信号ＰtAの供給を受けた出力制御部３１が「ｍ≦ｍa」を満たす旨の判定をしたタイミングが画像処理判定時刻ＴA[m]であるため、画像処理判定時刻ＴA[m]及び画像信号生成時刻ＴC[m]の間にはタイムラグが存在するが、以下では、簡単のために両時刻を略同じと看做す。

出力制御部３１は、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]のうち遅い方の時刻、すなわち、画像処理判定時刻ＴA[m]において、出力制御信号ＣTRに出力許可パルスＰL[m]を設定する。つまり、この出力許可パルスＰL[m]は、画像信号Ｄ[m]についての第１条件及び第２条件が充足されたときに出力される。そして、タイミングジェネレーター３２は、出力許可パルスＰL[m]が出力された後であって第３条件が充足されたとき、換言すれば、出力許可パルスＰL[m]が出力された後に最初にイネーブル信号ＤＥnbがアクティブになるときに、画像信号出力部２３から画像信号Ｄ[m]が出力されるように制御する。
以下、説明の都合上、画像信号Ｄ[m]について、第１条件〜第３条件の全てが充足された時刻を、出力条件充足時刻ＴJ[m]と称する。

本実施形態では、タイミングジェネレーター３２は、出力制御信号ＣTRに基づいて、タイミングジェネレーター３２の内部処理で用いるための内部処理信号ＩSのレベルを決定する。そして、タイミングジェネレーター３２は、内部処理信号ＩSに基づいて、イネーブル信号ＤＥnbをアクティブにするタイミング、及び、水平走査期間Ｈdの種別（有効水平走査期間Ｈd-Ａ又は無効水平走査期間Ｈd-Ｄ）を決定する。

具体的には、タイミングジェネレーター３２は、図２２に示すように、出力制御信号ＣTRに出力許可パルスＰL[m]が設定されると、内部処理信号ＩSをアクティブ（この図の例ではハイレベル）とする。
次に、タイミングジェネレーター３２は、水平走査期間Ｈdが開始されるタイミングにおいて内部処理信号ＩSがアクティブである場合、当該水平走査期間Ｈdの種別を有効水平走査期間Ｈd-Ａ[m]に決定（分類）し、当該有効水平走査期間Ｈd-Ａ[m]の水平有効データ期間ＤＨＩが開始されるタイミングでイネーブル信号ＤＥnbをアクティブにする。このイネーブル信号ＤＥnbがアクティブとなるタイミングが、出力条件充足時刻ＴJ[m]に該当する。
そして、タイミングジェネレーター３２は、当該有効水平走査期間Ｈd-Ａ[m]の水平有効データ期間ＤＨＩが開始されてイネーブル信号ＤＥnbがアクティブとなるタイミング、つまり、出力条件充足時刻ＴJ[m]において、内部処理信号ＩSを非アクティブとする。

一方、タイミングジェネレーター３２は、水平走査期間Ｈdが開始されるタイミングにおいて内部処理信号ＩSが非アクティブである場合、当該水平走査期間Ｈdの種別を無効水平走査期間Ｈd-Ｄに決定（分類）し、当該無効水平走査期間Ｈd-Ｄの間はイネーブル信号ＤＥnbを非アクティブとする。

以下、図２２に示す例において、出力制御部３１が、画像信号Ｄ[2]の出力準備が完了したか否かの判定を行い、出力制御信号ＣTRに出力許可パルスＰL[2]を設定する場合（Ｃase-1に相当）を説明する。
図２２に示す例では、表示準備判定時刻ＴB[2]は、画像信号Ｄ[1]の出力が完了する水平走査期間Ｈd[1]（有効水平走査期間Ｈd-Ａ[1]）の水平有効データ期間ＤＨＩの終了時である。また、この例では、画像信号Ｄ[2]の画像処理が完了する画像信号生成時刻ＴC[2]が、表示準備判定時刻ＴB[2]よりも前に到来する場合を想定している。よって、この例では、画像処理判定時刻ＴA[2]は、表示準備判定時刻ＴB[2]と略同じ時刻となる。このため、出力制御部３１は、水平走査期間Ｈd[1]の水平有効データ期間ＤＨＩの終了時、つまり、表示準備判定時刻ＴB[2]に、出力制御信号ＣTRとして出力許可パルスＰL[2]を出力する。

タイミングジェネレーター３２は、出力制御信号ＣTRとして出力許可パルスＰL[2]が出力されタイミング、つまり、水平走査期間Ｈd[1]の水平有効データ期間ＤＨＩの終了するタイミングにおいて、内部処理信号ＩSをアクティブにする。この場合、内部処理信号ＩSは、水平走査期間Ｈd[2]の開始時においてもアクティブとなっている。このため、タイミングジェネレーター３２は、水平走査期間Ｈd[2]を有効水平走査期間Ｈd-Ａ[2]とし、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbをアクティブにする。
すなわち、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩの開始時刻が、画像信号Ｄ[2]についての第１条件〜第３条件の全てが充足された出力条件充足時刻ＴJ[2]となる。このため、水平走査期間Ｈd[2]において、画像信号Ｄ[2]が出力されることになる。また、タイミングジェネレーター３２は、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩが開始されるタイミングにおいて、内部処理信号ＩSを非アクティブとする。

次に、図２２に示す例において、出力制御部３１が、画像信号Ｄ[3]の出力準備が完了したか否かの判定を行い、出力制御信号ＣTRに出力許可パルスＰL[3]を設定する場合（Ｃase-2に相当）を説明する。
図２２に示す例では、表示準備判定時刻ＴB[3]は、画像信号Ｄ[2]の出力が完了する水平走査期間Ｈd[2]（有効水平走査期間Ｈd-Ａ[2]）の水平有効データ期間ＤＨＩの終了時である。この例では、画像信号Ｄ[3]の画像処理が完了する画像信号生成時刻ＴC[3]が、表示準備判定時刻ＴB[3]よりも後となる場合を想定している。よって、画像処理判定時刻ＴA[3]は、表示準備判定時刻ＴB[3]よりも後の時刻となる。また、この例では、画像信号生成時刻ＴC[3]が、水平走査期間Ｈd[3]の開始時よりも後となる場合を想定している。このため、出力制御部３１は、水平走査期間Ｈd[3]の開始時よりも後の時刻に、出力許可パルスＰL[3]を出力する。

上述のとおり、タイミングジェネレーター３２は、内部処理信号ＩSを、水平走査期間Ｈd[2]の水平有効データ期間ＤＨＩの開始時に非アクティブとする。このため、内部処理信号ＩSは、水平走査期間Ｈd[3]の開始時に非アクティブとなっている。よって、タイミングジェネレーター３２は、水平走査期間Ｈd[3]を無効水平走査期間Ｈd-Ｄとして分類し、水平走査期間Ｈd[3]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbを非アクティブにする。この場合、画像信号出力部２３は、水平走査期間Ｈd[3]の水平有効データ期間ＤＨＩにおいて、画像信号Ｄ[3]を出力せずに、無効信号Ｄmyを出力する。

その後、タイミングジェネレーター３２は、出力制御信号ＣTRとして出力許可パルスＰL[3]が出力されるタイミングにおいて、内部処理信号ＩSをアクティブにする。この例では、出力許可パルスＰL[3]が出力されるタイミングは、水平走査期間Ｈd[4]の開始前である。この場合、内部処理信号ＩSは、水平走査期間Ｈd[4]の開始時においてもアクティブとなっている。このため、タイミングジェネレーター３２は、水平走査期間Ｈd[4]を有効水平走査期間Ｈd-Ａ[3]とし、水平走査期間Ｈd[4]の水平有効データ期間ＤＨＩにおいて、イネーブル信号ＤＥnbをアクティブにする。

すなわち、水平走査期間Ｈd[4]の水平有効データ期間ＤＨＩの開始時刻が、画像信号Ｄ[3]についての第１条件〜第３条件の全てが充足された出力条件充足時刻ＴJ[3]となる。このため、水平走査期間Ｈd[4]において、画像信号Ｄ[3]が出力されることになる。
なお、この図に示す例では、出力制御部３１が、画像信号Ｄ[1]の出力準備が完了したか否かの判定を行い出力制御信号ＣTRに出力許可パルスＰL[1]を設定する場合、及び、画像信号Ｄ[1]の出力準備が完了したか否かの判定を行い出力制御信号ＣTRに出力許可パルスＰL[1]を設定する場合は、Ｃase-1である場合を想定している。

このように本実施形態では、出力制御部３１は、第１条件及び第２条件が充足されときに、出力許可パルスＰL[m]を出力する。そして、画像信号出力部２３は、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈdにおいて、画像信号Ｄ[m]を出力する。このため、画像処理部２１による画像処理等により、ある水平走査期間Ｈdにおいて画像信号出力部２３から画像信号Ｄ[m]を出力できない場合において、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミングを、水平走査期間Ｈdの精度で調整することができる。

なお、図２２に示す例では、タイミングジェネレーター３２は、水平走査期間Ｈdの種別を、水平走査期間Ｈdが開始されるタイミングで決定しているが、これは一例に過ぎず、例えば、出力許可パルスＰL[m]が出力される水平走査期間Ｈdの水平フロントポーチ期間ＤＨfの開始から、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈdの水平バックポーチ期間ＤＨbの終了までの間に決定すればよい。
また、図２２に示す例では、内部処理信号ＩSを非アクティブとするタイミングを、イネーブル信号ＤＥnbがアクティブとなるタイミングとしているが、これは一例に過ぎず、タイミングジェネレーター３２が内部処理信号ＩSを非アクティブとするタイミングは、イネーブル信号ＤＥnbがアクティブとなってから非アクティブとなるまでの水平有効データ期間ＤＨＩの間であればいつでもよい。

また、本実施形態において、タイミングジェネレーター３２は、内部処理信号ＩSを用いて、イネーブル信号ＤＥnbの波形と、水平走査期間Ｈdの種別とを決定しているが、これは一例に過ぎず、内部処理信号ＩSを用いずに、出力制御信号ＣTRに基づいて、これらを決定してもよい。
また、本実施形態において、出力制御信号ＣTRは、出力許可パルスＰL[m]を含む波形となっているが、これは一例であり、出力制御信号ＣTRは、例えば、図２２に示す内部処理信号ＩSの波形を有していてもよい。この場合、タイミングジェネレーター３２は、出力制御部３１が出力制御信号ＣTRの波形の決定をするために必要なイネーブル信号ＤＥnb等の各種信号を、出力制御部３１に供給すればよい。

図２３は、有効水平走査期間Ｈd-Ａ及び無効水平走査期間Ｈd-Ｄと、垂直走査期間Ｆdとの関係を説明するための説明図である。
垂直走査期間Ｆdは、Ｍ行のラインに対応する画像信号Ｄ[1]〜Ｄ[M]を出力する期間である。このため、タイミングジェネレーター３２は、各垂直走査期間Ｆdの垂直有効データ期間ＤＶＩに、Ｍ個の有効水平走査期間Ｈd-Ａを設ける。

一方、本実施形態に係るタイミングジェネレーター３２は、水平走査期間Ｈdを、有効水平走査期間Ｈd-Ａ又は無効水平走査期間Ｈd-Ｄの何れかに分類する。そして、水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合にのみ、当該水平走査期間Ｈdにおいて画像信号Ｄ[m]が出力される。
このため、本実施形態に係るタイミングジェネレーター３２は、垂直走査期間Ｆdの垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを設ける場合には、当該無効水平走査期間Ｈd-Ｄに相当する時間長だけ垂直有効データ期間ＤＶＩを延長し、各垂直走査期間Ｆdの垂直有効データ期間ＤＶＩにＭ個の有効水平走査期間Ｈd-Ａを設けるように、表示垂直同期信号ＤＶsync及び垂直有効データ信号ＤＶactiveを出力する。

例えば、タイミングジェネレーター３２は、図２３（Ａ）に示す垂直走査期間Ｆd1のように、垂直有効データ期間ＤＶＩの全ての水平走査期間Ｈdを有効水平走査期間Ｈd-Ａとする場合には、垂直有効データ期間ＤＶＩの時間長を、水平走査期間ＨdのＭ倍の時間長とする。
一方、タイミングジェネレーター３２は、図２３（Ｂ）に示す垂直走査期間Ｆd2のように、垂直有効データ期間ＤＶＩに１又は複数の無効水平走査期間Ｈd-Ｄを設ける場合には、垂直有効データ期間ＤＶＩの時間長が、水平走査期間ＨdのＭ倍の時間長と、垂直有効データ期間ＤＶＩに存在する１又は複数の無効水平走査期間Ｈd-Ｄの合計の時間長と、を加算した時間長とする。
つまり、タイミングジェネレーター３２は、垂直走査期間Ｆdの時間長を、水平走査期間Ｈdの単位で調整することで、各垂直走査期間Ｆdにおいて画像信号出力部２３が画像信号Ｄ[1]〜Ｄ[M]を出力することを可能としている。

なお、図２３（Ａ）に示す垂直走査期間Ｆd1のように、垂直有効データ期間ＤＶＩの全ての水平走査期間Ｈdが有効水平走査期間Ｈd-Ａである場合における、垂直走査期間Ｆdの時間長を、標準垂直走査時間Ｔdと称する。また、表示部４０で表示可能な最高のフレームレート、すなわち、垂直走査期間Ｆdの時間長が標準垂直走査時間Ｔdである場合のフレームレートである「１／Ｔd」を、「第２フレームレート」と称する場合がある。また、タイミング制御部３０が実行するタイミングの制御のうち、第２フレームレートにより画像信号Ｄが出力されるようにタイミングを制御することを、「第１のタイミング制御」と称する場合がある。

また、図２３（Ｂ）に示す垂直走査期間Ｆd2のように、垂直有効データ期間ＤＶＩに１又は複数の無効水平走査期間Ｈd-Ｄが設けられる場合における、当該１又は複数の無効水平走査期間Ｈd-Ｄの時間長の合計値を、延長垂直走査時間Ｔexと称する。つまり、垂直有効データ期間ＤＶＩに１又は複数の無効水平走査期間Ｈd-Ｄが設けられる場合の垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔdと延長垂直走査時間Ｔexとの合計である。なお、タイミング制御部３０が実行するタイミングの制御のうち、１又は複数の無効水平走査期間Ｈd-Ｄが設けられる垂直有効データ期間ＤＶＩにおいて画像信号Ｄが出力されるようにタイミングを制御することを、「第２のタイミング制御」と称する場合がある。詳細は後述するが、第２のタイミング制御において、タイミング制御部３０は、第１フレームレートにより画像信号Ｄが出力されるようにタイミングを制御する。

なお、コントローラー４１は、カウント値Ｃntが、レジスタ４１５に設定された表示領域ＡDのライン数「Ｍ」と等しくなったことを検出した場合、検出後に最初に表示水平同期信号ＤＨsyncが供給されるタイミング、つまり、垂直フロントポーチ期間ＤＶfが開始されるタイミングで、データ入力部４１１及びデータ出力部４１４に対して、改フレーム処理の準備に入る。そして、垂直フロントポーチ期間ＤＶfが開始された後、タイミング生成部４１３は、データ入力部４１１及びデータ出力部４１４に対して、改フレーム処理の実行を指令するための改フレーム処理開始信号Ｃngを出力する。
ここで、改フレーム処理とは、次の垂直走査期間Ｆdにおいて画像を表示する準備のための処理であり、例えば、データ入力部４１１及びデータ出力部４１４が備えるバッファに記憶されたデータの消去を実行する処理等が含まれる。改フレーム処理は、垂直フロントポーチ期間ＤＶfの開始以後に開始される。また、改フレーム処理は、垂直フロントポーチ期間ＤＶfの終了までに終了することが好ましい。

次に、撮像部１０からの撮像信号ＤS[p]の出力タイミングと、画像信号生成部２０からの画像信号Ｄ[m]の出力タイミングとの関係について説明する。
図２４は、連続する複数の垂直走査期間Ｆs（Ｆs0〜Ｆs3）のうち、垂直走査期間Ｆs1〜Ｆs3のそれぞれにおいて、撮像部１０が撮像信号ＤS（ＤS[1]〜ＤS[P]）を出力するタイミングと、当該撮像信号ＤSに基づいて、画像処理部２１が画像信号Ｄ（Ｄ[1]〜Ｄ[M]）つまり画像信号ＤGA（ＤGA[1]〜ＤGA[M]）を生成し、生成した画像信号ＤGAをラインバッファ２２に格納するタイミングと、連続する複数の垂直走査期間Ｆd（Ｆd0〜Ｆd3）のうち、垂直走査期間Ｆd1〜Ｆd3のそれぞれにおいて、画像信号出力部２３が、ラインバッファ２２から画像信号Ｄつまり画像信号ＤGB（ＤGB[1]〜ＤGB[M]）を取得してこれを表示部４０に対して出力するタイミングと、の関係を、概略的に示すタイミングチャートである。なお、垂直走査期間Ｆsのうち、撮像信号ＤSが出力される期間を、「撮像信号ＤSのフレーム」と称する。また、垂直走査期間Ｆdのうち、画像信号Ｄが出力されうる期間である垂直有効データ期間ＤＶＩを「画像信号Ｄのフレーム」と称する。そして、図２４に示すように、撮像信号ＤSのフレームの開始から、画像信号Ｄの開始までの時間を、位相差ＰDと称する。

図２４では、説明の都合上、垂直走査期間Ｆs0〜Ｆs3において出力される撮像信号ＤS[p]を、それぞれ、撮像信号ＤS0[p]〜ＤS3[p]と区別して表現することがある。
また、図１０において説明したとおり、画像処理部２１における画像信号Ｄ[1]〜Ｄ[M]の生成という視点から見れば、撮像部１０から出力される撮像信号ＤS[1]〜ＤS[P]は、撮像信号ＤGS[1]〜ＤGS[M]である。以下では、説明の都合上、垂直走査期間Ｆs0〜Ｆs3において出力される撮像信号ＤGS[m]を、それぞれ、撮像信号ＤGS0[m]〜ＤGS3[m]として区別して表現することがある。
同様に、撮像信号ＤGS0[m]〜ＤGS3[m]に基づいて生成される画像信号Ｄ[m]（ＤGA[m]、ＤGA[m]）を、それぞれ、画像信号Ｄ0[m]〜Ｄ3[m]（ＤGA0[m]〜ＤGA3[m]、ＤGB0[m]〜ＤGB3[m]）として区別して表現することがある。

上述のとおり、撮像部１０は、撮像水平同期信号ＳＨsync毎に撮像信号ＤS[1]〜ＤS[P]を順番に出力する。また、画像処理部２１は、撮像信号ＤGS[m]に対応する撮像信号ＤS[p]の供給が開始されると、画像信号ＤGA[m]を生成するための画像処理を開始する。つまり、画像処理部２１が、画像信号ＤGA[m]を生成するための画像処理を開始するタイミングは、ラインによって異なる。

図２４では、撮像部１０が撮像信号ＤGS[1]〜ＤGS[M]を画像処理部２１に供給するタイミングを線Ｌ1で表す。つまり、線Ｌ1は、画像処理部２１が、画像信号ＤGA[1]〜ＤGA[M]のそれぞれを生成するための画像処理をライン毎に順番に開始する様子（タイミング）を、線Ｌ1で表す。
また、画像処理部２１による画像信号ＤGA[1]〜ＤGA[M]の生成が完了し、これらがライン毎に順番にラインバッファ２２に格納される様子（タイミング）を、線Ｌ2で表す。画像信号出力部２３は、画像信号ＤGA[m]の生成が完了した後に画像信号ＤGB[m]を出力する。よって、画像信号ＤGB[m]が、線Ｌ2の示す時刻よりも前の時刻に出力されることはない。なお、線Ｌ2は、図２２で説明した画像信号生成時刻ＴC[1]〜ＴC[M]を結んだ線である。

また、画像信号出力部２３が、表示部４０にとって理想的なタイミングで画像信号ＤGB[1]〜ＤGB[M]を供給する場合、すなわち、表示部４０が表示可能な最高のフレームレート（垂直走査期間Ｆdの時間長が標準垂直走査時間Ｔdである場合のフレームレート）で表示するように画像信号ＤGB[1]〜ＤGB[M]を供給する場合の、画像信号出力部２３が画像信号ＤGB[1]〜ＤGB[M]をライン毎に順番に出力するタイミングを、線Ｌ3で表す。つまり、線Ｌ3は、表示部４０が１ライン分の画像を表示可能な水平走査期間Ｈd毎に、画像信号出力部２３が１ライン分の画像信号ＤGB[m]を出力すると仮定した場合（つまり、表示部４０のフレームレートが第２フレームレートである場合）に、表示部４０が画像信号ＤGB[1]〜ＤGB[M]の示す画像を水平走査期間Ｈd毎にライン順に表示するタイミングを示す線であり、水平走査期間Ｈd毎に１ライン増加するような傾きを有する。すなわち、線Ｌ3は、垂直有効データ期間ＤＶＩに含まれる水平走査期間Ｈdの全てが有効水平走査期間Ｈd-Ａである場合を想定したものであり、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄが含まれる場合も想定したうえで、第ｍ-1行の画像信号Ｄ[m-1]の出力の完了（第２条件の充足）を前提とした画像信号Ｄ[m]の出力時刻を示す表示準備判定時刻ＴB[m]とは、必ずしも一致しない。
画像信号出力部２３は、表示部４０が表示可能であるときに画像信号ＤGB[m]を出力する。よって、画像信号ＤGB[m]が、線Ｌ3の示す時刻よりも前の時刻に出力されることはない。

また、図２４では、ライン毎の画像信号ＤGA[m]を生成するための画像処理に要する時間を、画像処理時間ＵAとしている。以下では、説明の都合上、画像信号ＤGA0[m]〜ＤGA3[m]のそれぞれに対応する画像処理時間ＵAを、画像処理時間ＵA0〜ＵA3として区別して表現することがある。
また、図２４では、画像信号ＤGA[m]がラインバッファ２２に格納されてから、画像信号出力部２３により表示部４０に対して出力されるまでの時間を待機時間ＵBとしている。以下では、説明の都合上、画像信号ＤGB0[m]〜ＤGB3[m]のそれぞれに対応する待機時間ＵBを、待機時間ＵB0〜ＵB3として区別して表現することがある。

上述のとおり、撮像信号ＤS[1]〜ＤS[P]と、撮像信号ＤGS[1]〜ＤGS[M]とは１対１に対応するものではなく、各ラインに対応する画像信号Ｄ[m]を生成する画像処理の開始間隔は変動することがある。このため、線Ｌ1は通常は直線とはならずに折れ線となるが、図２４では、図示の都合上直線として描いている。なお、線Ｌ1を直線とした場合（例えば、線Ｌ1の始点と終点とを直線とつないだ場合）、線Ｌ1の傾きは、撮像部１０のフレームレートである第１フレームレートに応じて定められる。
また、上述のとおり、撮像信号ＤGS[1]〜ＤGS[M]のそれぞれに含まれる撮像信号ＤS[p]のライン数は、ラインの位置によって異なる場合がある。つまり、画像処理部２１は、図１０で説明したように、３ライン分の撮像信号ＤS[p]からなる撮像信号ＤGS[m]に基づいて画像信号ＤGA[m]を生成する場合もあれば、５ライン分の撮像信号ＤS[p]からなる撮像信号ＤGS[m]に基づいて画像信号ＤGA[m]を生成する場合もあり、後者の場合は前者の場合と比較して画像処理時間ＵAは長くなる。すなわち、画像処理部２１が、画像信号ＤGA[1]〜ＤGA[M]を生成するための画像処理時間ＵAは、通常、ラインの位置に応じて変動する。このため、線Ｌ2は通常は直線とはならずに折れ線となるが、図２４では、図示の都合上直線として描いている。

図２４に示すように、垂直走査期間Ｆs1において撮像部１０から出力される撮像信号ＤS1[p]（ＤGS1[m]）に基づいて画像処理部２１が画像信号Ｄ1[m]（ＤGA1[m]）を生成する時刻を示す線Ｌ2は、垂直走査期間Ｆd1において表示部４０が画像信号Ｄ1[m]（ＤGA1[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ3よりも時間的に先行している。このような、線Ｌ2が線Ｌ3よりも時間的に先行している状態を「第１の状態」と称する。

すなわち、第１の状態とは、画像処理部２１が撮像信号ＤS[p]に基づいて画像信号Ｄ[m]を生成したときに、表示部４０において当該画像信号Ｄ[m]の示す画像を表示する準備ができていない、という状態である。ここで、表示部４０において画像信号Ｄ[m]を表示する準備ができていない場合とは、例えば、画像信号Ｄ1[m]が生成されたときに、表示部４０が画像信号Ｄ1の前に表示すべき画像信号Ｄ0の示す画像を表示中であり、表示部４０が画像信号Ｄ1[m]の示す画像を表示できない場合等である。
つまり、第１の状態においては、画像処理部２１が画像信号Ｄ[m]を生成しても、画像信号Ｄ[m]を表示するための表示部４０側の準備が間に合っていないため、表示部４０における画像の表示が、表示部４０側の表示準備がボトルネックとなって、遅延する状態である。換言すれば、第１の状態は、表示部４０が画像信号Ｄ[m]を表示可能となったタイミングにおいて、遅延することなく速やかに画像信号Ｄ[m]を表示することができる、という状態である。

ところで、表示部４０で１つの画面を表示するために必要な時間（周期）は、撮像部１０で１つの画面を撮像するために必要な時間（周期）よりも短いため、表示部４０側における表示準備がボトルネックとなる表示の遅延は、徐々に縮小されて解消されるに至る。
図２４では、図示の都合上、第１の状態として、１つの垂直走査期間Ｆs（Ｆs1）及び１つの垂直走査期間Ｆd（Ｆd1）の１組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する場合がある。この場合、第１の状態における、位相差ＰD1（第１の状態における位相差ＰDとして、図２４に示すように符号ＰD1を付する）は、垂直走査期間Ｆdと垂直走査期間Ｆsの差分に相当する時間ずつ短くなる。換言すれば、垂直走査期間の組毎に線Ｌ3と線Ｌ2との距離は、概ね、垂直走査期間Ｆdと垂直走査期間Ｆsの差分に相当する時間ずつ短くなる。
表示部４０側における表示準備がボトルネックとなる表示の遅延が解消される前は、線Ｌ2が線Ｌ3よりも時間的に先行する。一方、表示準備がボトルネックとなる表示の遅延が解消された後は、線Ｌ3が線Ｌ2よりも時間的に先行する。すなわち、表示準備がボトルネックとなる表示の遅延が解消されるタイミングにおいて、線Ｌ2と線Ｌ3がクロスする。なお、上述のとおり、線Ｌ2は直線とはならず、折れ線となる場合が存在する。この場合、線Ｌ2及び線Ｌ3のクロスは、複数回生じることがある。

図２４に示す例では、垂直走査期間Ｆs2において撮像部１０が出力する撮像信号ＤS2[p]（ＤGS2[m]）に基づいて、画像処理部２１が画像信号Ｄ2[m]（ＤGA2[m]）を生成する時刻を示す線Ｌ2は、垂直走査期間Ｆd2において表示部４０が画像信号Ｄ2[m]（ＤGA2[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ3とクロスしている。このような、線Ｌ2と線Ｌ3がクロスする状態を、「第２の状態」と称する。なお、線Ｌ2及び線Ｌ3のクロスが複数回生じる場合には、このようなクロスが最初に生じる状態を、「第２の状態」と称する。また、線Ｌ2と線Ｌ3がクロスする時刻を、時刻Ｔthと称する。なお、線Ｌ2及び線Ｌ3のクロスが複数回生じる場合には、最初にクロスが生じる時刻を時刻Ｔthとする。

すなわち、第２の状態とは、画像処理部２１が撮像信号ＤS[p]に基づいて画像信号Ｄ[m]を生成したときに表示部４０において当該画像信号Ｄ[m]の示す画像を表示する準備ができていないという状態（常に線Ｌ2が線Ｌ3よりも時間的に先行する状態）から、表示部４０において画像信号Ｄ[m]の示す画像を表示可能となったときに画像処理部２１が画像信号Ｄ[m]を生成するための画像処理を完了していない場合が存在するという状態（線Ｌ3が線Ｌ2よりも時間的に先行する場合が存在するという状態）へと遷移することをいう。
つまり、第２の状態は、時刻Ｔth以前においては、表示部４０が画像信号Ｄ[m]の示す画像を表示することが可能となるタイミングにおいて、遅延することなく画像信号Ｄ[m]の示す画像を表示されるという状態であり、一方、時刻Ｔth以後においては、表示部４０側において画像信号Ｄ[m]を表示することが可能となる時刻に至っても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合っていないため、表示部４０における画像の表示が、画像処理部２１の画像処理がボトルネックとなって遅延する場合が存在する、という状態である。この、第２の状態における、位相差ＰD2（第２の状態における位相差ＰDとして、図２４に示すように符号ＰD2を付する）は、図２４に示すように位相差ＰD1よりも短くなる。

なお、時刻Ｔth以降においては、タイミングジェネレーター３２が、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入して、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミング（表示部４０における画像信号Ｄ[m]の示す画像の表示タイミング）を調整する。これにより、表示部４０は、画像信号Ｄ[m]を生成するための画像処理の完了を待って、画像信号Ｄ[m]が生成されると、ただちに（水平走査期間Ｈd以下の時間内に）、当該画像信号Ｄ[m]の示す画像を表示することができる。すなわち、時刻Ｔth以降は、無効水平走査期間Ｈd-Ｄの挿入により、画像信号出力部２３からの画像信号Ｄ[m]（ＤGB[m]）の出力タイミングを調整することで、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させる。

図２４に示すように、垂直走査期間Ｆd3において表示部４０が画像信号Ｄ3[m]（ＤGA3[m]）の示す画像を表示可能となる最早の時刻を示す線Ｌ3は、垂直走査期間Ｆs3において出力される撮像信号ＤS3[p]（ＤGS3[m]）に基づいて画像処理部２１が画像信号Ｄ3[m]（ＤGA3[m]）を生成する時刻を示す線Ｌ2よりも時間的に先行している。このような、線Ｌ3が線Ｌ2よりも時間的に先行している状態を、「第３の状態」と称する。換言すれば、時刻Ｔth以降に開始される垂直走査期間Ｆs及び垂直走査期間Ｆdにおける状態が、第３の状態である。

すなわち、第３の状態とは、表示部４０において画像信号Ｄ[m]の示す画像を表示する準備が完了したときに、画像処理部２１が画像信号Ｄ[m]を生成するための画像処理を完了していない場合が恒常的に生じているという、状態である。
つまり、第３の状態においては、画像信号Ｄ[m]を表示するための表示部４０側の準備が完了しても、画像信号Ｄ[m]を生成するための画像処理部２１における画像処理が間に合っていないという状況が恒常的に生じているため、表示部４０における画像の表示が、画像処理部２１の画像処理がボトルネックとなって、遅延する状態である。
この、第３の状態における、位相差ＰD3（第３の状態における位相差ＰDとして、図２４に示すように符号ＰD3を付する）は、図２４に示すように、位相差ＰD2よりも短くなる。なお、第１の状態における位相差ＰD1は、画像処理時間ＵA（より具体的には、画像処理時間ＵA[1]〜ＵA[M]の最大値）よりも大きく、第３の状態における位相差ＰD3は、画像処理時間ＵA（より具体的には、画像処理時間ＵA[1]〜ＵA[M]の最大値）よりも小さい。

なお、第３の状態においても、タイミングジェネレーター３２が、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入して、表示部４０における画像信号Ｄ[m]の示す画像の表示タイミングを調整する。これにより、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させることが可能となる。
上述のとおり、画像処理時間ＵAはライン毎に変動する。しかし、その変動幅は、垂直走査期間Ｆsに比べれば十分に小さい。このため、画像信号Ｄ[m]の出力のタイミング（表示部４０側の表示タイミング）を、画像処理部２１における画像処理の完了タイミングに追従させている状態においては、撮像部１０が撮像信号ＤS3を出力している期間の時間長と、画像信号出力部２３が画像信号ＤGB3を出力している期間の時間長とは、略同じとなる。換言すれば、第３の状態においては、タイミング制御部３０は、表示部４０のフレームレートを撮像部１０のフレームレートである第１フレームレートとなるように、画像信号Ｄ[m]が出力されるタイミングを調整していることになる（第２のタイミング制御）。

なお、図２４では、図示の都合上、第３の状態として、１つの垂直走査期間Ｆs（Ｆs3）及び１つの垂直走査期間Ｆd（Ｆd3）の１組の垂直走査期間しか記載していないが、実際には複数の組の垂直走査期間が存在する。第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、撮像部１０が撮像信号ＤS3を出力している期間の時間長と、画像信号出力部２３が画像信号ＤGB3を出力している期間の時間長とが、略同じととなるように、画像信号Ｄ[m]が出力されるタイミングが調整される。すなわち、第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、表示部４０のフレームレートが撮像部１０のフレームレートである第１フレームレートとなるように、画像信号Ｄ[m]が出力されるタイミングが調整される。このため、第３の状態では、複数の組の垂直走査期間のそれぞれにおいて、位相差ＰD3が略同じ時間長となる。

以下、図２４及び図２５を参照しつつ、垂直走査期間Ｆs1において撮像部１０が出力する撮像信号ＤS1（ＤGS1）と、垂直走査期間Ｆd1において画像信号生成部２０が表示部４０に出力する画像信号Ｄ1（ＤGB1）との関係を例にとって、第１の状態について説明する。

図２５は、撮像信号ＤS1[p]（撮像信号ＤGS1[m]）と、画像信号Ｄ1[m]（画像信号ＤGA1[m]及び画像信号ＤGB1[m]）との関係を説明するためのタイミングチャートである。
なお、図２５と、後述する図２６及び図２７では、簡単のために、撮像信号ＤSの示す画像のライン数が５ライン（Ｐ＝５）であり、画像信号Ｄの示す画像のライン数が４ライン（Ｍ＝４）である場合を想定する。また、図２５乃至図２７に示す例では、撮像信号ＤGS[1]が、撮像信号ＤS[1]及びＤS[2]を含み、撮像信号ＤGS[2]が、撮像信号ＤS[2]及びＤS[3]を含み、撮像信号ＤGS[3]が、撮像信号ＤS[3]及びＤS[4]を含み、撮像信号ＤGS[4]が、撮像信号ＤS[4]及びＤS[5]を含む場合を想定する。すなわち、図２５乃至図２７に示す例では、画像信号Ｄ[1]が、撮像信号ＤS[1]及びＤS[2]に基づいて生成され、画像信号Ｄ[2]が、撮像信号ＤS[2]及びＤS[3]に基づいて生成され、画像信号Ｄ[3]が、撮像信号ＤS[3]及びＤS[4]に基づいて生成され、画像信号Ｄ[4]が、撮像信号ＤS[4]及びＤS[5]に基づいて生成される場合を想定する。また、図２５乃至図２７に示す例では、線Ｌ2及び線Ｌ3のクロスは、１回のみ生じる場合を想定する。

図２５に示すように、撮像部１０から、撮像信号ＤS1[m]及びＤS1[m+1]からなる撮像信号ＤGS1[m]の出力が開始されると、画像処理部２１は、当該撮像信号ＤGS1[m]に基づいて画像信号ＤGA1[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA1[m]の経過後に画像信号ＤGA1[m]の生成を完了し、これをラインバッファ２２に格納する。
一方、図２５に示す例は、上述した第１の状態を例示するものであり、線Ｌ2が線Ｌ3よりも時間的に先行する。つまり、図２５に示す例では、画像処理部２１による画像信号ＤGA1[m]の生成が完了したタイミングでは、表示部４０において画像信号ＤGB1[m]の示す画像を表示する準備ができていない。換言すれば、画像処理部２１による画像信号ＤGA1[m]の生成が完了したタイミングでは、出力制御部３１から出力許可パルスＰL[m]が出力されていない。
このため、画像信号出力部２３は、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈd1[m]まで、待機時間ＵB1[m]だけ画像信号ＤGB1[m]の出力を待ち、その後、水平走査期間Ｈd1[m]において画像信号ＤGB1[m]を出力する。

また、図２５に例示する第１の状態は、画像処理部２１による画像処理の完了までに表示部４０による表示準備が間に合わない場合である。換言すれば、水平走査期間Ｈd1[m]が開始されるまでに、画像処理部２１による画像信号ＤGA1[m]の生成が完了し、画像信号出力部２３から画像信号ＤGB1[m]を出力可能な状態となっている。このため、図２５に例示する第１の状態では、垂直走査期間Ｆd1の垂直有効データ期間ＤＶＩに含まれる全ての水平走査期間Ｈdが、有効水平走査期間Ｈd-Ａとなる。すなわち、第１の状態において、垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔdとなる。

このように、図２５に例示する第１の状態では、画像信号Ｄ1を生成するための画像処理は十分に余裕を持って完了しているものの、表示部４０側の表示準備がボトルネックとなって、表示部４０における表示が遅延する。
このため、撮像部１０が撮像信号ＤS1を出力してから、表示部４０が画像信号Ｄ1の示す画像を表示するまでの遅延時間ΔＴ1は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と、画像処理の完了後に表示部４０における表示準備を待つための時間（待機時間ＵB）との合計時間となる。

次に、図２４及び図２６を参照しつつ、垂直走査期間Ｆs2において撮像部１０が出力する撮像信号ＤS2（ＤGS2）と、垂直走査期間Ｆd2において画像信号生成部２０が表示部４０に出力する画像信号Ｄ2（ＤGB2）との関係を例にとって、第２の状態について説明する。
図２６は、撮像信号ＤS2[p]（撮像信号ＤGS2[m]）と、画像信号Ｄ2[m]（画像信号ＤGA2[m]及び画像信号ＤGB2[m]）との関係を説明するためのタイミングチャートである。

図２６に示すように、撮像部１０から、撮像信号ＤS2[m]及びＤS2[m+1]からなる撮像信号ＤGS2[m]の出力が開始されると、画像処理部２１は、当該撮像信号ＤGS2[m]に基づいて画像信号ＤGA2[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA2[m]の経過後に画像信号ＤGA2[m]の生成を完了し、これをラインバッファ２２に格納する。

なお、図２６に示す例では、画像信号Ｄ2[1]及びＤ2[2]が、時刻Ｔth以前に画像信号出力部２３が出力する画像信号Ｄ[m]であり、画像信号Ｄ2[3]及びＤ2[4]が、時刻Ｔth以後に画像信号出力部２３が出力する画像信号Ｄ[m]である場合を想定している。

時刻Ｔth以前においては、線Ｌ2が線Ｌ3よりも時間的に先行する。つまり、時刻Ｔth以前においては、画像処理部２１による画像信号ＤGA2[m]の生成が完了したタイミングでは、出力制御部３１から出力許可パルスＰL[m]が出力されていない。
このため、画像信号出力部２３は、時刻Ｔth以前においては、出力許可パルスＰL[m]が出力された後の最初の水平走査期間Ｈd2[m]まで、待機時間ＵB2[m]だけ画像信号ＤGB2[m]の出力を待ち、その後、水平走査期間Ｈd2[m]において画像信号ＤGB2[m]を出力する。
図２６に示す例では、画像信号出力部２３は、画像信号ＤGA2[1]が生成された後、待機時間ＵB2[1]だけ画像信号ＤGB2[1]の出力を待ち、その後、水平走査期間Ｈd2[1]において、画像信号ＤGB2[1]を出力する。同様に、画像信号出力部２３は、画像信号ＤGA2[2]が生成された後、待機時間ＵB2[2]だけ画像信号ＤGB2[2]の出力を待ち、その後、水平走査期間Ｈd2[2]において、画像信号ＤGB2[2]を出力する。

一方、時刻Ｔth以後においては、通常、線Ｌ3が線Ｌ2よりも時間的に先行する。線Ｌ3が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号ＤGA2[m]を生成すると、表示部４０は、すぐに（直後の水平走査期間Ｈdにおいて）、当該画像信号ＤGB2[m]の示す画像を表示することができる。よって、線Ｌ3が線Ｌ2よりも時間的に先行する場合、画像処理部２１による画像信号ＤGA2[m]の生成が完了したタイミングに、出力制御部３１から出力許可パルスＰL[m]が出力される。
図２６に示す例では、画像信号出力部２３は、画像信号ＤGA2[3]が生成され、出力許可パルスＰL[3]が出力された後の最初の水平走査期間Ｈd2[3]において、画像信号ＤGB2[3]を出力する。
また、この図に示す例では、画像信号ＤGA2[4]が生成されるのは、水平走査期間Ｈd2[4]の開始後である。このため、画像信号出力部２３は、画像信号ＤGA2[4]が生成され、出力許可パルスＰL[4]が出力された後の最初の水平走査期間Ｈd2[5]において、画像信号ＤGB2[4]を出力する。そして、タイミングジェネレーター３２は、水平走査期間Ｈd2[4]を無効水平走査期間Ｈd-Ｄとする。

このように、図２６に例示する第２の状態では、時刻Ｔth以降において、画像処理に起因する表示の遅延が生じるため、垂直走査期間Ｆd2の垂直有効データ期間ＤＶＩには、無効水平走査期間Ｈd-Ｄが挿入される。つまり、第２の状態において、垂直走査期間Ｆdの時間長は、標準垂直走査時間Ｔd及び延長垂直走査時間Ｔexの合計となる。
また、撮像部１０が撮像信号ＤS2を出力してから、表示部４０が画像信号Ｄ2の示す画像を表示するまでの遅延時間ΔＴ2は、時刻Ｔth以前は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と、表示部４０における表示準備を待つための時間（待機時間ＵB）との合計時間であるが、時刻Ｔth以後において、線Ｌ3が線Ｌ2よりも時間的に先行する場合には、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）のみとなる。このため、第２の状態に係る遅延時間ΔＴ2は、第１の状態に係る遅延時間ΔＴ1よりも短くなる。

次に、図２４及び図２７を参照しつつ、垂直走査期間Ｆs3において撮像部１０が出力する撮像信号ＤS3（ＤGS3）と、垂直走査期間Ｆd3において画像信号生成部２０が表示部４０に出力する画像信号Ｄ3（ＤGB3）との関係を例にとって、第３の状態について説明する。
図２７は、撮像信号ＤS3[p]（撮像信号ＤGS3[m]）と、画像信号Ｄ3[m]（画像信号ＤGA3[m]及び画像信号ＤGB3[m]）との関係を説明するためのタイミングチャートである。

図２７に示すように、撮像部１０から、撮像信号ＤS3[m]及びＤS3[m+1]からなる撮像信号ＤGS3[m]の出力が開始されると、画像処理部２１は、当該撮像信号ＤGS3[m]に基づいて画像信号ＤGA3[m]の生成を開始する。そして、画像処理部２１は、画像処理の開始から画像処理時間ＵA3[m]の経過後に画像信号ＤGA3[m]の生成を完了し、これをラインバッファ２２に格納する。

第３の状態においては、通常、線Ｌ3が線Ｌ2よりも時間的に先行する。線Ｌ3が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号ＤGA3[m]を生成すると、表示部４０は、すぐに（直後の水平走査期間Ｈdにおいて）、当該画像信号ＤGB3[m]の示す画像を表示することができる。よって、この場合、画像処理部２１による画像信号ＤGA3[m]の生成が完了したタイミングに、出力制御部３１から出力許可パルスＰL[m]が出力される。
具体的には、図２７に示す例では、画像信号出力部２３は、画像信号ＤGA3[1]が生成され、出力許可パルスＰL[1]が出力された後の最初の水平走査期間Ｈd3[3]において、画像信号ＤGB3[1]を出力し、画像信号ＤGA3[2]が生成され、出力許可パルスＰL[2]が出力された後の最初の水平走査期間Ｈd3[5]において、画像信号ＤGB3[2]を出力し、画像信号ＤGA3[3]が生成され、出力許可パルスＰL[3]が出力された後の最初の水平走査期間Ｈd3[7]において、画像信号ＤGB3[3]を出力し、画像信号ＤGA3[4]が生成され、出力許可パルスＰL[4]が出力された後の最初の水平走査期間Ｈd3[9]において、画像信号ＤGB3[4]を出力する。なお、この場合、タイミングジェネレーター３２は、水平走査期間Ｈd3[1]、Ｈd3[2]、Ｈd3[4]、Ｈd3[6]、及び、Ｈd3[8]を、無効水平走査期間Ｈd-Ｄとする。

このように、図２７に例示する第３の状態では、画像処理に起因する表示の遅延が生じているため、垂直走査期間Ｆd3の垂直有効データ期間ＤＶＩには、無効水平走査期間Ｈd-Ｄが挿入される。この結果、第３の状態では、表示部４０が、垂直走査期間Ｆsに出力される撮像信号ＤSに同期した表示を行うことができるように、垂直走査期間Ｆdの時間長が水平走査期間Ｈdの精度で調整される。つまり、第３の状態では、概略的に見れば、垂直走査期間Ｆdは、垂直走査期間Ｆsと略同じ時間となるように調整される。

また、第３の状態では、線Ｌ3が線Ｌ2よりも時間的に先行する場合、画像処理部２１が画像信号Ｄ[m]を生成した後の最初の水平走査期間Ｈdにおいて、表示部４０が画像信号Ｄ[m]の示す画像を表示する。このため、撮像部１０が撮像信号ＤS3を出力してから、表示部４０が画像信号Ｄ3の示す画像を表示するまでの遅延時間ΔＴ3は、画像信号生成部２０における画像処理に要する時間（画像処理時間ＵA）と略同じになる。具体的には、第３の状態では、撮像部１０が撮像信号ＤS[p]の出力を開始してから表示部４０が画像信号Ｄ[m]の示す画像の表示を開始するまでの遅延時間ΔＴ3と、画像処理部２１が画像信号Ｄ[m]の生成に要する画像処理時間ＵAと、を水平走査期間Ｈdの精度で等しくする。
このため、第３の状態では、撮像部１０による撮像から表示部４０による表示までの遅延を、水平走査期間Ｈdの精度で最小化することができる。この場合、遅延時間ΔＴ3は、第１の状態に係る遅延時間ΔＴ1よりも短くなり、且つ、第２の状態に係る遅延時間ΔＴ2以下となる。

また、上述のとおり、表示部４０で１つの画面を表示するために必要な時間（周期）は、撮像部１０で１つの画面を撮像するために必要な時間（周期）よりも短い。このため、撮像表示システム１が第１の状態で動作して、表示部４０側における表示準備がボトルネックとなる表示の遅延が生じている場合であっても、垂直走査期間Ｆs毎に当該表示の遅延は縮小する。
つまり、撮像表示システム１は、当初、第１の状態で動作する場合であっても、最終的には第３の状態での動作に移行し、第３の状態での動作が開始された後は、第３の状態での動作を維持することができる。この結果、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させることができる。
このため、撮像表示システム１が動作を開始すると、動作を開始した直後を除き、撮像部１０による撮像から表示部４０での画像表示までの遅延時間を最小化した状態を維持することができる。

＜４．第１実施形態の効果＞
以上において説明したように、本実施形態に係る撮像表示システム１では、画像信号Ｄ[m]の出力タイミングを調整することで、表示部４０側の表示タイミングを、画像処理部２１における画像処理の完了タイミングに、水平走査期間Ｈdの精度で追従させる。
以下、このような撮像表示システム１の利点をより明確化するために、図２８に示す、従来例に係る撮像表示システムについて説明する。

図２８は、従来の一般的な非同期式表示方式（以下、「従来例」と称する）に係る撮像表示システムにおける、画像信号Ｄ[m]の出力タイミングを説明するためのタイミングチャートである。この図に示すように、従来例に係る車両用撮像表示システムでは、垂直走査期間Ｆdの時間長を固定長として（標準垂直走査時間Ｔdに固定して）、動作を実行する。

図示のように、従来例では、例えば、垂直走査期間Ｆsの終了後に開始される垂直走査期間Ｆdにおいて、垂直走査期間Ｆsにおいて出力される撮像信号ＤSに基づいて生成された画像信号ＤGBの示す画像を表示させる場合を想定している。具体的には、従来例に係る撮像表示装置は、垂直走査期間Ｆs1に出力される撮像信号ＤS1に応じた画像を垂直走査期間Ｆs1よりも後に開始される垂直走査期間Ｆd2において表示し、垂直走査期間Ｆs2に出力される撮像信号ＤS2に応じた画像を垂直走査期間Ｆs2よりも後に開始される垂直走査期間Ｆd4において表示し、また、垂直走査期間Ｆs3に出力される撮像信号ＤS3に応じた画像を垂直走査期間Ｆs3よりも後に開始される垂直走査期間Ｆd5において表示する。また、この図に示す例では、垂直走査期間Ｆd3は、垂直走査期間Ｆs2の終了前に開始される。このため、この図に示す例では、垂直走査期間Ｆd3において、垂直走査期間Ｆd２で表示した撮像信号ＤS１に応じた画像（画像信号ＤGB1の示す画像）を表示することとしている。

このように、図２８に例示する従来例に係る車両用撮像表示システムでは、撮像部１０が撮像信号ＤSを出力してから、表示部４０が画像信号ＤGBの示す画像を表示するまでの遅延時間が、垂直走査期間Ｆd以上の時間長となる。このため、車両Ａの外部の危険を瞬間的に察知できないという致命的な問題がある。
さらに、図２８に示す例の場合には、垂直走査期間Ｆd2で表示した画像（画像信号ＤGB1の示す画像）を、垂直走査期間Ｆd3で再度表示させている。この場合、各画像の表示時間が、垂直走査期間Ｆdの単位で変動するため、画面のちらつきとして視認される可能性が生じる。この結果、表示部４０の表示品位が大きく劣化することとなる。また、仮に、垂直走査期間Ｆd3においていかなる画像も表示しない場合には、画像が表示される垂直走査期間Ｆdと、画像が表示されない垂直走査期間Ｆdとが存在することとなるため、これが画面のちらつきとして車両Ａの運転者に視認される惧れがある。また、図２６に示す例では、撮像信号のフレームの開始から画像信号のフレームの開始までの時間である位相差がばらつくため表示遅れが一定とならない。このため、運転者は表示の遅れを習得して予測する事ができない。

これに対して、本実施形態に係る撮像表示システム１では、第１条件及び第２条件が充足された場合に画像信号出力部２３から画像信号Ｄ[m]を出力し、第１条件又は第２条件が充足されない場合には、無効水平走査期間Ｈd-Ｄを挿入することで、画像信号出力部２３からの画像信号Ｄ[m]の出力タイミングを水平走査期間Ｈdの精度で調整する。すなわち、本実施形態に係る撮像表示システム１では、画像処理部２１が画像信号Ｄ[m]を生成した後の最初の水平走査期間Ｈdにおいて、表示部４０が画像信号Ｄ[m]の示す画像を表示することができる。これにより、撮像部１０による撮像から表示部４０による表示までの遅延を、水平走査期間Ｈdの精度で最小化することができる。よって、撮像から表示までの遅延時間を短縮することにより、車両の安全な運転に有用な車両外部の画像を表示させることが可能となる。

また、本実施形態に係る撮像表示システム１では、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入することで、垂直走査期間Ｆdの時間長を可変とするとともに、垂直走査期間Ｆsの時間長と略同じとなる状態を維持することができる。このため、表示のちらつき等を抑えた、高品位な表示を実現できる。また、位相差が所定時間よりも大きい場合において、位相差が所定時間以下となるまでは、位相差を段階的に短くすることができ、位相差が所定時間以下に収束した後は当該位相差を維持するため、運転者が予測不可能な遅れが生ずる可能性が低減される。
また、本実施形態によれば、例えば、画像処理の手法の変更等に伴う画像処理時間の変更がある場合や、ライン毎に画像処理時間ＵAが変動する場合、撮像部１０をフレームレートが異なるものに交換する場合、又は、表示部４０をフレームレートが異なるものに交換する場合等、撮像部１０及び表示部４０の位相差、撮像部１０のフレームレート、並びに、表示部４０で表示可能な最高のフレームレートのうち、一部又は全部が変化する場合であっても、位相差ＰDを画像処理時間ＵA以下の長さに自動的に収束させることが可能となる。
＜Ｂ．第２実施形態＞

上述した第１実施形態では、図２２に示すように、垂直有効データ期間ＤＶＩに無効水平走査期間Ｈd-Ｄを挿入することにより、画像信号Ｄ[m]の出力タイミングを、水平走査期間Ｈdの精度で調整し、水平走査期間Ｈdの時間長は固定長としていた。
これに対して、第２実施形態に係る撮像表示システムでは、水平走査期間Ｈdの時間長を可変長として、画像信号Ｄ[m]の出力タイミングを、例えば表示ドットクロック信号ＤCLKの周期で調整する点において、第１実施形態に係る撮像表示システム１と相違する。
以下、図２９乃至図３１を参照しつつ、第２実施形態に係る撮像表示システムについて説明する。なお、以下に例示する第２実施形態において作用や機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する（以下で説明する変形例についても同様）。

図２９は、第２実施形態に係る撮像表示システムが備えるタイミング制御部３０（出力制御部３１及びタイミングジェネレーター３２）が生成する、出力制御信号ＣTRと、イネーブル信号ＤＥnbと、表示水平同期信号ＤＨsync2との関係を説明するための説明図である。
第２実施形態に係る撮像表示システムが備えるタイミング制御部３０は、タイミングジェネレーター３２が、表示水平同期信号ＤＨsyncの代わりに、可変な周期の水平同期パルスＰlsＨを有する表示水平同期信号ＤＨsync2を生成し、表示垂直同期信号ＤＶsyncの変わりに、可変な周期の垂直同期パルスＰlsＶを有する表示垂直同期信号ＤＶsync2を生成する点を除き、第１実施形態に係る撮像表示システム１（図２２参照）と同様に構成されている。

図２９に示すように、第２実施形態に係る出力制御部３１は、第１実施形態と同様に、画像処理判定時刻ＴA[m]及び表示準備判定時刻ＴB[m]のうち遅い方の時刻（この図では、上述した第２の態様を採用しているため、画像処理判定時刻ＴA[m]）において、出力制御信号ＣTRに出力許可パルスＰL[m]を設定する。
また、図２９に示すように、第２実施形態に係るタイミングジェネレーター３２は、出力制御部３１が出力する出力制御信号ＣTRに出力許可パルスＰL[m]が設定されたタイミングから、固定の時間長である基準フロントポーチ時間ＴPの経過後に、表示水平同期信号ＤＨsync2として水平同期パルスＰlsＨを出力する。

このため、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]の生成が完了し、画像信号生成時刻ＴC[m]が経過している場合（Ｃase-1）には、水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPとなる。
一方、表示準備判定時刻ＴB[m]までに画像信号Ｄ[m]の生成が完了していない場合、すなわち、表示準備判定時刻ＴB[m]よりも後に画像信号生成時刻ＴC[m]が到来する場合（Ｃase-2）には、水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、表示準備判定時刻ＴB[m]から画像信号生成時刻ＴC[m]（画像処理判定時刻ＴA[m]）までの時間長である延長フロントポーチ時間ＴPXとの合計となる。

このように、第２実施形態に係るタイミングジェネレーター３２は、出力制御部３１が、画像信号Ｄ[m]の出力準備が完了したと判定し、出力制御信号ＣTRとして出力許可パルスＰL[m]を出力するのを待ち、出力許可パルスＰL[m]が出力されてから基準フロントポーチ時間ＴPだけ後に、水平走査期間Ｈd[m]を開始させる。換言すれば、第２実施形態に係るタイミングジェネレーター３２は、画像信号Ｄ[m]の出力準備が完了するまで、水平フロントポーチ期間ＤＨfを延長する。
このため、画像信号出力部２３は、たとえ画像処理部２１における画像信号Ｄ[m]の画像処理が遅延した場合であっても、水平走査期間Ｈd[m]において画像信号Ｄ[m]を出力することが可能となる。この場合、撮像部１０が撮像信号ＤGS[m]を出力してから、表示部４０が画像信号Ｄ[m]に基づく画像を表示するまでの遅延時間は、表示ドットクロック信号ＤCLKの精度で最小化されることになる。

図３０は、表示部４０における表示準備がボトルネックとなる表示の遅延が解消されるに至る状態（すなわち、図２６で説明した第２の状態）における、第２実施形態に係る撮像表示システムの動作を説明するためのタイミングチャートである。また、図３１は、画像処理部２１の画像処理がボトルネックとなって表示に遅延が生じている状態（すなわち、図２７で説明した第３の状態）における、第２実施形態に係る撮像表示システムの動作を説明するためのタイミングチャートである。なお、図３０及び図３１では、図２４乃至図２７で説明した符号を流用する。

図３０では、例えば、水平走査期間Ｈd2[2]におけるイネーブル信号ＤＥnbの立下りのタイミングまでに、画像信号ＤGA2[3]が生成される。このため、水平走査期間Ｈd2[2]におけるイネーブル信号ＤＥnbの立下りのタイミングにおいて、出力許可パルスＰL[3]が出力される。この場合、水平走査期間Ｈd2[2]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPとなる。
一方、この図に示す例では、画像信号ＤGA2[4]が生成されるタイミングは、水平走査期間Ｈd2[3]におけるイネーブル信号ＤＥnbの立下りのタイミングよりも後である。このため、画像信号ＤGA2[4]が生成されるタイミングにおいて、出力許可パルスＰL[4]が出力される。この場合、水平走査期間Ｈd2[3]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、延長フロントポーチ時間ＴPX（水平走査期間Ｈd2[3]におけるイネーブル信号ＤＥnbの立下りのタイミングから、出力許可パルスＰL[4]が出力されまでの時間）との、合計の時間長となる。すなわち、表示部４０における表示準備がボトルネックとなる表示の遅延が解消される時刻Ｔth以降は、画像処理の状況に応じて水平走査期間Ｈdが延長されることになる。

また、図３１では、画像信号ＤGA3[m]が生成されるタイミングは、水平走査期間Ｈd3[m-1]におけるイネーブル信号ＤＥnbの立下りのタイミングよりも後である。このため、画像信号ＤGA3[m]が生成されるタイミングにおいて、出力許可パルスＰL[m]が出力される。この場合、水平走査期間Ｈd3[m]の水平フロントポーチ期間ＤＨfの時間長は、基準フロントポーチ時間ＴPと、延長フロントポーチ時間ＴPX（水平走査期間Ｈd3[m]におけるイネーブル信号ＤＥnbの立下りのタイミングから、出力許可パルスＰL[m]が出力されまでの時間）との、合計の時間長となる。すなわち、画像処理部２１の画像処理がボトルネックとなって表示に遅延が生じている状態（第３の状態）においては、画像処理の状況に応じて水平走査期間Ｈdが延長されることになる。

なお、図３０及び図３１からも明らかなように、第２実施形態においては、無効水平走査期間Ｈd-Ｄは存在せず、全ての水平走査期間Ｈdは有効水平走査期間Ｈd-Ａとなる。
また、第２実施形態では、水平走査期間Ｈdが例えば表示ドットクロック信号ＤCLKの単位で可変となるため、垂直走査期間Ｆdも可変の時間長を有することとなる。

＜Ｃ．変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下において説明する変形例では、説明の重複を避けるため、上述した本発明の実施形態との共通点については説明を省略する。

＜変形例１＞
上述した実施形態では、各表示部４０としてＨＵＤを例示したが、本発明はこのような態様に限定されるものではなく、背面投射型のプロジェクターであってもよい。
また、上述した実施形態では、液晶パネル４２を備えたピコプロジェクター（本発明の「投射型表示装置」）４０１と透過型スクリーン４０２とフィールドレンズ４０３とコンバイナー４０４とを備えたＨＵＤを表示部（本発明の「表示システム」）４０とするが、これに限られない。投射型表示装置として、液晶プロジェクターの代わりに例えばレーザープロジェクターその他のプロジェクターが採用され得る。また、透過型スクリーン４０２とフィールドレンズ４０３とコンバイナー４０４はＨＵＤに任意の構成であり、周知の代替手段が必要に応じて採用され得る。

＜変形例２＞
上述した実施形態では、フラッシュＲＯＭ７０に記憶されるマスク画像ＭＤは１種類であるが、例えば車種によって開口部ＯpL，ＯpRの形状を別物とする場合等に複数種類の形状に応じたマスク画像を記憶するようにしてもよい。この場合に、マスク画像取得部２３２は、所定形状の種別を指定する指定情報に応じてフラッシュＲＯＭ７０からマスク画像ＭＤを読み出すことによって、指定された所定形状に応じたマスク画像ＭＤを取得するようにしてもよい。この態様によれば、撮像表示システム１が設置される車両の車種に適したマスク画像を適宜選択し、撮像信号ＤSに応じた表示画像と合成することが可能となる。なお、この指定情報は、撮像表示システムの製造工程において、インターフェース９０を介してメモリ８０に記憶させる態様が好適である。

＜変形例３＞
上述した実施形態及び変形例では、画像処理回路１００と表示部４０との間のデータ伝送をパラレルインタフェースによって行うが、低電圧差動（ＬＶＤＳ）のシリアルインターフェースやEthernet（登録商標）のリアルインターフェース等によって行うようにしてもよい。

＜変形例４＞
上述した実施形態及び変形例では、撮像垂直同期信号ＳＶsyncにより規定される垂直走査期間Ｆsが、表示垂直同期信号ＤＶsync（又はＤＶsync2）により規定される垂直走査期間Ｆd以上の時間長を有しているが、本発明はこのような態様に限定されるものではなく、垂直走査期間Ｆsは、垂直走査期間Ｆdよりも短い時間長を有していてもよい。

＜変形例５＞
上述した実施形態及び変形例では、出力制御部３１は、画像処理部２１が出力する書込完了信号ＰtAと、画像信号出力部２３が出力する出力完了信号ＰtBと、に基づいて、画像信号Ｄ[m]を出力する準備が完了したか否かを判定するが、本発明はこのような態様に限定されるものではなく、出力制御部３１がラインバッファ２２を周期的に参照することで、ラインバッファ２２に画像信号Ｄ[m]が記録されていること、及び、ラインバッファ２２から画像信号Ｄ[m-1]が読み出されたことを判定することにより、画像信号Ｄ[m]を出力する準備が完了したか否かを判定してもよい。

＜変形例６＞
上述した実施形態及び変形例では、ライン毎に画像処理時間ＵA[m]が変動する場合を例示して説明したが、本発明はこのような態様に限定されるものではなく、画像処理時間ＵA[m]はライン間で同一であってもよい。

＜変形例７＞
上述した実施形態では、画像処理部２１において、左右方向について車体に近い領域を車体に遠い領域と比較して相対的に拡大する処理（第１処理）と、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理（第２処理）との両方を実行する態様について説明したが、そのいずれか一方を実行してもよい。
また、左右方向について車体に近い領域を車体から遠い領域と比較して相対的に拡大する処理（第１処理）は、車体から遠い領域を縮小する処理又は車体に近い領域を拡大する処理の少なくともいずれかによって実現可能な処理である。すなわち、車体に近い領域を拡大した場合には車体から遠い領域を縮小する処理は必須ではなく、車体から遠い領域を縮小した場合には車体に近い領域を拡大する処理は必須ではない。同様に、上下方向について中央の領域を上又は下の領域と比較して相対的に拡大する処理（第２処理）は、中央の領域を拡大する処理、上の領域を縮小する処理、又は下の領域を縮小する処理のいずれかによって実現可能な処理である。すなわち、中央の領域を拡大した場合には上又は下の領域を拡大する処理は必須ではなく、上又は下の領域を縮小した場合には中央の領域を拡大する処理は必須ではない。
なお、拡大・縮小処理において、各領域ＬR1〜ＬR6（図１２）や各領域ＢR1〜ＢR9（図２１）間の比率、区分する領域の個数、さらには、その拡大率や縮小率は適宜変更され得る。

＜変形例８＞
上述した実施形態では、トリミング処理の後に鏡像生成処理を実行し、その後に水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を実行するが、これに限られず、その実行順は適宜変更され得る。また、上述した実施形態では、トリミング処理においてトリミングしたトリミング領域Ｔareaの画像を表示領域ＡDの大きさに合わせていったん拡大した後に、鏡像生成処理、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理を実行するが、トリミングした画像の拡大処理を行うことなく、鏡像生成処理を実行し、その後、水平方向縮小・拡大処理及び垂直方向縮小・拡大処理において、表示領域ＡDの大きさに合わせるための拡大処理を実行するようにしてもよい。このように構成することにより、画像処理時間を短縮することが可能となる。

＜変形例９＞
上述した実施形態では、図３において、左側後方領域ＬRを示す画像が視認される領域、後方領域ＢRを示す画像が視認される領域、右側後方領域ＲRを示す画像が視認される領域の例を示したが、これらの領域は本発明の趣旨を損なわない範囲で適宜変更され得る。

１……撮像表示システム、１０−１……左側後方領域撮像部（撮像装置）、１０−２……中央後方領域撮像部（撮像装置）、１０−３……右側後方領域撮像部（撮像装置）、１１……撮像光学系、１２……イメージセンサー、１３……タイミングジェネレーター、２０……画像信号生成部、２１……画像処理部、２１８……トリミング処理部、２１９……リサイズ処理部、２２０……鏡像生成部、２２１……水平方向縮小・拡大処理部、２２２……垂直方向縮小・拡大処理部、２３０……画像合成部、２３１……位置調整部、２３２……マスク画像取得部、２２……ラインバッファ、２３……画像信号出力部、３０……タイミング制御部、３１……出力制御部、３２……タイミングジェネレーター、３３……パラメーター送信部、４０−１……左側表示部、４０−２……中央表示部、４０−３……右側表示部、４１……コントローラー、４２……液晶パネル、５０……制御部、６０……操作部、７０……フラッシュＲＯＭ（マスク画像記憶部）、８０……メモリ（制御情報記憶部）、９０……インターフェース、１００−１，１００−２，１００−３……画像処理回路、ＭＤ……マスク画像、ＭＤ’……調整済みマスク画像。

Claims (7)

1. 投射型表示装置からの照射光を所定形状の開口部より射出する表示システムに用いることが可能な画像処理装置であって、
   前記開口部の外側に至る前記照射光の輝度が、前記開口部の内側に至る前記照射光の輝度より低くなるように、入力信号に基づく表示画像に前記所定形状に応じた画像処理を施して画像信号を生成し、当該画像信号を前記投射型表示装置に出力する、
   ことを特徴とする画像処理装置。
2. 前記所定形状に応じたマスク画像を取得するマスク画像取得部と、
   入力信号に基づく表示画像と前記マスク画像を合成して、前記画像信号を生成する画像合成部とを、
   備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記マスク画像の位置を示す制御情報に基づいて前記マスク画像の位置を調整して調整済マスク画像を生成する位置調整部を備え、
   前記画像合成部は、前記マスク画像の代わりに前記調整済マスク画像を用いて前記画像信号を生成する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記制御情報を記憶する制御情報記憶部を備え、
   前記位置調整部は、前記制御情報記憶部から読み出した前記制御情報を用いて前記マスク画像の位置を調整する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記所定形状は、複数種類の形状を含み、
   前記複数種類の形状に応じた前記マスク画像を記憶したマスク画像記憶部を備え、
   前記マスク画像取得部は、前記所定形状の種別を指定する指定情報に応じて前記マスク画像記憶部から前記マスク画像を読み出すことによって、前記所定形状に応じた前記マスク画像を取得する、
   ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置と、
   前記投射型表示装置と、
   被写体を撮像して得た撮像信号を前記入力信号として前記画像処理装置に出力する撮像装置とを、
   備えたことを特徴とする撮像表示システム。
7. 前記画像処理装置は、
   前記撮像信号に基づいて、前記投射型表示装置の各ラインで表示すべき画像を示す前記画像信号を生成する生成処理の後、当該画像信号を前記投射型表示装置に出力する画像信号生成部と、
   前記画像信号生成部が前記画像信号を前記投射型表示装置に出力するタイミングを制御するタイミング制御部とを備え、
   前記撮像信号のフレームの開始から、前記投射型表示装置に出力する前記画像信号のフレームの開始までの時間を位相差とし、前記撮像装置のフレームレートを第１フレームレートとし、前記投射型表示装置で表示可能な最高のフレームレートを第２フレームレートとしたとき、
   前記タイミング制御部は、
   前記位相差が所定時間より長い場合において、前記投射型表示装置のフレームレートが前記第２フレームレートとなるように前記画像信号生成部に前記画像信号を出力させることにより、前記位相差を次第に小さくする第１のタイミング制御と、
   前記位相差が、前記所定時間以下となった後において、前記投射型表示装置のフレームレートが前記第１フレームレートとなるように前記画像信号生成部に前記画像信号を出力させる第２のタイミング制御と、を実行可能である、
   ことを特徴とする請求項６に記載の撮像表示システム。