JP2012085268A - 撮像装置、撮像システム及び撮像方法 - Google Patents

Abstract

【課題】ユーザが特に注視したい局所的な箇所と、その箇所の周囲全体の画像を容易に確認できるようにする。
【解決手段】イメージセンサ１１が画像信号を生成し、画像信号による画像を切り出す範囲を設定する設定値により特定される特定の領域に対応して第１の領域の内部に第２の領域を画像記憶部１３２に設定する。画像変換処理部１３１は、画像信号を書き込むフレームを１フレーム毎に異ならせて第１の領域に全体画像に対応する第１の画像信号、又は、全体画像の一部に相当する部分画像に対応する第２の画像信号を異なるフレーム期間で交互に書き込む。そして、第２の領域に第１の領域に書き込んだ画像信号とは異なる画像信号を、この画像信号のフレーム期間で書き込む。アナログエンコーダ１８は、第１及び第２の領域から連続走査タイミングで読み出した第１及び第２の画像信号を所定の方式の画像信号に変換して出力する。
【選択図】図１

Description

本発明は、例えば、自動車のドライバが視認しにくい場所を撮像して表示する車載カメラに適用して好適な撮像装置、撮像システム及び撮像方法に関する。

従来、自動車の車両や鉄道車両等に小型のカメラを搭載し、そのカメラによる撮影画像を、運転席の周辺等に設置された表示装置に表示させることが行われている（例えば、特許文献１及び２参照）。このようなカメラで、ドライバが運転中に目視することが困難な箇所を撮像し、得られた画像を表示装置に表示することで、ドライバの目視が可能な箇所に変えることができる。ドライバの目視することが困難な箇所としては、例えば自動車の車両であれば、駐車時に後進する場合等を想定して、車両の後方等が設定されている場合が多い。

そして、車両の後方を撮像してこの画像を車載モニタに表示するために、複数のカメラが出力する画像を取り込んで表示するＣＣＴＶ（Closed-circuit Television）監視装置
等を用いた撮像システムが知られている。この撮像システムは、異なる方向で撮像された画像を同一のモニタ画面に表示するＰｉｎＰ（Picture in Picture）表示機能を用いて複数の画像の視認性を高めている。他の車載される撮像システムとしては、画面内に別の画面領域を配置する機能を用いて、全体画像の一部をカメラが出力する画像を処理するＥＣＵ（Electronic Control Unit）等で変換し、合成してＰｉｎＰ表示を行うものが知られ
ている。この撮像システムは、カメラが出力した画像を、電装ハーネスを介してＥＣＵの画像メモリに取り込んだ後、伝送済みの複数の画像に対して合成処理を行う。このため、車載モニタに表示される画像の精細度が伝送系の帯域に依存しており、送信される画像の解像度を低くした状態で、ＥＣＵの画像メモリに画像を取り込んで変換画像を合成している。

特開２００２−１９５５６号公報 特開２０１０−３３１０８号公報

ところで、自動車に取り付けられる車載カメラは、広範囲を撮像することが求められるため、魚眼レンズやアナモルフィックレンズ等が用いられる。このような広角画像では局所的な画像の詳細把握が困難であり、特に優先注視をしたい特定箇所が存在しても、そのままの画像では細部を把握が出来ないかまたは認知までに時間が掛かることになる。

また、従来の撮像システムでは、ハーネスによる伝送容量により画像の精細度が決まるため、カメラの後段に配置されたＥＣＵが画像の拡大処理を行うと、画像が粗くなる。更に、ＥＣＵは、カメラから伝送された画像全体を一旦メモリに取り込む必要があるため、撮像システム上で画像メモリ用の部品を搭載し、且つ合成処理用の部品が必要となる。このため、撮像システムを構築する部品点数が多くなり、撮像システムの構成が複雑化すると共に高価になりやすかった。

本発明はこのような状況に鑑みて成されたものであり、ドライバ（ユーザ）が特に注視したい局所的な箇所等の画像と周辺の画像を容易に視認できるようにすることを目的とする。

本発明は、被写体光を光電変換して画像信号を生成する。
記憶部は、画像信号による画像を切り出す範囲を設定する設定値により特定される特定の領域に対応して第１の領域（ＰｉｎＰの親画面記憶領域）の内部に第２の領域（ＰｉｎＰの子画面記憶領域）を記憶部に設定する。
次に、イメージセンサから画像信号を読み出して記憶部に画像信号を書き込むタイミングと、記憶部から画像信号を読み出すタイミングを調整する。
次に、イメージセンサから読み出される画像信号による画像に所定の処理を加える。また、タイミングが調整されることによって、画像信号を書き込むフレームを１フレーム毎に異ならせて第１の領域と第２の領域に交互に書き込む。これは、第１の領域にイメージセンサから入力する画像信号による全体画像に対応する第１の画像信号、又は、全体画像の一部に相当する部分画像に対応する第２の画像信号に対して行われる。一方、第２の領域に第１の領域に書き込んだ画像信号とは異なる画像信号を、この画像信号のフレーム期間で書き込む。
そして、第１及び第２の領域から連続走査タイミングで読み出した第１及び第２の画像信号を所定の方式の画像信号に変換して出力する。

このようにしたことで、１個の記憶部に２種類の画像に対応する画像信号を記憶させ、この２種類の画像信号を毎フレームで、所定の方式の画像信号に変換して出力することができる。この方式には、例えばＮＴＳＣ（National Television System Committee）方式等を用いることができる。

本発明によれば、ユーザが特に注視したい箇所（範囲）等だけでなく、ＰｉｎＰで表示される全体画像を、同時に同一の画面内に表示できる。このため、ドライバはカメラが設置される周辺の状況を把握しながら同時に特定の注意箇所を把握することが可能となる。

本発明の一実施の形態における撮像装置と表示装置の内部構成例を示すブロック図である。 従来のイメージセンサが画像信号を読み出すタイミングと、従来の撮像装置が画像信号を出力するタイミングの例を示す説明図である。 第１の領域と第２の領域に配置される画像の例を示す説明図である。 第１の領域と第２の領域への変換画像の書き込み処理の例を示す説明図である。 本発明の一実施の形態による画像変換処理部による画像変換処理の例を示す説明図である。 本発明の一実施の形態によるタイミング調整部による処理の例を示す説明図である。 本発明の一実施の形態におけるＰｉｎＰをして部分画像を拡大表示する場合のタイミング調整の例を示す説明図である。 本発明の一実施の形態におけるＰｉｎＰをして部分画像を拡大表示する場合のタイミング調整の例を示す説明図である（第１のケース）。 本発明の一実施の形態におけるＰｉｎＰをして部分画像を拡大表示する場合のタイミング調整の例を示す説明図である（第２のケース）。 本発明の一実施の形態における撮像装置が設置される自動車を上面視した例を示す説明図である。 本発明の一実施の形態における表示部に表示される画像の例を示す説明図である。

以下、発明を実施するための形態（以下、本例とも称する。）について説明する。なお、説明は以下の順序で行う。
１．一実施の形態（ＰｉｎＰの表示制御：１つの画像記憶部を用いてＰｉｎＰの表示を制御する例）
２．変形例

＜１．一実施の形態＞
［撮像システムの全体構成例］
図１は、本発明に係る撮像システム５の一実施形態としての、撮像装置１及び表示装置２の構成例を示す。本例では、撮像装置１を、図示せぬ自動車車両の後方に取り付けてある車載カメラに適用し、表示装置２を、車内に取り付けられたカーナビゲーション装置等の表示装置に適用した例として説明する。撮像装置１と表示装置２とは、図示せぬケーブル等で接続されており、撮像装置１から表示装置２に対しては画像信号が、表示装置２から撮像装置１に対しては制御信号が入力される撮像システム５を構成する。

なお、本例では撮像装置１を自動車に搭載した例を示すが、これに限定されるものではない。つまり、本発明の撮像装置１を、鉄道車両や、移動式クレーン車等の重機、産業機械、ヨット等、他の乗物といった車体又は船体に搭載するようにしてもよい。

まず、表示装置２を構成する各部について説明する。表示装置２には、表示部２１と操作入力部２２とが含まれる。表示部２１は、例えばＬＣＤ（Liquid Crystal Display）等により構成され、撮像装置１から送信された画像信号を画像として表示する。操作入力部２２は、表示画面設定の選択を行う選択・確定ボタンＢ１により、ユーザによるボタン押下操作の内容に応じた制御信号を生成して、撮像装置１で選択されるべき画像の設定値を制御部１４に供給する。

更に、操作入力部２２は、選択・確定ボタンＢ１とは別に、値入力ボタンＢ２を備える事により、ユーザによるボタン押下操作の内容に応じて、「特に注視したい局所的な箇所」の画像を選択設定して固有な表示を事前設定して記憶させる。これにより、必要な時に選択・確定ボタンＢ１の簡単な押下操作で呼び出しを可能とする。以下、この表示方法で事前設定した表示モードを「パーソナルビューモード」と呼ぶ。

特に、ユーザより、選択・確定ボタンＢ１と値入力ボタンＢ２とを同時に長押しする操作が行われた場合には、操作入力部２２は、「パーソナルビューモード」の設定メニューに遷移させるための割り込み要求信号を生成して撮像装置１に供給する。この設定メニューにより、ユーザによって、選択・確定ボタンＢ１と値入力ボタンＢ２の連続押しする操作を行う事（第１の指示入力）で、制御信号を生成して切り出し位置や部分拡大に必要な制御設定値を確定し、設定値記憶部１５に保存する。そして、撮像装置１に供給して「パーソナルビューモード」の固有な表示に必要な設定を行う。

また、上述した方法で「パーソナルビューモード」が設定された状態の撮像装置１に対して、選択・確定ボタンＢ１の押下を検知した場合には以下の処理を行う。すなわち、その動作を第２の指示入力とみなし、「パーソナルビューモード」として設定された領域の画像を読み出す制御信号を生成する。

「パーソナルビューモード」はユーザ固有の目視困難箇所をより視認しやすくすることを省みてなされた例であるが、撮像装置の設計もしくは製造時に事前に登録を行った領域を設定してＰｉｎＰ形式の表示を適用しても良い。

なお、図１に示す例では、表示装置２として、表示部２１と操作入力部２２とが別々に設けられたものを示しているが、表示部２１と操作入力部２２とが一体化したタッチパネル等を用いた表示装置に適用してもよい。

次に、撮像装置１を構成する各部について説明する。撮像装置１は、イメージセンサ１１と、画質調整部１２と、画像変換部１３と、制御部１４と、設定値記憶部１５と、タイミング調整部１６と、表示制御部１７と、アナログエンコーダ１８（出力部）と、領域選択部１９とを備える。

イメージセンサ１１は、固体撮像素子で構成される。これは、例えばＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）等が用いられる。イメージセンサ１１は、撮像装置１が搭載される車体又は船体の周囲における、図示せぬ広角レンズに結像された被写体光を光電変換して画像信号を生成する。イメージセンサ１１で得た画像信号は、画質調整部１２に供給する。画質調整部１２は、供給された画像信号をデジタルの画像信号に変換し、画質調整を行う。画質調整としては、例えばＡＧＣ（Automatic Gain Control）やノイズリダクション、画質強調処理等を行う。そして、画質調整部１２は、イメージセンサ１１の駆動を制御する。また、後述する第１の領域１３２αと第２の領域１３２βに書き込まれる第１及び第２の画像信号よりなる画像の画質を調整する制御を、イメージセンサ１１から画像信号をフレーム毎に取り込むタイミングで第１及び第２の画像信号毎に異ならせて行う。このタイミングは、タイミング調整部１６から供給される読み出しタイミングに基づいて行われる。画質調整部１２で画質調整処理された画像信号は、画像変換部１３に供給される。

画像変換部１３は、画像変換処理部１３１と画像記憶部１３２とで構成され、画像の標準的出力形式、例えばＮＴＳＣ方式、で出力する為の形式に変換調整をする。画像記憶部１３２は、イメージセンサ１１から入力する画像信号による全体画像に対応する第１の画像信号を記憶する第１の領域１３２αと、全体画像の一部に相当する部分画像に対応する第２の画像信号を記憶する第２の領域１３２βと、を有する。画像記憶部１３２は、画像信号による画像を切り出す範囲を設定する制御部１４によって生成される設定値により特定される特定の領域に対応して第１の領域１３２αの内部に第２の領域１３２βを設定する。

また、撮像装置１は、画像記憶部１３２に第１の領域１３２αと第２の領域１３２βとを設けると共に、いずれの領域に書き込むかを選択する領域選択部１９を設けている。第１の領域１３２αには、表示部２１の画面全体に出力するための変換画像を記憶させ、第２の領域１３２βには、ＰｉｎＰ小画面に表示させるための変換画像を記憶させる。フレーム出力タイミングに応じて画像記憶部１３２を全て連続読み出しする事で標準的出力形式の出力にＰｉｎＰ出力形式の画像出力が得られる。

以下、詳述する。画像変換処理部１３１は、制御部１４による制御に基づいて、画質調整部１２から供給された画像信号による画像の中から特定の領域の画像を切り出す。そして、切り出した画像を、表示装置２の表示部２１の一画面分の大きさの画像に拡大する。このとき、画像変換処理部１３１は、イメージセンサ１１から読み出される画像信号による画像に所定の処理を加える。そして、タイミングが調整されることによって、画像信号を書き込むフレームレートを１フレーム毎に異ならせて第１の領域１３２αに画像信号を書き込む。これは、イメージセンサ１１から入力する画像信号による全体画像に対応する第１の画像信号、又は、全体画像の一部に相当する部分画像に対応する第２の画像信号に対して行われる。一方、第２の領域１３２βに第１の領域に書き込んだ画像信号とは異なる画像信号を次のフレーム分の時間、且つそのフレームの読み出しタイミングの時系列順序を満たすタイミングで書き込む。切り出し及び拡大された画像は、画像記憶部１３２に出力される。画像記憶部１３２は、画像変換処理部１３１から供給された画像信号を所定の期間保持するフレームメモリでもある。

このように撮像装置１の内部に広角画像から歪変換画像を生成し出力する機能を搭載し、その一部の指定領域の画像を全体画像の出力に必要な画像領域の一部に埋め込み保存をする画像変換部１３を備える。不図示としてある撮像装置１の広角レンズを通してイメージセンサ１１から取りこんだ画像は歪みが多いため、画像変換部１３は、画像信号の処理演算を行い歪補正の変換処理を行う。その際に、拡大表示を希望する特定の領域を、出力画像の子画面として指定したアドレス領域に拡大処理をして個別に嵌め込んでバッファメモリとして用いる第２の領域１３２βに保存する。そして、フレーム更新時にその画像を埋め込み画像を含めてカメラの後段における出力処理をする事でＰｉｎＰ機能を実現する。

制御部１４は、例えばＭＰＵ（Micro-Processing Unit）等で構成される。そして、操
作入力部２２より入力される制御信号の内容に基づいて、前述した「特定の領域」の範囲を、枠の大きさ及び位置に基づいて特定する前述した「第１の指示入力」で定義する「パーソナルビューモード」の設定値を生成して設定値記憶部１５に記憶する。つまり、この設定値は、画質調整部１２から供給された画像信号による画像を切り出す範囲を指定する設定値となる。設定値は、特定の領域をズーム表示する場合のズーム倍率と、特定の領域のＸ軸座標及びＹ軸座標よりなる。また、制御部１４は、表示装置２の値入力ボタンＢ２の押下回数をカウントするカウンタと、時間を計測するタイマを備える。

また、制御部１４は、操作入力部２２から第２の指示入力がされた場合には、設定値記憶部１５から設定値を読み出して画像変換部１３に出力する。また、制御部１４は、イメージセンサ１１からの画像信号出力タイミングと画像記憶部１３２からの画像信号出力タイミングとを調整するための制御信号を生成して、タイミング調整部１６に供給する。さらに、制御部１４は、画像変換処理部１３１で画像変換された画像信号を、アナログエンコーダ１８に出力するための制御信号を生成して、画像変換処理部１３１に供給する。

領域選択部１９とタイミング調整部１６は、制御部１４から供給される制御信号に基づいて、イメージセンサ１１から画像信号を読み出して画像記憶部１３２に画像信号を書き込むタイミングと、画像記憶部１３２から画像信号を読み出すタイミングを調整する。タイミング調整部１６の処理の詳細については、図６を参照して後述する。

表示制御部１７は、制御部１４から供給される制御信号に基づいて、タイミング調整部１６により調整されたタイミングに従って、画像記憶部１３２に記憶された画像を読み出してアナログエンコーダ１８に出力する。また、表示制御部１７は、特定の領域を設定するためのフレームライン等を生成して、アナログエンコーダ１８に出力する。このとき、表示制御部１７は、ユーザからの操作入力に応じてその大きさ及び位置を可変させる枠を、出力部によって出力された画像信号による画像を表示する表示部２１に表示させる。
また、表示制御部１７は、特定の領域として切り出された画像を、ＰｉｎＰの子画面に表示する。また、表示制御部１７は、特定の領域として切り出された画像を、ＰｉｎＰの全画面に表示し、子画面に全体把握できるような画像を表示する例としているが、出力画面をＰｉｎＰ間で逆に設定する動作をする事も出来る。

アナログエンコーダ１８は、第１の領域１３２α及び第２の領域１３２βから連続走査タイミングで読み出し、全体画像及び部分画像が嵌め込まれた形で画像信号（第１及び第２の画像信号）を所定の方式の画像信号に変換して出力する。この方式は、例えばＮＴＳＣ（National Television System Committee）方式等であり、アナログエンコーダ１８は、この画像信号を表示装置２の表示部２１に供給する。タイミング調整部１６では、画像の切り出し如何によらずＮＴＳＣのタイミングに準拠したＶ同期を満たすタイミングで画像を出力出来るように画像出力タイミングの伸張処理の調整をしている。この調整は、画像フレーム全体を遅延させてイメージセンサ１１からの読み出しと画像変換による画像出力タイミングを調整するために行われる。

図２は、従来のイメージセンサが画像信号を読み出すタイミングと、従来の撮像装置が画像信号を出力するタイミングの例を示す。
ここでは、従来の撮像装置１が画像歪変換やＰｉｎＰや部分画像の切り出し拡大等をしない場合について説明する。

イメージセンサは、１水平期間（１Ｈ）毎にライン方向の画像信号を読み出す。イメージセンサの撮像領域における全水平ラインは、１垂直期間（１Ｖ）のタイミングで読み出しが行われる。イメージセンサ１１から取り込んだ画像はサイズの変換等が行われることなく、そのまま撮像装置の外部に出力される。

従来の撮像装置が備える画像記憶部は、本例の画像記憶部１３２に対応する第１の領域１３２αと第２の領域１３２βを有していない。ここで、画質調整部と画像変換部がそれぞれ所定の処理を行うため、撮像装置１が画像信号を出力するタイミングは全体的に一律の遅延が生じる。その結果、画像局所毎のタイミング調整は不要である。

図３は、第１の領域１３２αと第２の領域１３２βに配置される画像の例を示す。
第１の領域１３２αには、表示部２１の画面全体に出力するための変換画像を記憶させ、第２の領域１３２βには、ＰｉｎＰ小画面に表示させるための変換画像を記憶させる。以下の説明では、表示部２１における全画面を「親画面」と称し、部分画像が表示される領域を「子画面」と称する。画像変換部１３は、子画面の水平及び垂直方向の領域がどの範囲であるかを予め保持している。

そして、画像変換処理部１３１によって処理された画像が１ラインずつ画像記憶部１３２に書き込まれる際に、子画面が表示される開始位置と終了位置を求め、ライン毎に子画面の画像信号を第２の領域１３２βに書き込む。ここで、第１の領域１３２αと第２の領域１３２βへの画像信号の書き込みは、画像変換部１３が備える不図示の子画面判定カウンタの値によって行われる。子画面判定カウンタは、水平方向に１画素ずつ書き込まれた画像信号を計数し、垂直方向に１ラインずつ書き込まれた画像信号を計数するカウンタである。

この書き込みは、垂直方向にも行われるため、子画面の表示開始位置に該当するラインより子画面判定カウンタの値が大きくなると子画面の画像信号を第２の領域１３２βに書き込む。そして、子画面判定カウンタの値が子画面表示終了位置より大きくなると第２の領域１３２βへの書き込みを終了する。なお、第１の領域１３２αに書き込まれる画像信号は現フレームであるのに対し、第２の領域１３２βに書き込まれる画像信号は１フレーム前のものである。１つの画像記憶部１３２を２つの領域に分けることによって現フレームと１フレーム前の画像信号を出力する処理については図４と図５を参照して説明する。

図４は、第１の領域１３２αと第２の領域１３２βへの変換画像の書き込み処理の例を示す図である。まず、図４Ａに示すように、ＰｉｎＰ小画面に出力するための変換画像Ｓを、第２の領域１３２βに書き込む。第１の領域１３２αはマスク領域として何の画像も書き込まないようにする。次に、図４Ｂに示すように、全画面に出力するための変換画像Ｆを、第１の領域１３２αに書き込む。今度は、第２の領域１３２βをマスク領域として何の画像も書き込まないようにする。

このように書き込まれた全画面出力用の変換画像Ｆと小画面出力用の変換画像Ｓとを、領域選択部１９が、それぞれフレームレートを１／２に落として１フレーム毎に交互にアナログエンコーダ１８から出力させる。つまり、それぞれの変換画像は、２フレームに１回更新されるようになる。このような処理を行うことにより、図４Ｃに示したように、全画面出力用の変換画像Ｆと小画面出力用の変換画像Ｓという時間的に異なる画像が、合成されて出力されるようになる。

このように構成することで、例えば、表示部２１の全画面には通常モードによる撮影画像を表示させ、ＰｉｎＰの小画面には、パーソナルビューモードによる特定の領域Ｐａ（図６Ａ参照）の画像を表示させることができる。出力フレーム毎に両領域の画像を合わせて画像出力する事で、ユーザは、撮像装置１によって撮影された通常の画像も見ながら、特定領域Ｐａの拡大画像も確認することができる。したがって、車両の周囲の状況把握を容易に行えるようになる。また、本例の構成によれば、撮像装置１の外部でＰｉｎＰ生成と合成処理用の機器やその動作に必要な追加メモリ等を用いることなく、画像記憶部１３２を領域の数に対応させて複数設けずに済む。このため、撮像装置１と表示部２１で構成される車両周辺監視システムの部品点数を減らす事ができ、システムのコストを低減できるという効果も得られる。

［画像変換処理部１３１による画像変換処理の例］
図５は、画像を変換するタイミングの例を示す。
図５Ａは、イメージセンサ１１から読み出す画像の読み出しタイミングの例を示す。
ここでは、１フレームずつイメージセンサ１１から画像が読み出されるものとする。

図５Ｂは、１フレーム毎に読み出された画像へ符号を付けた例を示す。
図５Ｃは、画像変換部１３に入力する変換画像の例を示す。イメージセンサ１１から画像変換部１３の間には、画質調整部１２による処理が行われるため、イメージセンサ１１から読み出されるタイミングに比べて、画像変換処理部１３１には遅れて画像が入力する。

図５Ｄは、画像の読み出しタイミングの例を示す。
画像変換処理部１３１は、入力した画像を１フレーム毎に取り出した全体画像又は部分画像のフレームレートを２倍に伸張し、全体画像と部分画像を画像記憶部１３２に書き込むタイミングを１フレーム分だけ異ならせる。本例では、全体画像を変換画像α−ｎ、部分画像を変換画像β−ｎとして表す（ｎは自然数）。

画像変換処理部１３１は、全体画像を第１の領域１３２αに書き込み、部分画像を第２の領域１３２βに書き込む。そして、領域選択部１９は、全体画像と部分画像の読み出しを２フレーム分の時間をかけて行う。また、領域選択部１９によって全体画像と部分画像が画像記憶部１３２から読み出されるタイミングは１フレーム分だけ異なる。これにより、表示部２１に表示されるＰｉｎＰ画像は、１フレームだけ異なる２種類の画像が表示される。

このように、それぞれの変換画像の出力は、２フレームに１回ずつ画像が更新されるため、時間的に異なる画像が合成して出力される。これにより、フレームレートを落とさずにイメージセンサ１１が毎フレームの画像を出力することが可能となる。出力される各フレームはＮＴＳＣフォーマットでは３０ｆｐｓ(フレーム／秒)であり、時間差が生じるが実用上では問題は無い。また、撮像装置１が画像を出力するために、ＮＴＳＣアナログ出力等の基準の垂直同期タイミングで画像を連続的に出力する撮像システム５を構成することが可能となる。

なお、画像変換処理部１３１は、第１の領域１３２αに第２の画像信号を書き込み、第２の領域１３２βに第１の画像信号を書き込むようにしてもよい。このとき、アナログエンコーダ１８は、表示部２１によって表示される画面のうち、ＰｉｎＰ中の子画面には全体画像を表示し、メイン画面には部分画像を表示する。

［タイミング調整部１６によるタイミング調整処理の例］
図６〜図９は、画像の一部を拡大表示する場合におけるタイミング調整部１６によるタイミング調整処理の例を示す。

図６Ａは、全体画像６を用いてイメージセンサ１１から画像信号を読み出すタイミングを示す。
図６Ａでは、１フレームを構成する各画素のうち、最初の画素（画面左上端の画素）が読み出されるタイミングをタイミングＴｉ１とし、最後の画素（画面右下端の画素）が読み出されるタイミングを、タイミングＴｉｅとしている。タイミングＴｉ１で最初の画素が読み出された後は、水平走査期間１Ｈの期間で、画面右端までの１ライン分の画素が順に読み出される。そして、１ライン目の次は２ライン目といったように、最終ラインまで画素が次々に読み出されることで、１フレーム分の画素がすべて読み出される。つまり、図６Ａに示した、イメージセンサ１１からの画像信号読み出しにおいては、（タイミングＴｉｅ−タイミングＴｉ１）で算出できる期間が、１Ｖ有効期間となる。

図６Ｂは、「パーソナルビューモード」において、特定の領域Ｐａとして設定された領域における部分画像７の例を示す。
図６Ｂでは、特定の領域Ｐａを破線で示してあり、特定の領域Ｐａの左上端の画素が読み出されるタイミングをタイミングＴｉｎ、右下端の画素が読み出されるタイミングをタイミングＴｉｍと示している。（タイミングＴｉｍ−タイミングＴｉｎ）で算出できる期間は、特定の領域Ｐａの大きさによって変わるものとする。本例では、この特定の領域Ｐａ内における部分画像７を切り出して、切り出した画像を１Ｖ有効期間かけて表示装置２に出力する。

図６Ｃは、表示装置２への画像の出力タイミングの例を示す。
図６Ｃでは、特定の領域Ｐａ内における部分画像７に注目した場合における最初の画素を表示装置２に出力するタイミングをタイミングＴｏ１とし、最後の画素を表示装置２に出力するタイミングをＴｏｅとしてある。

図６Ｄは、イメージセンサ１１が画像信号を出力するタイミングの例を示す。
ここでは、１垂直期間における、１番目の水平期間を“１Ｈ”とし、２番目の水平期間を“２Ｈ”とし、ｘ番目の水平期間を“ｘＨ”とする。

図６Ｅは、撮像装置１が画像信号を出力するタイミングの例を示す。
画質処理と画像を切り出す処理によって、撮像装置１が画像信号を出力するタイミングは全体に遅れる。しかし、部分画像を１垂直期間のタイミングに引き伸ばして出力する必要があるために、バッファメモリとして用いる画像記憶部１３２に画像を保持する。

図６Ｂに示した特定の領域Ｐａ内の部分画像７を、（タイミングＴｏｅ−タイミングＴｏ１）で示される１Ｖ有効期間かけて出力する場合には、特定領域Ｐａに相当する部分画像７の出力を、１Ｖ有効期間に引き延ばして行う必要がある。さらに、画質調整部１２による画質調整処理にかかる遅延も加わるため、図６Ｄに示す撮像装置１からの画像信号出力タイミングは、図６Ｅに示すイメージセンサ１１からの読み出しタイミングより、所定の期間遅延されたものとなる。

このため、タイミング調整部１６は、特定の領域Ｐａの部分画像７の引き延ばし出力を実現するために、イメージセンサ１１からの画像信号の読み出しタイミングや、画像記憶部１３２からの部分画像の読み出しタイミングを調整する。

図７は、ＰｉｎＰをして部分画像を拡大表示する場合のタイミング調整の例を示す。
図７Ａ，図７Ｄ，図７Ｅは、図６Ａ，図６Ｄ，図６Ｅと同様に、イメージセンサ１１が画像信号を出力するセンサ出力タイミングと、撮像装置１が表示装置２に画像信号を出力するカメラ出力タイミングの例を示す。ただし、ＰｉｎＰをして部分画像を拡大表示する場合におけるタイミング調整は一律に定めることができない。

図７Ｂは、特定の領域Ｐａに全体画像６を縮小表示し、部分画像７を全画面表示した例を示す（第１のケース）。
図７Ｃは、特定の領域Ｐａに部分画像７を縮小表示し、全体画像６を全画面表示した例を示す（第２のケース）。
この場合、タイミング調整を行っただけでは、表示タイミングのずれを吸収できないため、以下の図８又は図９に示すようにタイミングを調整する。

図８は、部分画像を拡大してＰｉｎＰ表示する場合のタイミング調整の例を示す（第１のケース）。表示制御部１７は、特定の領域として切り出された第２の画像を、ピクチャインピクチャの全画面に表示し、子画面に第１の画像を表示する。

図８Ａは、イメージセンサ１１が画像信号を出力するタイミングの例を示す。
上述したように、１Ｖ有効期間は次式で求まる。
Ｔｉｅ−Ｔｉ１＝１Ｖ有効期間

図８Ｂは、部分画像７が設定される領域の例を示す。
上述したように、部分画像７が設定される特定の領域Ｐａは可変である。そして、部分画像７の可変有効期間は次式で求まる。
Ｔｉｍ−Ｔｉｎ＝可変有効期間

図８Ｃは、ＰｉｎＰ表示された画面の表示例を示す。
ＰｉｎＰ表示では、全画面表示される部分画像７の内部における特定の領域Ｐａに、全体画像６が縮小表示される。タイミング調整部１６は、タイミング調整機能を用いて画像の書き込みタイミングを調整し、領域選択部１９はタイミング調整部１６の指示に基づいて画像記憶部１３２から画像を伸張出力する。このとき、拡大表示された部分画像７の表示開始タイミングをＴｏ１とし、表示終了タイミングをＴｏｅとすると、１Ｖ有効期間は次式で求まる。
Ｔｏｅ−Ｔｏ１＝１Ｖ有効期間

図８Ｄは、全体画像６を拡大表示した例を示す。
ここで、全体画像６の表示開始タイミングをＴｐ１とし、表示終了タイミングをＴｐとすると、１Ｖ有効期間は次式で求まる。なお、表示開始タイミングＴｐ１と表示終了タイミングＴｐｅは、ＰｉｎＰの配置位置によって可変する値である。
Ｔｐｅ−Ｔｐ１＝１Ｖ有効期間

図９は、ＰｉｎＰをして部分画像を拡大表示する場合のタイミング調整の例を示す（第２のケース）。表示制御部１７は、特定の領域として切り出された第２の画像を、ピクチャインピクチャの子画面に表示する。

図９Ａ、図９Ｂは、図８Ａ、図８Ｂと同様に、センサ出力タイミングとカメラ出力タイミングの例を示す。
図９Ｃ、図９Ｄは、全体画像６を全画面表示する例を示す。
図９Ｃに示すように、全体画像６の表示開始タイミングをＴｏ１とし、表示終了タイミングをＴｏｅとすると、１Ｖ有効期間は次式で求まる。
Ｔｏｅ−Ｔｏ１＝１Ｖ有効期間

図９Ｄに示すように、特定の領域Ｐａに表示される部分画像７の表示開始タイミングＴｐ１と表示終了タイミングＴｐｅは、ＰｉｎＰの配置位置によって可変する値である。
Ｔｐｅ−Ｔｐ１＝１Ｖ有効期間

図１０は、本例の撮像装置１が設置される自動車を上面視した例を示す。
撮像装置１は、自動車のフロント側のボンネット部とリア側のトランク部に設置され、表示装置２が車内の運転席に設置される。フロント側、リア側に設置された撮像装置１は、共に撮像角度が１８０度程度である。

図１１は、表示部２１に表示される画像の例を示す。
図１１Ａは、画像変換等を行わない状態における全画面表示の例を示す。
この例では、自動車のリア側に設置された撮像装置１が撮像した画像を表示している。この撮像装置１に用いられるレンズは曲率が大きいため、特に表示部２１の周辺部における画像の歪みが大きくなる。このため、ユーザは注目する領域８の位置関係を把握しにくい。

図１１Ｂは、ＰｉｎＰ表示した例を示す。
本例では、全画面表示をしつつ、領域８の歪みを除く画像変換処理が施されたＰｉｎＰ画像を表示部２１の左上に位置する特定の領域Ｐａに表示している。このようにＰｉｎＰ表示をすることによって、ユーザは領域８の様子を正確に把握しながら自動車の車庫入れ等を行うことができる。

以上説明した一実施の形態に係る撮像システム５によれば、同一のイメージセンサ１１より取り込まれた画像の一部を取り出して、全体画像か部分画像のいずれかを子画面化してＰｉｎＰ表示することができる。ただし、全体画像と部分画像を表示するために画像変換から表示するまでのタイミングを少なくとも２系統で調整する必要がある。このため、ＰｉｎＰの子画面としてＰｉｎＰ表示機能を実現する際に、子画面側の画像情報が配置されるメモリ領域を第２の領域１３２βとして画像記憶部１３２に確保し、第２の領域１３２βに全画面から取得した画像を予め嵌め込んで配置する。これにより、全画面と子画面を出力する処理におけるタイミングの調整を２系統に分けて行う必要がなくなる。このように、撮像装置１は、全画面表示をする際に用いる、“全画像メモリ”の順次読み出しアドレス内において、ＰｉｎＰの表示位置に応じたアドレス領域に、前フレームの画像を縮小配置する。

また、それぞれの変換画像の出力は、２フレームに１回ずつ画像が更新される。従って、時間的に１フレームずつ異なる画像が合成されて表示部２１に出力される。このため、イメージセンサ１１が出力する画像のフレームレートを落とすこと無く毎フレームの画像を表示部２１に出力することが可能となる。また、撮像装置１が表示装置２に画像を出力するために、ＮＴＳＣアナログ出力等の基準の垂直同期タイミングで画像を連続的に出力するシステムを構成することが可能である。

このように、撮像装置１は、ＰｉｎＰ機能付き周辺監視用に車載される広角を撮像可能である。広角画像では局所的な画像の詳細把握が困難であり、特にユーザが注視したい特定の箇所が存在しても、そのままの画像では細部を把握が出来ないか、ユーザが認知するまでに時間が掛かることになる。しかし、運転中のドライバは危険物に対して早期に判断することが必要である。そのようなニーズに対して、撮像装置１が取り込んだ広角画像から該当する特定領域Ｐａにおける部分画像を事前に設定し、撮像装置１側で子画面等に該当箇所をＰｉｎＰ表示する機能を提供することで、ドライバが状況を容易に把握することが出来る。ドライバは、全体画像と合わせて特定の注視領域をより詳細に観察できるために、周辺の状況把握が容易且つ迅速に把握できる。

また、撮像装置１は、撮像装置１が出力する同一画面内に子画面を配置するＰｉｎＰ機能を設けており、この子画面には全体画像では目視が困難な箇所の部分画像をドライバ等が指定できる。または子画面に全体画像を表示して、全体画像に特定箇所の拡大詳細画像を表示することも可能とする。そして、全体画像と部分画像をＰｉｎＰとしてほぼ同時に同一画面に嵌め込んで表示装置２に伝送することによって、周囲の全体と特定箇所の詳細を同時に把握することが可能となる。

また、２フレームに１回ずつ画像が更新されるため、画質調整部１２は、読み出される時間が異なり、異なる撮像領域に起因する領域毎に最適な画質に調整することにより、撮像装置１は、それぞれの変換画像を出力することが可能である。そして、画像記憶部１３２にフレームを交互に書き込んで実現するＰｉｎＰ動作方法により、副次的に領域毎の露光制御等の最適化処理を行うことが可能である。従来は、明るさが大きく異なる領域をＰｉｎＰ表示した際に、画像の一部が極端に暗くなるか、または極端に明るくなる場合があった。しかし、領域毎に表示される画像毎に最適な画質に調整する制御を行うことによって、フレーム毎に各領域に書き込まれる画像信号よりなる画像の明るさを調整することが可能となる。このため、撮像装置１は、ドライバが全体を把握しやすい画像を出力することができる。

また、これまでの周辺監視用に車載される撮像装置は、製造過程で設定された特定領域を目視することを目的として予め監視領域が設定されていた。製品の中には工場の出荷段階で目視して管理領域を指定できるものが存在していたが、各ドライバが運転する環境に起因する目視が困難な状況を考慮して監視領域を指定できる製品はなかった。一方、撮像システム５によれば、ドライバが自己の運転で目視が困難な領域指定と、指定した領域の保持ができるため、例えば自宅の狭いスペースに駐車する際には非常に有効な周辺監視ができる。

＜２．変形例＞
なお、図４に示したように、一つの画像記憶部１３２を用いてＰｉｎＰ画面の表示制御を行う構成だけでなく、領域の数に対応して複数の画像記憶部１３２を設ける構成に適用してもよい。

また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。

１…撮像装置、２…表示装置、５…撮像システム、６…全体画像、７…部分画像、８…領域、１１…イメージセンサ、１２…画質調整部、１３…画像変換部、１４…制御部、１５…設定値記憶部、１６…タイミング調整部、１７…表示制御部、１８…アナログエンコーダ、１９…領域選択部、２１…表示部、２２…操作入力部、１３１…画像変換処理部、１３２…画像記憶部、１３２α…第１の領域、１３２β…第２の領域、Ｂ１…選択・確定ボタン、Ｂ２…値入力ボタン

Claims (9)

1. 被写体光を光電変換して画像信号を生成するイメージセンサと、
   前記画像信号による画像を切り出す範囲を設定する設定値により特定される特定の領域に対応して第１の領域の内部に第２の領域を設定する記憶部と、
   前記イメージセンサから前記画像信号を読み出して前記記憶部に前記画像信号を書き込むタイミングと、前記記憶部から前記画像信号を読み出すタイミングを調整するタイミング調整部と、
   前記イメージセンサから読み出される前記画像信号による画像に所定の処理を加え、前記タイミングが調整されることによって、前記画像信号を書き込むフレームを１フレーム毎に異ならせて前記第１の領域に前記イメージセンサから入力する前記画像信号による全体画像に対応する第１の画像信号、又は、前記全体画像の一部に相当する部分画像に対応する第２の画像信号を異なるフレーム期間で交互に書き込み、前記第２の領域に前記第１の領域に書き込んだ画像信号とは異なる画像信号を前記画像信号のフレーム期間で書き込む画像変換処理部と、
   前記第１及び第２の領域から連続走査タイミングで読み出した前記第１及び第２の画像信号を所定の方式の画像信号に変換して出力する出力部と、を備えた
   撮像装置。
2. ユーザからの操作入力に応じてその大きさ及び位置を可変させる枠を、前記出力部によって出力された前記画像信号による画像を表示する表示部に表示させる表示制御部を備え、
   前記制御部は、前記枠の大きさ及び位置に基づいて前記設定値を生成する
   請求項１記載の撮像装置。
3. 前記イメージセンサの駆動を制御すると共に、前記第１及び第２の領域に書き込まれる前記第１及び第２の画像信号よりなる画像の画質を調整する制御を、前記イメージセンサから前記画像信号をフレーム毎に取り込むタイミングで前記第１及び第２の画像信号毎に異ならせて行う画質調整部を備える
   請求項２記載の撮像装置。
4. 前記表示制御部は、前記特定の領域として切り出された前記第２の画像を、ピクチャインピクチャの子画面に表示する
   請求項３記載の撮像装置。
5. 前記表示制御部は、前記特定の領域として切り出された前記第２の画像を、ピクチャインピクチャの全画面に表示し、子画面に前記第１の画像を表示する
   請求項３記載の撮像装置。
6. 前記画像変換処理部は、前記第１の領域に前記第２の画像信号を書き込み、前記第２の領域に前記第１の画像信号を書き込む
   請求項２記載の撮像装置。
7. 当該撮像装置は車体又は船体に搭載され、前記イメージセンサは、前記車体又は前記船体の周囲の被写体光を光電変換して前記画像信号を生成する
   請求項４〜６のいずれか１項に記載の撮像装置。
8. 被写体光を光電変換して画像信号を生成するイメージセンサと、
   前記画像信号による画像を切り出す範囲を設定する設定値により特定される特定の領域に対応して第１の領域の内部に第２の領域を設定する記憶部と、
   前記イメージセンサから前記画像信号を読み出して前記記憶部に前記画像信号を書き込むタイミングと、前記記憶部から前記画像信号を読み出すタイミングを調整するタイミング調整部と、
   前記イメージセンサから読み出される前記画像信号による画像に所定の処理を加え、前記タイミングが調整されることによって、前記画像信号を書き込むフレームを１フレーム毎に異ならせて前記第１の領域に前記イメージセンサから入力する前記画像信号による全体画像に対応する第１の画像信号、又は、前記全体画像の一部に相当する部分画像に対応する第２の画像信号を異なるフレーム期間で交互に書き込み、前記第２の領域に前記第１の領域に書き込んだ画像信号とは異なる画像信号を前記画像信号のフレーム期間で書き込む画像変換処理部と、
   前記第１及び第２の領域から連続走査タイミングで読み出した前記第１及び第２の画像信号を所定の方式の画像信号に変換して出力する出力部と、を有する撮像装置と、
   前記出力部から出力された画像信号による画像を表示する表示部を有する表示装置を備えた
   撮像システム。
9. 被写体光を光電変換して画像信号を生成するステップと、
   前記画像信号による画像を切り出す範囲を設定する設定値により特定される特定の領域に対応して第１の領域の内部に第２の領域を記憶部に設定するステップと、
   前記イメージセンサから前記画像信号を読み出して前記記憶部に前記画像信号を書き込むタイミングと、前記記憶部から前記画像信号を読み出すタイミングを調整するステップと、
   前記イメージセンサから読み出される前記画像信号による画像に所定の処理を加え、前記タイミングが調整されることによって、前記画像信号を書き込むフレームを１フレーム毎に異ならせて前記第１の領域に前記イメージセンサから入力する前記画像信号による全体画像に対応する第１の画像信号、又は、前記全体画像の一部に相当する部分画像に対応する第２の画像信号を異なるフレーム期間で交互に書き込み、前記第２の領域に前記第１の領域に書き込んだ画像信号とは異なる画像信号を前記画像信号のフレーム期間で書き込むステップと、
   前記第１及び第２の領域から連続走査タイミングで読み出した前記第１及び第２の画像信号を所定の方式の画像信号に変換して出力するステップと、を有する
   撮像方法。

Images