JP2011244298A - 動画撮像装置及び車両用画像表示装置 - Google Patents

Abstract

【課題】緊急車両のフラッシュライトのようにダイナミック点灯する被写体であっても撮像することができる動画撮像装置を提供する。
【解決手段】有効画像期間Ｔｓ内の画像を一定周期Ｔ０（Ｔｓ≦Ｔ０）で出力する動画撮像装置であって、被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタ部と、シャッタ部の出力を光電変換する光電変換部と、光電変換部によって光電変換した情報を累積するフィールド内積分回路と、有効画像期間Ｔｓ内においてシャッタ部を、シャッタ開時間τを有する周期Ｔ１でｎ回（ｎ・Ｔ１≦Ｔｓ）シャッタ動作を繰り返すように制御し、光電変換部で光電変換した前記周期Ｔ１内の光電変換結果をフィールド内積分回路にｎ個累積するように制御する制御部と、を具備する。
【選択図】図１

Description

本発明は、監視用の動画撮像装置に関する。また動画撮像装置を車両に搭載して周囲の映像を撮影し自車両周辺の画像を表示する車両用画像表示装置に関する。

従来、車両に複数の撮影装置（カメラ）を搭載し、自車両の前方や後方等の周囲の映像を撮影し、走行中の見えにくい領域を撮影して表示部に表示して運転の補助を行うようにした車両用画像表示装置が知られている。撮像装置で撮像した画像を処理することにより、車両前方の障害物の有無や、後方から急接近してくる車両（例えば緊急車両）等を運転者に知らせることができる。

ところで、撮像装置で周囲の映像を撮影した場合、ＬＥＤ信号機や緊急車両の警告灯が正確に撮像できないことがある。例えばＬＥＤ信号機は、交流電源の周期で点滅するため、ＮＴＳＣ方式で撮像する場合、撮像装置の各フィールドの垂直周波数とＬＥＤ信号機の点滅周期が近似し、撮像タイミングと信号機の点滅周期（暗くなる周期）が同期してしまうと信号機の点灯状態を撮影できないことがある。

特許文献１には、撮像素子の露光開始タイミングと露光終了タイミングを制御するシャッタタイミング制御部を備え、ＬＥＤが暗くなるタイミングとシャッタが解放されるタイミングをずらすようにした撮像装置が開示されている。また特許文献２には、ＬＥＤ信号機の点滅周期を記憶する記憶手段と、撮像のシャッタタイミングを制御するコントローラを有し、ＬＥＤの点灯状態において撮像画像が得られる確率を大きくした車載カメラが開示されている。

しかしながら緊急自動車の警告灯には、フラッシュキセノン灯やダイナミック点灯ＬＥＤが使用されている場合があり、ランダムなインパルス状に発光する緊急車両の警告灯を正確に撮像できないことがある。人間には残像があるため、視認感覚としては或る点灯パターンで点滅しているように見えるが、緊急車両の警告灯は、点灯期間において、実際には短い周期のインパルス状発光が所定の間隔で連続している。しかもこの点灯期間中の発光時間あるいは発光間隔に規定はなく、また警告のための点灯パターンも各種各様のものが使用されており、殆どランダムなインパルス発光をしている。

一方、撮像の露光調整手段として絞りとシャッタがあるが、車載用カメラではシャッタで露光時間を制御する手法が広く用いられている。晴天時のような明るい環境ではシャッタが開いている露光時間は極めて短くなり、映像周期は一定に設定されるため、映像周期内でシャッタが開放されている割合は低くなり、ほとんどシャッタ閉となる。したがって、シャッタが開いている期間とインパルス状の発光タイミングが一致した場合には撮像できるが、撮像の確率は極めて低くなる。したがって、緊急自動車の警告灯を人間は視認できるが、撮像装置では全く表示されない状況が発生する可能性がある。

特開２００９−１７２９３号公報 特開２００９−６５５８６号公報

従来、緊急車両の警告灯は、点灯期間において短い周期のインパルス状発光が所定の間隔で連続しているため、撮像装置のシャッタが開いている期間とインパルス状の発光タイミングが一致した場合には撮像できるが、撮像できる確率は極めて低くなり、撮像しても全く表示されない状況が発生することがある。

本発明はこのような事情に鑑み、緊急車両のフラッシュライトのようにダイナミック点灯する被写体であっても撮像することが撮像装置及び車両用画像表示装置を提供することを目的とする。

請求項１記載の本発明の実施形態は、有効画像期間Ｔｓ内の画像を一定周期Ｔ０（Ｔｓ≦Ｔ０）で出力する動画撮像装置であって、被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタ部と、前記シャッタ部の出力を光電変換する光電変換部と、前記光電変換部によって光電変換した情報を累積するフィールド内積分回路と、前記シャッタ部、光電変換部及び前記フィールド内積分回路を制御する制御部とを備え、前記制御部は、有効画像期間Ｔｓ内において前記シャッタ部を、シャッタ開時間τを有する周期Ｔ１でｎ回（ｎ・Ｔ１≦Ｔｓ）シャッタ動作を繰り返すように制御し、前記光電変換部で光電変換した前記周期Ｔ１内の光電変換結果を前記フィールド内積分回路にｎ個累積するように制御することを特徴とする。

請求項３記載の本発明の実施形態は、有効画像期間Ｔｓ内の画像を一定周期Ｔ０（Ｔｓ≦Ｔ０）で出力する動画撮像装置であって、被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタと、前記シャッタからの出力を光電変換する動画カメラと、前記光電変換した情報を累積するフィールド内積分回路と、シャッタ開時間τを有する周期Ｔ１でｎ回（ｎ・Ｔ１≦Ｔｓ）のシャッタ動作を繰り返すように前記シャッタを制御し、前記動画カメラに含む電子シャッタを全開するように制御する制御部と、を具備すること特徴とする。

請求項４記載の本発明の実施形態は、車両の周囲を撮影する撮像部と、前記撮像部で撮影した画像をもとに車両周辺にある障害物を判別する画像処理部と、前記画像処理部での判別結果を表示する表示部とを備える車両用画像表示装置であって、前記撮像部は、有効画像期間Ｔｓ内の画像を一定周期Ｔ０（Ｔｓ≦Ｔ０）で出力し、被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタ部と、前記シャッタ部の出力を光電変換する光電変換部と、前記光電変換部によって光電変換した情報を累積するフィールド内積分回路と、前記有効画像期間Ｔｓ内において前記シャッタ部を、シャッタ開時間τを有する周期Ｔ１でｎ回（ｎ・Ｔ１≦Ｔｓ）シャッタ動作を繰り返すように制御し、前記光電変換部で光電変換した前記周期Ｔ１内の光電変換結果を前記フィールド内積分回路にｎ個累積するように制御する制御部とを有することを特徴とする。

請求項５記載の本発明の実施形態は、車両の周囲を撮影する撮像部と、前記撮像部で撮影した画像をもとに車両周辺にある障害物を判別する画像処理部と、前記画像処理部での判別結果を表示する表示部とを備える車両用画像表示装置であって、前記撮像部は、有効画像期間Ｔｓ内の画像を一定周期Ｔ０（Ｔｓ≦Ｔ０）で出力し、被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタと、前記シャッタからの出力を光電変換する動画カメラと、前記光電変換した情報を累積するフィールド内積分回路と、シャッタ開時間τを有する周期Ｔ１でｎ回（ｎ・Ｔ１≦Ｔｓ）のシャッタ動作を繰り返すように前記シャッタを制御し、前記動画カメラに含む電子シャッタを全開するように制御する制御部とを有すること特徴とする。

本発明の実施形態による撮像装置によれば、緊急車両のフラッシュライトのようにダイナミック点灯する被写体を確実に撮像することができる。

本発明の一実施形態に係る撮像装置の全体構成を示すブロック図。 撮像装置のシャッタ部の開閉動作を示すタイミング図。 インパルス発光を行う被写体の発光強度を示す説明図。 フィールド内積分回路の動作を示す動作説明図。 本発明の一実施形態に係る撮像装置の一例を示す回路図。 図５の画素の具体的な構成を示す回路図。 本発明の第２の実施形態に係る撮像装置の構成を示すブロック図。 撮像装置を使用した車載用画像表示装置のブロック図。

以下、この発明の一実施形態について図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置１０の構成を示すブロック図である。撮像装置１０は、制御部１１と、高速動作するシャッタ部１２と、光電変換部１３及びフィールド内積分回路１４とを含む。制御部１１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を含むシステムコントローラであり、ＲＯＭに格納されたプログラムに従って撮像装置１０の各部（シャッタ部１２、光電変換部１３、フィールド内積分回路１４）の動作を制御する。

シャッタ部１２は、光電変換部１２への入射光を調整するもので、撮像動作の開始時に開口し、所定の露光時間τの経過後に閉塞する。光電変換部１２は、複数の画素で構成された撮像素子であり、被写体光像である入射光を電気信号に変換する。フィールド内積分回路１４は、露光時間τにサンプリングされた露光値をフィールド内積分により累積しフィールド毎に出力する。

図２〜図４は、図１の撮像装置１０の動作を説明する図であり、図２はシャッタ部１２の開閉動作を示すタイミング図であり、図３はインパルス発光を行う被写体の発光強度を示す図であり、図４はフィールド内積分回路１４の動作を示す図である。

図２において、動画の撮像は一定の繰り返し周期Ｔ０で行われ、例えばＮＴＳＣ方式の場合はフィールド周期と呼ばれ、１周期Ｔ０＝１６．７ｍｓである。ここで有効撮像期間をＴｓで示している。例えばＴｓ＝１５ｍｓとする。シャッタ部１２は、周期Ｔ１内で時間τ（τ＜Ｔ１）の間だけシャッタを開き、周期Ｔ１でｎ回（例えばｎ＝７５）繰り返し露光動作を行う。ここでｎ・Ｔ１≦Ｔｓである。また時間τのサンプリングパルスをＰ１，Ｐ２，Ｐ３…で示している。

また緊急車両の警告灯のように、ランダムなインパルス発光を行う被写体の発光時間幅は例えば１ｍｓで周期的に発光するため、周期Ｔ１の時間幅はそれよりも短く設定している。本実施形態では、例えばＴ１＝０．２ｍｓに設定している。被写体の発光時間幅、即ちインパルスの発光強度は、図３のように示されるが、発光強度の半値幅（＝０．５ｍｓ）に対して、Ｔ１＝０．２ｍｓに設定している。

図４はフィールド内積分回路１４の動作を示す図である。フィールド内積分回路１４は、各周期Ｔ１において露光時間τにサンプリングされた露光値（ｐ１，ｐ２，ｐ３…）をフィールド内積分により累積し、フィールド毎に出力する。制御部１１は露光時間τの設定やフィールド内積分、及びフィールド毎の出力を制御する。

こうして、例えば０．２ｍｓ刻みで露光を行い、ｎ個の累積量を出力するので、半値幅０．５ｍｓのインパルス状発光の被写体も必ず露光され問題なく撮像することができる。

図５は、撮像装置１０の一例を示す回路図である。撮像装置１０は、複数の画素を含み、各画素（セル）によってＣＭＯＳイメージセンサを構成する。ＣＭＯＳイメージセンサは、複数の画素（２１１〜２ｍｎ）を垂直方向にｍ行、水平方向にｎ列配置している。また垂直ライン走査回路３１、水平ライン走査回路３２、読み出し回路３３（出力アンプ３４を含む）を有している。

各画素（２１１〜２ｍｎ）には、行選択線Ａ１〜Ａｍと複数の信号印加ラインＲ１１〜Ｒ１ｍ、Ｇ１〜Ｇｍ、Ｒ２１〜Ｒ２ｍ、及び列信号線Ｓ１〜Ｓｎが接続されている。また各画素（２１１〜２ｍｎ）には、電源ラインＶｄｄ，Ｖｓｓが接続されるが、図５では省略している。読み出し回路３３は、各列信号線Ｓ１〜Ｓｎに接続された列選択用のトランジスタＴ１１〜Ｔ１ｎを有し、これらトランジスタＴ１１１〜Ｔ１ｎを水平ライン走査回路３２によって選択動作させることにより、アンプ３４を介して出力信号を得るようにしている。

図６は、図５の画素（２１１〜２ｍｎ）の具体的な構成を示す回路図であり、図５の斜線を施した画素２１１を代表に示している。画素２１１はフォトダイオードＤ１、トランジスタＴ０１〜Ｔ０５及びキャパシタＣ１（Floating Diffusion）を備えている。トランジスタＴ０１〜Ｔ０５はＰチャンネルのＭＯＳトランジスタである。尚、Ｖｄｄは電源であり、Ｖｓｓは基準電位点である。

行選択用のトランジスタＴ０１のゲートには、行選択線Ａ１を介して行選択信号が供給され、読み出し用のトランジスタＴ０２のゲートには信号印加ラインＧ１を介してゲート信号が供給され、第１のリセット用のトランジスタＴ０３のゲートには信号印加ラインＲ１１を介してリセット信号が供給される。また増幅用のトランジスタＴ０４のゲートにはキャパシタＣ１の電荷が供給され、第２のリセット用のトランジスタＴ０５のゲートには信号印加ラインＲ２１を介してリセット信号が供給される。

図６において、各素子は光電変換部１３を構成するが、トランジスタＴ０２とＴ０５は、高速シャッタ１２を構成し、キャパシタＣ１はフィールド内積分回路１４を構成する。以下の説明では、トランジスタＴ０１、Ｔ０２，Ｔ０３，Ｔ０５のゲートにそれぞれ供給される信号を、便宜上、行選択信号Ａ１，ゲート信号Ｇ１，リセット信号Ｒ１１、リセット信号Ｒ２１と呼ぶ。

図６において、フォトダイオードＤ１に入射光が当たると、入射光量に応じた光電荷が発生する。トランジスタＴ０２がゲート信号Ｇ１によってオンすると、フォトダイオードＤ１の電荷はキャパシタＣ１に転送される。トランジスタＴ０１が行選択信号Ａ１によってオンしている期間は、トランジスタＴ０４も動作可能であり、トランジスタＴ０４はキャパシタＣ１の電荷に応じて電流量が変化し、増幅した電流を列信号線Ｓ１に出力する。

またトランジスタＴ０２がオフになると、トランジスタＴ０３がリセット信号Ｒ１１によってオンとなり、キャパシタＣ１の電荷が捨てられリセットされる。トランジスタＴ０２が次にオンになるまでにフォトダイオードＤ１で露光されて発生した電荷は、次にトランジスタＴ０２がオンしたときにキャパシタＣ１に転送され、リセット時との差分を検出して出力することになる。

ＣＭＯＳイメージセンサは、一般的に４つのトランジスタＴ０１〜Ｔ０４が用いられるが、本実施形態では、第２のリセット用のトランジスタＴ０５を追加し、トランジスタＴ０５をリセット信号Ｒ２１によって図２の周期Ｔ１でオン・オフさせ、時間τの期間にオフするようにしている。したがって、フォトダイオードＤ１による露光は連続して行われず、周期Ｔ１のうち時間τにおいて露光が行われる。

つまり、トランジスタＴ０５は、図２の周期Ｔ１のうち時間τの期間はオフし、それ以外の期間はオンになる。また時間τ後にトランジスタＴ０２がオンとなり、時間τに露光された電荷がキャパシタＣ１に転送されキャパシタＣ１に保持される。

トランジスタＴ０５は周期Ｔ１でオンし、フォトダイオードＤ１で発生し蓄積された電荷をリセットする。またトランジスタＴ０５でリセットされてから時間τの経過後再びトランジスタＴ０２がオンとなり、時間τにおいて露光された電荷がキャパシタＣ１に追加転送される。この動作が１フィールド期間にｎ回繰り返し行われ、キャパシタＣ１には各時間τの露光電荷がｎ回累積される。

こうして第１の実施形態では、高速シャッタの動作をトランジスタＴ０２，Ｔ０５のオン・オフによって実現し、キャパシタＣ１へ電荷転送することでフィールド内積分を実現する。

第１の実施形態による動画撮像装置によれば、ＬＥＤ信号機のような被写体は勿論、緊急車両のフラッシュライトのようにダイナミック点灯する被写体を確実に撮像することができる。またイメージセンサの画素毎にトランジスタＴ０５を追加して制御するだけで済むという利点もある。

次に撮像装置の第２の実施形態について図７を参照して説明する。図７の撮像装置１０は、制御部１１と、高速シャッタ１２１と、光電変換部１３１（フィールド内積分回路１４の機能を含む）とで構成される。

制御部１１は、撮像装置１０の各部（高速シャッタ１２１、光電変換部１３１、フィールド内積分回路１４）の動作を制御する。高速シャッタ１２１は、例えば液晶シャッタであり、図２で示すように周期Ｔ１でオン・オフし、時間τの期間に開く。光電変換部１３１は、電子シャッタを含む動画用カメラである。フィールド内積分回路１４は機能説明用に図示したものであり、光電変換部１３１の電子シャッタをフィールド周期で全開とすることで実現される。

高速シャッタ１２１と光電変換部１３の組み合わせにより、実施形態１と同様に周期Ｔ１の時間τにおいて露光を行い、これを１フィールド期間にｎ回繰り返す。光電変換部１３１は、1フィールド周期で電子シャッタを全開とし、光電変換による電荷を１フィールド期間に蓄積する。

第２の実施形態による動画撮像装置によれば、通常のカメラに高速シャッタ１２１を追加することで、ＬＥＤ信号機のような被写体は勿論、緊急車両のフラッシュライトのようにダイナミック点灯する被写体を確実に撮像することができる。

図８は、第１又は第２の実施形態による撮像装置１０を車両に搭載した車両用画像表示装置を示すブロック図である。

図８の車両用画像表示装置１００は、撮像部１０、画像処理部４１、車両情報生成部４２、記憶部４３、及び表示・警告部４４を備えている。撮像部１０は、車両１に取り付けられた複数のカメラ１０１，１０２…を有している。カメラ１０１，１０２…は、図１の撮像装置と同じ構成であり、車両の前方、後方等の周囲の映像を撮影する。

画像処理部４１は、車両周辺を撮影した複数画像を用いて、車両周辺の状況を示す状況画像を生成する。また撮影した画像をもとに障害物の有無を判別し、自車両に急接近する他の車両や、緊急車両の有無等を示す画像を生成する。カメラ１０１，１０２…は、例えば緊急車両の警告灯のように短い周期でインパルス発光する被写体であっても的確に捉えて撮像することができるため、緊急車両の有無を容易に判別することができる。

車両情報生成部４２は、車速計やジャイロ等を含み、自車両の車速情報や自車両の傾き等を検出する。また車両情報生成部４２はＧＰＳ装置を含む。車両情報生成部４２からは、自車両の現在位置や方向及び角度、進行方向（前進、バック、右・左折）等の情報を得ることができ、画像処理部４１にこれらの情報を伝達する。したがって、画像処理部４１は、車両情報生成部４２からのナビゲーション情報を処理することもできる。

記憶部４３は、画像処理部４１で生成した状況図等を記憶する。表示・警告部４４は、画像処理部４１から出力された画像を表示するものであり、液晶ディスプレイ等で構成される。また画像処理部４１で障害物や緊急車両の接近を判別したときに警告用の画像を表示する。こうして車両用画像表示装置１００は、撮像部１０によって撮影した画像を処理して車両周辺の状況画像を表示したり、緊急車両の接近を警告表示することができ、運転の支援をすることができる。

尚、以上説明した実施形態による撮像装置は車両用に限らず、一般の監視用カメラ等にも利用することができる。また本発明の実施形態は、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。

１０…撮像装置
１１・・・制御部
１２，１２１…シャッタ部
１３，１３１…光電変換部
１４…フィールド内積分回路
２１１〜２ｎｍ…画素
３１…垂直ライン走査回路
３２…水平ライン走査回路
３３…読み出し回路
Ｄ１…フォトダイオード
Ｃ１…キャパシタ
Ｔ０１〜Ｔ０５…トランジスタ
１０１，１０２…カメラ
４１…画像処理部
４２…車両情報生成部
４３…記憶部
４４…表示・警告部

Claims (5)

1. 有効画像期間Ｔｓ内の画像を一定周期Ｔ０（Ｔｓ≦Ｔ０）で出力する動画撮像装置であって、
   被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタ部と、
   前記シャッタ部の出力を光電変換する光電変換部と、
   前記光電変換部によって光電変換した情報を累積するフィールド内積分回路と、
   前記シャッタ部、光電変換部及び前記フィールド内積分回路を制御する制御部と、を備え、
   前記制御部は、有効画像期間Ｔｓ内において前記シャッタ部を、シャッタ開時間τを有する周期Ｔ１でｎ回（ｎ・Ｔ１≦Ｔｓ）シャッタ動作を繰り返すように制御し、前記光電変換部で光電変換した前記周期Ｔ１内の光電変換結果を前記フィールド内積分回路にｎ個累積するように制御することを特徴とする動画撮像装置。
2. 前記動画撮像装置は、複数の光電変換用の画素を行方向及び列方向にマトリクス状に配置し、
   前記各画素は、フォトダイオードと、前記フォトダイオードの光電荷が読み出し用のトランジスタを介して転送されるキャパシタと、前記キャパシタに接続した第１のリセット用のトランジスタと、前記キャパシタの電荷に応じた電流を列信号線に出力する増幅用のトランジスタと、前記増幅用のトランジスタに直列に接続した行選択用のトランジスタと、前記フォトダイオードと電圧源の間に直列に接続した第２のリセット用のトランジスタとを含み、
   前記周期Ｔ１内の時間τの期間に前記第２のリセット用のトランジスタをオフとし、前記時間τの経過後に前記読み出し用のトランジスタをオンするように制御することを特徴とする請求項１記載の動画撮像装置。
3. 有効画像期間Ｔｓ内の画像を一定周期Ｔ０（Ｔｓ≦Ｔ０）で出力する動画撮像装置であって、
   被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタと、
   前記シャッタからの出力を光電変換する動画カメラと、
   前記光電変換した情報を累積するフィールド内積分回路と、
   シャッタ開時間τを有する周期Ｔ１でｎ回（ｎ・Ｔ１≦Ｔｓ）のシャッタ動作を繰り返すように前記シャッタを制御し、前記動画カメラに含む電子シャッタを全開するように制御する制御部と、を具備すること特徴とする動画撮像装置。
4. 車両の周囲を撮影する撮像部と、前記撮像部で撮影した画像をもとに車両周辺にある障害物を判別する画像処理部と、前記画像処理部での判別結果を表示する表示部とを備え、
   前記撮像部は、有効画像期間Ｔｓ内の画像を一定周期Ｔ０（Ｔｓ≦Ｔ０）で出力し、
   被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタ部と、
   前記シャッタ部の出力を光電変換する光電変換部と、
   前記光電変換部によって光電変換した情報を累積するフィールド内積分回路と、
   前記有効画像期間Ｔｓ内において前記シャッタ部を、シャッタ開時間τを有する周期Ｔ１でｎ回（ｎ・Ｔ１≦Ｔｓ）シャッタ動作を繰り返すように制御し、前記光電変換部で光電変換した前記周期Ｔ１内の光電変換結果を前記フィールド内積分回路にｎ個累積するように制御する制御部と、を有することを特徴とする車両用画像表示装置。
5. 車両の周囲を撮影する撮像部と、前記撮像部で撮影した画像をもとに車両周辺にある障害物を判別する画像処理部と、前記画像処理部での判別結果を表示する表示部とを備え、
   前記撮像部は、有効画像期間Ｔｓ内の画像を一定周期Ｔ０（Ｔｓ≦Ｔ０）で出力し、
   被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタと、
   前記シャッタからの出力を光電変換する動画カメラと、
   前記光電変換した情報を累積するフィールド内積分回路と、
   シャッタ開時間τを有する周期Ｔ１でｎ回（ｎ・Ｔ１≦Ｔｓ）のシャッタ動作を繰り返すように前記シャッタを制御し、前記動画カメラに含む電子シャッタを全開するように制御する制御部と、を有すること特徴とする車両用画像表示装置。

Images