JP2012119726A - 撮像装置およびテレビドアホン装置 - Google Patents

Abstract

【課題】撮像装置およびテレビドアホン装置に関し、夜間など暗いところで被写体を撮影する場合であっても、撮影画像中の被写体を識別しやすくし視認性を良くすることを目的とする。
【解決手段】撮像装置９は、来訪者である被写体に撮影用赤外光源部９ａから赤外光を照射すると共に、撮像部９ｃは被写体を撮影している間、被写体動き検出部２３により赤外波長域の赤外成分から得られる赤外映像信号から被写体の動き情報を検出し、被写体動き検出部２３で検出された被写体の動き情報に基づいて累積加算部２４により複数の色成分から得られる可視映像信号中の被写体の振れを補正し、振れ補正された可視映像信号を時間軸方向に累積加算してカラー映像信号を出力する構成とした。
【選択図】図５

Description

本発明は、被写体を撮影してカラーの撮影画像を得ることが可能な撮像装置およびテレビドアホン装置に関する。

暗いところで被写体を撮影する撮像装置が提案されている。例えば、被写体に赤外光を照射し、照射された被写体をカメラで撮影していた。この撮像装置では、被写体からの可視光成分に基づいてＲＧＢ色信号を色変換してカラー画像信号を生成し、さらに被写体からの赤外線成分に基づいて赤外線輝度信号を生成してモノクロ画像信号を生成していた。

すなわち、従来の撮像装置は、ブロックごとに色信号の存在する可視領域と、色信号のほとんど存在しない近赤外輝度信号Ｉｒからなる赤外領域とを区別し、近赤外輝度信号Ｉｒが輝度信号Ｙ（ＲＧＢ色信号から生成）より小さいことにより可視領域と判断されたブロックでは、そのブロック内のＲＧＢ色信号を色変換してカラー画像信号を生成していた。また近赤外輝度信号Ｉｒが輝度信号Ｙより大きいことにより赤外領域と判断されたブロックでは、そのブロック内の近赤外輝度信号Ｉｒからモノクロ画像を生成していた（例えば、特許文献１参照）。
特開２００６−１４８６９０号公報

従来の撮像装置では、夜間など赤外光以外の光がほとんど得られないところで撮影された場合、撮像して得た撮影画像内の大部分のブロックで近赤外輝度信号Ｉｒが輝度信号Ｙより大きくなり、撮影画像がモノクロ画像となっていた。このため、撮影画像中の被写体を識別しにくく視認性が良くないという課題があった。

そこで本発明は、夜間など暗いところで撮影する場合であっても、撮影画像中の被写体を識別しやすくし視認性を良くすることを目的とする。

上記の目的を達成するために本発明の撮像装置は、被写体を照射する撮影用赤外光源部と、入射光を可視波長域の複数の色成分と赤外波長域の赤外成分とに色分解する色分解フィルタと、この色分解フィルタを介して入力される光を映像信号として出力する受光素子と、赤外成分から得られる赤外映像信号から被写体の動き情報を検出する被写体動き検出部と、被写体動き検出部で検出された被写体の動き情報に基づいて、複数の色成分から得られる可視映像信号中の被写体の振れを補正し、振れ補正された可視映像信号を時間軸方向に累積加算してカラー映像信号を出力する累積加算部とを備えたことを特徴とする。このような構成により、所期の目的を達成するものである。

また、本発明のテレビドアホン装置は、上記した撮像装置と、この撮像装置により来訪者を撮影して得たカラー映像信号を表示する表示装置とを備えたことを特徴とする。このような構成により、所期の目的を達成するものである。

以上のように本発明の撮像装置は、被写体を照射する撮影用赤外光源部と、入射光を可視波長域の複数の色成分と赤外波長域の赤外成分とに色分解する色分解フィルタと、この色分解フィルタを介して入力される光を映像信号として出力する受光素子と、赤外成分から得られる赤外映像信号から被写体の動き情報を検出する被写体動き検出部と、被写体動き検出部で検出された被写体の動き情報に基づいて、複数の色成分から得られる可視映像信号中の被写体の振れを補正し、振れ補正された可視映像信号を時間軸方向に累積加算してカラー映像信号を出力する累積加算部とを備えたので、被写体動き検出部は夜間など暗いところでも被写体をくっきり撮影できる赤外光を被写体に照射し、撮影して得た赤外映像信号から被写体の振れを検出でき、累積加算部は被写体動き検出部で検出された被写体の動き情報に基づいて可視映像信号中の被写体振れを補正し、補正された可視映像信号を時間軸方向に累積加算でき、これにより信号成分に含まれるランダムノイズを抑え、ノイズにより不明瞭になっている色や輪郭を判別しやすくすると共に可視映像信号中の被写体の輪郭をくっきりさせることができる。これにより、夜間など暗いところで被写体を撮影する場合であっても、色の判別がしやすく、くっきりした撮影画像が得られ、撮影画像中の被写体を識別しやすく視認性を良くすることができる。

また、本発明のテレビドアホン装置は、上記した撮像装置と、この撮像装置により来訪者を撮影して得たカラー映像信号を表示する表示装置とを備えているので、夜間など暗いところにある撮像装置で来訪者を撮影する場合であっても、色の判別がしやすく、輪郭のくっきりした撮影画像が得られ、表示装置に表示される来訪者を識別しやすく視認性を良くすることができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態）
図１〜図１２を参照しながら、本発明の実施の形態におけるテレビドアホン装置について説明する。ここでは、来訪者を撮影する撮像装置から得たカラー映像信号を表示装置に表示するテレビドアホン装置を例に説明する。

図１は、本発明の実施の形態におけるテレビドアホン装置１の概略構成図であり、テレビドアホン装置１は子機２と親機３とから構成され、子機２と親機３は通信回線を介して電気的に接続されている。そして、子機２は玄関先に親機３は居室内にそれぞれ設置されている。これにより、来訪者４は玄関先にある子機２、居室内にある親機３を介して居住者５と通話することができる。

まず、図２、図３を参照しながら、子機２の構成について説明する。

図２はテレビドアホン装置１の回路ブロック図であり、子機２は、呼出ボタン６、子機制御部７、子機通話部８および撮像装置９を備えている。また、撮像装置９は、来訪者４を照明する撮影用赤外光源部９ａ、点灯制御部９ｂ、来訪者４を撮影する撮像部９ｃおよび映像インタフェース（以下、「映像Ｉ／Ｆ」と記す）９ｄを備えている。

図３はテレビドアホン装置１の子機２の正面図であり、子機２では子機本体２ａの前面下側に来訪者４の指により押下される呼出ボタン６を設けている。また、撮像装置９の撮影用赤外光源部９ａおよび撮像部９ｃは呼出ボタン６の位置よりも上側に設けられている。また、撮像部９ｃは子機本体２ａに固定されている。これにより、赤外光の照射光が来訪者４の指や手で遮られるのを防いでいる。また、子機通話部８は、子機本体２ａの前面中央、すなわち呼出ボタン６と撮像装置９との間に設けられている。

図２に戻り、子機２の呼出ボタン６が来訪者４の指により押下されると呼出ボタン６のスイッチがＯＮになり、呼出ボタン６から子機制御部７へ押下信号を通知する。

子機制御部７は子機２の全体を制御し、来訪者４により呼出ボタン６が押下されると親機３へ呼出通知を送信すると共に、子機通話部８および撮像装置９を作動させる。また子機制御部７は、親機３からの応答終了の信号の通知を受け取ると子機通話部８および撮像装置９の動作を終了させる。

子機通話部８は、マイクロフォン（以下、「マイク」と記す）８ａ、スピーカ８ｂおよび通話インタフェース（以下、「通話Ｉ／Ｆ」と記す）８ｃを備えている。マイク８ａは来訪者４の音声を音声信号として出力する。スピーカ８ｂは親機３からの音声信号を音声として出力する。通話Ｉ／Ｆ８ｃは親機３との音声の入出力を行う。

撮像装置９は子機制御部７により起動されると、撮影用赤外光源部９ａを点灯制御部９ｂにより点灯させると共に、来訪者４を撮像部９ｃにより撮影してカラーの映像信号（例えば、カラー映像信号は色差信号、輝度信号および同期信号を合成したコンポジット信号、あるいは個別の信号成分をやり取りするコンポーネント信号である）を映像Ｉ／Ｆ９ｄを介して親機３に出力する。この撮像装置９内の点灯制御部９ｂの動作、撮像部９ｃの構成については後述する。

次に、図２、図４を参照しながら、親機３の構成について説明する。

図２に示すように、親機３は、操作ボタン１０、親機制御部１１、親機通話部１２および表示装置１３を備えている。

図４はテレビドアホン装置１の親機３の正面図であり、親機３の操作ボタン１０は親機本体３ａの前面下側に設けられている。また、親機通話部１２のマイク１２ａとスピーカ１２ｂは親機本体３ａの前面中央、すなわち操作ボタン１０の上側に設けられている。そして、表示装置１３は親機本体３ａの前面上側に設けられている。

図２に戻り、操作ボタン１０は、居室内にいる居住者５が来訪者４と通話する際に使用される応答ボタンであり、親機制御部１１に接続されている。

親機制御部１１は、親機３の全体を統括制御する機能を備えており、呼出ボタン６の押下によって子機２の子機制御部７から呼出通知を受け取ると、親機通話部１２、表示装置１３を作動させる。すなわち、呼出ボタン６の押下により子機通話部８と親機通話部１２との間で通話Ｉ／Ｆ８ｃ、後述する通話Ｉ／Ｆ１２ｃを介して音声信号の入出力が可能となり通話可能状態となる。また親機制御部１１は、居住者５が来訪者４との通話が終了したことで押下される操作ボタン１０からの信号により親機通話部１２、表示装置１３を停止状態にする機能を備えている。親機制御部１１と子機制御部７とは互いに連携しながら、テレビドアホン装置１の各部の制御部となっている。

親機通話部１２は、マイク１２ａ、スピーカ１２ｂおよび通話Ｉ／Ｆ１２ｃを備えている。マイク１２ａは居住者５の音声を音声信号として出力する。スピーカ１２ｂは子機２からの音声信号を音声として出力する。通話Ｉ／Ｆ１２ｃは子機２との音声信号の入出力を行うものである。

表示装置１３は、映像Ｉ／Ｆ１３ａと表示パネル１３ｂとを備えている。表示装置１３は、映像Ｉ／Ｆ１３ａにより子機２からのカラー映像信号を入力し、入力したカラー映像信号を表示パネル１３ｂに表示する。

次に、テレビドアホン装置１の構成が理解されたところで本実施の形態の特徴となる撮像装置９の詳細について説明する。

図２のテレビドアホン装置１では、子機２の撮像装置９により来訪者４を撮影し、親機３の表示パネル１３ｂにより来訪者４の撮影画像を確認するが、夜間など周囲が暗くなるほど必要な輝度が不足して撮影画像が暗くなり視認性が悪くなる。特に、撮像装置９の受光素子で受光量が減少し、これに伴い受光素子でランダムに発生するノイズが相対的に増加してＳ／Ｎが悪くなる。Ｓ／Ｎが悪くなるとノイズにより色が判別しにくくなると共に撮影して得た撮影画像内の来訪者４の輪郭がノイズにより判別しにくくなる。

そこで撮像装置９を図５に示す構成とした。すなわち、図５はテレビドアホン装置１内の撮像装置９のブロック図であり、撮像装置９は、被写体（例えば、図１中の来訪者４）に撮影用赤外光源部９ａから赤外光を照射すると共に、撮像部９ｃは被写体を撮影している間、被写体動き検出部２３により赤外波長域の赤外成分から得られる赤外映像信号から被写体の動き情報を検出し、累積加算部２４により被写体動き検出部２３で検出された被写体の動き情報に基づいて複数の色成分から得られる可視映像信号中の被写体の振れを補正し、振れ補正された可視映像信号を時間軸方向に累積加算してカラー映像信号を出力する構成とした。被写体動き検出部２３、累積加算部２４の詳細は後述する。

この構成により、撮像装置９は、被写体動き検出部２３により夜間など暗いところでも被写体をくっきり撮影できる赤外光を被写体に照射し、撮影して得た赤外映像信号から被写体の振れを検出でき、累積加算部２４は被写体動き検出部２３で検出された被写体の動き情報に基づいて可視映像信号中の被写体振れを補正し、振れ補正された可視映像信号を時間軸方向に累積加算でき、これにより信号成分に含まれるランダムノイズを抑え、ノイズにより不明瞭になっている色や輪郭を判別しやすくすると共に、可視映像信号中の被写体の輪郭をくっきりさせることができる。

このようにして、撮像装置９は夜間など暗いところで撮影する場合であっても、色や輪郭がはっきりした撮影画像を得ることができ、得られた撮影画像中の被写体を識別しやすくし視認性を良くすることができる。

具体的に撮像装置９の各部を説明すると、撮影用赤外光源部９ａは、例えば赤外発光ダイオード（例えば、ピーク波長が８１０ｎｍ〜９５０ｎｍ）から構成されている。

点灯制御部９ｂは、撮影用赤外光源部９ａの点灯のＯＮ／ＯＦＦを子機制御部７からの通知に従い制御する。

撮像部９ｃでは、入射光はレンズ部２０、色分解フィルタ２１を介して受光素子２２の受光面に入光される。レンズ部２０は、単一のレンズまたは複数のレンズが組み合わされたレンズ群であり、色分解フィルタ２１を介して受光素子２２の受光面に被写体の像を結像させる。

色分解フィルタ２１は受光素子２２の受光面の前に設けられ、可視光における赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の光のみを透過させるフィルタおよび赤外成分（Ｉｒ）の光のみを透過させるフィルタを同一平面上に複数並べて構成されている。例えば図６は撮像装置９に用いられる色分解フィルタ２１の構成図であり、色分解フィルタ２１は、赤成分（Ｒ）の光のみを透過させる赤フィルタ２１ａと、緑成分（Ｇ）の光のみを透過させる緑フィルタ２１ｂと、青成分（Ｂ）の光のみを透過させる青フィルタ２１ｃと、赤外成分（Ｉｒ）の光のみを透過させる赤外フィルタ２１ｄとを備え、最小単位が２×２で構成されている。各フィルタは、赤フィルタ２１ａと青フィルタ２１ｃとが斜めの位置関係となるように配置され、緑フィルタ２１ｂと赤外フィルタ２１ｄとが斜めの位置関係となるように配置されている。

図７は色分解フィルタ２１の光透過特性の特性図であり、色分解フィルタ２１は可視光を透過させるフィルタの波長に多少の重なりはあるものの、光の透過が最大となるピーク波長は可視光の範囲内にある１つのみである。また、赤外フィルタ２１ｄは赤外領域のみを透過する。

図５に戻り、受光素子２２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像デバイスを用い、色分解フィルタ２１の各フィルタに対応した画素から、赤成分を赤色信号（Ｒ信号）とし、緑成分を緑色信号（Ｇ信号）とし、青成分を青色信号（Ｂ信号）とした原色信号（Ｒ，Ｇ，Ｂ）を出力する。

次に、被写体動き検出部２３および累積加算部２４について説明する。

撮像装置９は、子機２の子機本体２ａに固定されているので、撮像装置９それ自体の振動や手で持った場合の手振れなどに起因する画振れの補正（例えば、ジャイロなどの加速度センサを利用した振れ補正）は不要である。しかし、撮影の対象である被写体自体の動きに伴う撮影画像中の被写体振れ（部分領域の動きも含む）は発生する。このため、被写体振れのある撮影画像をそのまま累積すると輪郭部がぼやけて不明瞭になる。

そこで、本実施の形態では、赤外光による撮影画像（以下、受光素子２２から出力された赤外映像信号である赤外信号Ｉｒを蓄積したフレーム画像を「赤外画像」ともいう）を用い、撮影画像中の被写体振れを抑える方向に座標を補正しながら累積加算している。赤外光を被写体に照射して得た赤外画像は、暗いところでも被写体をくっきり映すことができるので、被写体の動きが検出しやすい。

まず、図５、図８を用いて、被写体動き検出部２３について説明する。

被写体動き検出部２３は、図５に示すように、レジスタ２５から動き設定基準値２５ａを入力すると共に受光素子２２から出力された赤外信号Ｉｒを入力する。被写体動き検出部２３は、赤外画像中の被写体（来訪者４）の各部の動きを検出し、この動きから被写体の各部の動き情報を生成する。

図８は撮像装置９内の被写体動き検出部２３のブロック図である。被写体動き検出部２３は、メモリ制御部２３１により、例えば時刻（ｔ）で撮影された赤外画像、時刻（ｔ＋ｄｔ）で撮影された赤外画像を複数のフレームメモリ２３２、例えば２つのフレームメモリ２３２に順次にシフトさせながら記憶する。すなわち、撮影時間の差（例えば、時間差がｄｔ）のある２つの赤外画像を２つのフレームメモリ２３２にそれぞれ記憶する。

画像相関部２３３は、後述するように、複数のフレームメモリ２３２、図８中の例では２つのフレームメモリ２３２に記憶されている各赤外画像間の画素値をブロック単位で比較する。すなわち、参照元の赤外画像を複数のブロック（例えば１６×１６画素）に分割し、参照元のブロック内の各画素値と参照先のブロック内の各画素値とを比較（ブロックマッチング）し、比較されたブロックごとの画素値の差の累積値を相関度として検出する。すなわち、検出された画素値の差の累積値が大きくなるほどブロック間の画像の相関度が高く、画素値の差の累積値が小さくなるほどブロック間の画像の相関度が低い。参照先のブロックの探索範囲は、参照元のブロックの位置を中心に、＋１５画素〜−１５画素とする。また、参照先のブロックの探索精度は１画素単位とする。動き検出部２３４は、画像相関部２３３で検出されたブロックの内、相関度の最も高いブロック間の座標差を動き情報として検出する。

図９は、被写体動き検出部２３で検出する被写体振れを説明する概要図である。例えば、時刻（ｔ）、時刻（ｔ＋ｄｔ）それぞれで撮影された赤外画像を各フレームメモリ２３２に記憶し、記憶された赤外画像（時刻（ｔ）の画像）１００と赤外画像（時刻（ｔ＋ｄｔ）の画像）１０１とを用いて被写体振れを検出する。例えば、図９中のように被写体の顔部４ａが撮影中に振れている場合、被写体動き検出部２３は、顔部４ａの各部の動き量（ΔＸ，ΔＹ）を検出し、この動き量（ΔＸ，ΔＹ）から座標を補正するための補正値（オフセット値）を動き情報として出力する。ここで、ｄｔは１画面分（１フレーム画像分）を撮影する時間であり、受光素子２２の蓄積時間に相当する時間である。この蓄積時間は１／３０（秒）〜１／６０（秒）に設定される。なお、時刻（ｔ）は、（ｔ＋ｄｔ）、（ｔ＋２ｄｔ）、・・・、（ｔ＋ｎｄｔ）と刻々と変化する。

図１０は被写体動き検出部２３の画像相関部２３３の画像相関について説明する概要図である。図１０に示すように、画像相関部２３３は、例えば時刻（ｔ）で撮影された赤外画像１００の参照先のブロック２３５と時刻（ｔ＋ｄｔ）で撮影された赤外画像１０１の参照元のブロック２３６との間の画素値の差の大きさ（ブロック内の各画素値の差を累積した値の大きさ）から、相関度の高いブロックの位置を検出する。画像相関部２３３は、まず参照先のブロック２３５を参照元のブロック２３６と同じ座標（例えば、図１０中の座標Ｗａ）に位置を設定し、この設定された位置を中心に参照先のブロック２３５の位置を上下右左方向、斜め方向に１画素ずつシフトさせる。そして、画像相関部２３３は、参照先となる各ブロックで画素値の差の累積値を算出し、算出されたブロックの内で相関度が最も高いブロック、すなわち参照元のブロック２３６に対して参照先のブロック２３５の座標（例えば、重心座標）、および参照元のブロック２３６の座標とを動き検出部２３４に出力する。なお、ブロックの大きさ、数は、１つに限定されない。例えば、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４など複数の参照ブロックを単独、またはこれらを組み合わせて設定してもよい。これにより、さらに各部の僅かな振れによる動き情報を検出できる。また、画像相関部２３３は、ブロックごとに画素値の差の累積値を算出し、この算出された累積値の大きさから相関度を検出するようにしたが、これに限定されるものではない。例えば、画像相関部２３３で赤外画像間の画像形状をブロック単位で比較し、比較されたブロック間の画像形状の一致度合いを相関度としてもよい。

図１１は被写体動き検出部２３の動き検出部２３４の被写体の動き検出例を説明する概要図である。図１１に示すように、動き検出部２３４は、画像相関部２３３から取得した画像相関度が最も高い参照元ブロック２３６の重心座標Ｗａ（Ｘ１，Ｙ１）と参照先のブロック２３５の重心座標Ｗｂ（Ｘ２，Ｙ２）とから動き情報を検出する。すなわち、動き検出部２３４は、入力した座標Ｗａと座標Ｗｂとの座標値の差から動き量ΔＸ、動き量ΔＹをそれぞれ算出する。例えば図１１中の例では、動き量ΔＸ＝Ｘ１−Ｘ２、動き量ΔＹ＝Ｙ１−Ｙ２となる。なお、被写体の動きがない場合には、重心座標Ｗａと重心座標Ｗｂは同じ値、すなわち、ΔＸ＝０、ΔＹ＝０となる。

また、動き検出部２３４は、動き設定基準値２５ａより動き量（ΔＸ，ΔＹ）が小さい場合、参照元のブロック２３６の動き情報として、動き量（ΔＸ，ΔＹ）に対応する補正値（オフセット値）を出力する。一方、参照元のブロック２３６の中で動き設定基準値２５ａより動き量（ΔＸ，ΔＹ）が大きいものがあった場合、動き検出部２３４は、参照元のブロック２３６の動き情報として、動き量（０，０）に対応する補正値を出力すると共に累積加算処理をスキップさせる信号を出力する。

このようにして、被写体動き検出部２３は、撮影画像中の被写体各部の動き情報を赤外画像１００、赤外画像１０１から検出し、この動き情報に基づいて被写体振れを抑える方向に可視映像信号の座標を補正し、補正された可視映像信号を累積加算部２４により累積加算している。図９中の顔部４ａだけでなく、撮影された赤外画像中の参照元の各ブロックでの動き情報を検出する。

次に、図５に戻り、累積加算部２４について説明する。

累積加算部２４は、輝度色差変換部２４ａ、輝度累積加算部２４ｂおよび色差累積加算部２４ｃを備え、輝度累積加算部２４ｂ、色差累積加算部２４ｃでは被写体動き検出部２３で検出される動き情報に基づいて、可視映像信号の座標をそれぞれ補正し、補正された可視映像信号をそれぞれ時間軸方向に累積加算する。

輝度色差変換部２４ａは、受光素子２２から出力された原色信号（Ｒ，Ｇ，Ｂ）であるＲＧＢ色信号から輝度信号（Ｙ）と色差信号（例えば、Ｃｒ信号、Ｃｂ信号）を生成する。輝度色差変換部２４ａは公知の変換式を用いて算出することができる。例えば、輝度信号をＹ、赤色信号をＲ、緑色信号をＧ、青色信号をＢとした場合、輝度信号Ｙは、Ｙ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂとなり、色差信号（Ｃｂ，Ｃｒ）は、Ｃｂ＝０．５６４×（Ｂ−Ｙ）、Ｃｒ＝０．７１３×（Ｒ−Ｙ）として算出することができる。なお、上記のカラーマトリクスとしてＳＤＴＶのものを用いた例について説明したが、これに限定されるものではない。他のカラーマトリクス、例えばＨＤＴＶ用のＹ，Ｐｂ，Ｐｒを用いてもよい。

図１２は撮像装置９内の輝度累積加算部２４ｂのブロック図である。輝度累積加算部２４ｂは、累積部３０と増幅部３１と座標補正部３６とを備えている。

輝度累積加算部２４ｂは、輝度色差変換部２４ａから出力された輝度信号Ｙ（以下、「Ｙ信号」ともいう）を、被写体動き検出部２３から出力される被写体の動き情報に基づいて、Ｙ信号（可視映像信号）中の被写体の振れを補正し、補正されたＹ信号を時間軸方向に累積加算する。

具体的に説明すると、輝度累積加算部２４ｂでは、まず、Ｙ信号を増幅部３１で増幅する。増幅部３１が、例えば１０倍の増幅度を有するものであれば、ノイズを含む状態でＹ信号は１０倍される。ここでは理解を容易にするために、入力されたＹ信号のレベルを１とすると増幅部３１の出力はレベル１０となる。この増幅部３１で増幅された出力は累積部３０と座標補正部３６とを備えたＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタに入力される。

ＩＩＲフィルタの累積部３０は、加算部３２、乗算部３３、減算部３４および遅延部３５を備える。遅延部３５は、１フレーム分のＹ信号を記憶するフレームメモリから構成される。

ＩＩＲフィルタでは、まず加算部３２により、遅延部３５により遅延した信号、すなわち前フレームまで累積されたＹ信号と新たに入力されたＹ信号とが加算される。ここで、被写体動き検出部２３（図８）から出力される動き情報（座標の補正値の情報）に基づいて、座標補正部３６は新たに入力されたＹ信号の座標（被写体が動いた先の座標）に合わせて、前フレームまで累積されたＹ信号の座標（被写体が動く前の元の座標）を補正し、補正されたＹ信号と新たに入力されたＹ信号とを加算部３２で加算する。

図８の動き検出部２３４で、例えば図１１に示すように、参照元であるブロック２３６の動きが検出された場合、１つ前に累積加算されたＹ信号の参照先であるブロック２３５の各画素の座標（動く前の座標）に補正値であるオフセット値（例えば、動き量と同じ値のＸ方向のオフセット値ΔＸ，Ｙ方向のオフセット値ΔＹ）を加算し、新たに入力されたＹ信号の座標（動いた先の座標）と一致させる。すなわち、Ｘ１＝Ｙ２＋ΔＸ、Ｙ１＝Ｙ２＋ΔＹのように累積されたＹ信号の座標を補正値により補正する。そして、加算部３２は補正されたＹ信号と新たに入力されたＹ信号とを加算する。この加算処理は、対象となる参照元と参照先とのブロック間のすべての画素で行われる。また、１フレーム中のＹ信号のすべての参照元のブロックについて同様の処理が繰り返し行われる。これにより、累積部３０で累積されたＹ信号中の被写体振れが抑えられ、輪郭のボケもなく、くっきりした画像になる。

図１２に戻り、加算されたＹ信号は、再帰ゲイン設定部３７にて設定された値に基づいて乗算部３３にて乗算される。ここでは、再帰ゲイン設定部３７の再帰ゲインＧが、例えば増幅されたＹ信号の１／２（Ｇ＝０．５）に設定されたとする。すると、乗算部３３からは増幅されたＹ信号の１／２、すなわち、レベル５のＹ信号が出力されると共に減算部３４に入力される。減算部３４では、乗算部３３に入力される前のＹ信号（レベル１０）から、乗算部３３を介したＹ信号（レベル５）を減算して得られた信号が生成される。生成された信号は、遅延部３５に出力される。遅延部３５では、各参照元のブロック位置の座標に従って減算部３４から出力される各画素の信号を書き込む。

遅延部３５により、減算部３４の信号は１フレーム分遅延するので、次の新たなフレーム画像のＹ信号と座標補正されたＹ信号とが加算部３２により加算される。次の新たなフレーム画像のＹ信号のレベルを１とすると、増幅部３１で増幅されたレベル１０のＹ信号は、１フレーム分遅延したレベル５のＹ信号と加算され、レベル１５の輝度信号となって乗算部３３に出力される。

そして乗算部３３により、レベル７．５のＹ信号が出力されると共に、減算部３４によりレベル７．５のＹ信号が遅延部３５に再び入力される。

このような処理を繰り返すことにより、図１３に示すように、輝度累積加算部２４ｂでは被写体動き検出部２３から出力される被写体の動き情報に基づいて、被写体振れを抑える方向に累積されているＹ信号の座標を補正し、座標補正されたＹ信号に新たに入力されたＹ信号を加算して時間軸方向に累積する。

これにより、輝度累積加算部２４ｂから出力される信号Ｙｓのレベルは徐々にレベル１０に収束し、映像信号にランダムに含まれるノイズが含まれていても、図１２に示すＩＩＲフィルタの構成により、単発的、またはランダムに発生したノイズは累積されることなく抑えられ、Ｙ信号のＳ／Ｎを改善した輝度信号Ｙｓを出力することができる。また、被写体振れを抑える方向に累積されているＹ信号の座標を補正するので、輝度信号Ｙｓ中の被写体の輪郭のボケが抑えられ、くっきりした画像になる。

また、図５中の色差累積加算部２４ｃは、輝度色差変換部２４ａから出力された色差信号（Ｃｂ，Ｃｒ）を時間軸方向に累積加算する。色差累積加算部２４ｃは輝度累積加算部２４ｂと同様に図１２に示すＩＩＲフィルタにより構成される。これにより、被写体動き検出部２３から出力される被写体の動き情報に基づいて、ＩＩＲフィルタでは累積加算する際に座標補正部３６により前フレームまで累積加算された色差信号Ｃｓの座標を補正し、補正された色差信号Ｃｓに色差信号（Ｃｂ，Ｃｒ）を加算する。

図１３に示すように、色差累積加算部２４ｃでは、被写体動き検出部２３から出力される被写体の動き情報に基づいて色差信号（Ｃｂ，Ｃｒ）を時間軸方向に累積加算するので、色差信号（Ｃｂ，Ｃｒ）のＳ／Ｎが改善され、色差信号Ｃｓとして出力される。また、色差信号（Ｃｂ，Ｃｒ）を累積加算する際に被写体振れがあっても撮影画像中の被写体振れが抑えられる方向に累積した色差信号Ｃｓの座標を補正し、新たな色差信号（Ｃｂ，Ｃｒ）と加算するので、累積された色差信号（Ｃｂ，Ｃｒ）中の被写体の輪郭のボケが抑えられる。

図１３の例で、被写体動き検出部２３は、時刻（ｔ＋２ｄｔ）で撮影された赤外画像（図１３中の赤外信号Ｉｒにおけるフレーム０２番目の画像）と時刻（ｔ＋３ｄｔ）で撮影された赤外画像（図１３中の赤外信号Ｉｒにおけるフレーム０３番目の画像）の差分から被写体の動きを検出し、動き情報を生成して出力する。

輝度累積加算部２４ｂおよび色差累積加算部２４ｃでは、時刻（ｔ＋３ｄ）で撮影した可視画像（図１３中の輝度信号（Ｙ）、色差信号（Ｃｂ，Ｃｒ）におけるフレーム０３番目の画像）と累積可視画像（図１３中のフレーム００番目〜０２番目まで累積した画像）とを加算する。このとき、動き情報に基づいて累積可視画像の各画素の座標がブロックごとに補正される。

なお、輝度累積加算部２４ｂと色差累積加算部２４ｃの両方で累積加算するようにしたが、輝度累積加算部２４ｂでは累積加算を行わず、色差累積加算部２４ｃのみで可視映像信号を時間軸方向に累積してもよい。輝度累積加算部２４ｂで累積加算を行わない場合、赤外信号Ｉｒと輝度信号Ｙとを合成する。これにより、回路を削減することができる。

また、色信号（Ｒ，Ｇ，Ｂ）を輝度色差変換部２４ａで輝度信号（Ｙ）と色差信号（Ｃａ，Ｃｂ）とに変換し、輝度信号（Ｙ）と色差信号（Ｃａ，Ｃｂ）とをそれぞれ累積加算するように構成したが、この構成に限定されるものではない。色信号（Ｒ，Ｇ，Ｂ）を累積加算するようにしてもよい。この場合、色信号ごとに累積加算する。すなわち、色信号ごとに図１２に図示した回路を設ける。

次に、テレビドアホン装置１の動作について説明する。図１４は本発明の実施の形態におけるテレビドアホン装置１の動作を説明するフローチャートである。

図１４に示すように、来訪者４は玄関先に到着すると子機２の呼出ボタン６を押下する。テレビドアホン装置１は、呼出ボタン６が押下されると（Ｓ１００）、点灯制御部９ｂにより撮影用赤外光源部９ａの赤外光を発光（ＯＮ）させると共に撮像装置９での撮影を開始する（Ｓ１０２）。

次にテレビドアホン装置１は、受光素子２２から出力される時刻の異なる赤外信号Ｉｒを２つのフレームメモリ２３２に順次にシフトさせながら記憶し（Ｓ１０４）、被写体動き検出部２３によりこれらの赤外信号Ｉｒのフレーム画像（赤外画像）から来訪者４の各部の動き情報を検出する（Ｓ１０６）。被写体動き検出部２３がレジスタ２５に記憶されている動き設定基準値２５ａと各部の動き情報とを比較し、動き量が動き設定基準値２５ａ以上と判断した場合（Ｓ１０８）、この動きの大きい可視画像は累積対象から外すように加算処理をスキップさせる（Ｓ１１０）。これにより、極端に大きな動きを有する可視画像は加算対象から外され、ボケが抑えられる。

一方、テレビドアホン装置１は、輝度累積加算部２４ｂおよび色差累積加算部２４ｃにより、各部の動き量がレジスタ２５に記憶されている動き設定基準値２５ａより小さいと判断した場合（Ｓ１０８）、座標補正部３６により動き情報に基づいて累積画像（累積された輝度信号Ｙ、色差信号Ｃｂおよび色差信号Ｃｒの可視画像）中の各画素の座標をブロックごとに補正（例えば、図１１中に示す座標Ｗｂにオフセット値ΔＸ、オフセット値ΔＹを加えて座標Ｗａの位置に補正）し、座標補正された累積画像と新たな可視画像とを加算して時間軸方向に累積する（Ｓ１１２）。

このようにして、テレビドアホン装置１は、点灯制御部９ｂにより撮影用赤外光源部９ａを撮影時に点灯し、子機２の撮像部９ｃは色と輪郭がはっきりした鮮明なカラー映像信号を親機３に出力する。

次にテレビドアホン装置１は、親機３で子機２から出力されたカラー映像信号を受信し、カラー映像信号を表示パネル１３ｂに表示する。さらにテレビドアホン装置１は、子機２からの呼出通知により親機通話部１２と表示装置１３とを作動させ、これにより呼出ボタン６の押下により子機通話部８と親機通話部１２との間で音声信号の入出力が可能となり通話可能状態となる（Ｓ１１４）。

これにより、居住者５は表示パネル１３ｂにより来訪者４の撮影画像を確認しながら来訪者４と通話ができる。撮像部９ｃにより来訪者４が撮影されている間、Ｓ１０４からＳ１１４のステップが繰り返し実行される。

テレビドアホン装置１は、親機制御部１１により居住者５が来訪者４との通話が終了したことで押下される操作ボタン１０からの信号により親機通話部１２と表示装置１３とを再び停止させる。また、親機制御部１１は子機制御部７に通話終了を通知し、この通知により子機制御部７は点灯制御部９ｂにより撮影用赤外光源部９ａをＯＦＦにし、赤外光の照射を停止する。また、子機制御部７は、撮像部９ｃによる撮像、音声通話を停止する（Ｓ１１６、Ｓ１１８）。

以上のように本実施の形態によれば、図５に示すように、撮像装置９は、被写体を照射する撮影用赤外光源部９ａと、入射光を可視波長域の複数の色成分と赤外波長域の赤外成分とに色分解する色分解フィルタ２１と、この色分解フィルタ２１を介して入力される光を映像信号として出力する受光素子２２と、赤外成分から得られる赤外映像信号から被写体の動き情報を検出する被写体動き検出部２３と、被写体動き検出部２３で検出された被写体の動き情報に基づいて、複数の色成分から得られる可視映像信号中の被写体の振れを補正し、振れ補正された可視映像信号を時間軸方向に累積加算してカラー映像信号を出力する累積加算部２４とを備えた。

このような構成により、被写体動き検出部２３により夜間など暗いところでも被写体をくっきり撮影できる赤外光を被写体に照射し、撮影して得た赤外映像信号から被写体の振れを検出でき、累積加算部２４は被写体動き検出部２３で検出された被写体の動き情報に基づいて可視映像信号中の被写体振れを補正し、補正された可視映像信号を時間軸方向に累積加算でき、これにより信号成分に含まれるランダムノイズを抑え、ノイズにより不明瞭になっている色や輪郭を判別しやすくすると共に可視映像信号中の被写体の輪郭をくっきりさせることができる。これにより、夜間など暗いところで被写体を撮影する場合であっても、色や輪郭の判別がしやすく、くっきりした撮影画像が得られ、撮影画像中の被写体を識別しやすく視認性を良くすることができる。

またテレビドアホン装置１は、図２に示すように、撮像装置９と、撮像装置９により来訪者４を撮影して得たカラー映像信号を表示する表示装置１３とを備えているので、夜間など暗いところにある撮像装置９で来訪者４を撮影する場合であっても、十分な色情報と輪郭情報が得られることにより表示装置１３に表示される来訪者４を識別しやすくし視認性を良くすることができる。

なお、本実施の形態では色分解フィルタ２１を用いたが、この構成に限定されるものではない。例えば、図１５に示すように、各フィルタには各色成分領域それぞれと赤外領域とを透過する２バンド透過特性を有する色分解フィルタ４０を用いてもよい。色分解フィルタ４０は、赤成分（Ｒ）だけでなく赤外成分（Ｉｒ）の光を透過させる赤・赤外フィルタ４０ａと、緑成分（Ｇ）だけでなく赤外成分（Ｉｒ）の光を透過させる緑・赤外フィルタ４０ｂと、青成分（Ｂ）だけでなく赤外成分（Ｉｒ）の光を透過させる青・赤外フィルタ４０ｃと、赤外成分（Ｉｒ）の光のみを透過させる赤外フィルタ４０ｄとを備え、最小単位が２×２で構成されている。この構成により、色分解フィルタ２１に比べて、色分解フィルタ４０では赤外光を透過させる領域の大きさを４倍にし、受光素子２２における赤外光の受光量を多くすることができ、赤外信号をさらに検出しやすく、これにより輪郭成分が抽出しやすくなり精度の良い動き情報を得ることができる。この色分解フィルタ４０を用いる場合、図１６に示すように、減算部２６をさらに備え、減算部２６により、ＲＧＢ混合信号（Ｒ＋Ｉｒ，Ｇ＋Ｉｒ，Ｂ＋Ｉｒ）から赤外信号をそれぞれ除去したＲＧＢ色信号を生成すればよい。

また本実施の形態では、撮影用赤外光源部９ａを撮像装置９に設け、子機本体２ａに予め取り付けているが、撮影用赤外光源部９ａを着脱自在にし、後でオプション光源として取り付け可能としてもよい。この場合、オプション光源が取り付けられたときに、オプション光源と撮像部９ｃとの連動動作を行う。また、外設されている撮影用赤外光源部９ａを点灯制御部９ｂに電気的に接続するようにして、点灯制御部９ｂにより赤外光の点灯を制御するようにしてもよい。

また、点灯制御部９ｂに撮影用可視光源部をさらに接続し、赤外光と可視光とを併用して照明するようにしてもよい。この場合、可視光はうっすらと被写体を照明する光でよく、被写体にとって眩しくならないように光量を設定する。これにより、夜間など暗いところでも撮影画像の色再現性、コントラストを高め、より鮮明なカラー画像を得ることができる。

また本実施の形態では、子機２の内部に撮像装置９を設けるようにしたが、子機２の外部にあってもよい。すなわち、外設されているネットワーク対応の撮像装置９とテレビドアホン装置１とを通信回線（例えば、ネットワークなど）を介して接続してもよい。この場合、撮像装置９は通信回線を介してテレビドアホン装置１にカラー映像信号を送信する。

また、本実施の形態ではテレビドアホン装置を用いて説明したが、暗い場所でも鮮明なカラー画像を得ることができるため、夜間に撮影する撮影機器（例えば、監視カメラ、デジタルカメラ、デジタルムービ、携帯電話など）にも適用することができる。

以上のように本発明は、赤外成分から得られる赤外映像信号から被写体の動き情報を検出し、検出された被写体の動き情報に基づいて、複数の色成分から得られる可視映像信号中の被写体の振れを補正し、振れ補正された可視映像信号を時間軸方向に累積加算してカラー映像信号を出力するので、夜間など暗いところでも被写体をくっきり撮影できる赤外光を被写体に照射し、撮影して得た赤外映像信号から被写体の振れを検出でき、検出された被写体の動き情報に基づいて可視映像信号中の被写体振れを補正し、振れ補正された可視映像信号を時間軸方向に累積加算でき、これにより信号成分に含まれるランダムノイズを抑え、ノイズにより不明瞭になっている色や輪郭を判別しやすくすると共に、可視映像信号中の被写体の輪郭をくっきりさせることができる。

これにより、夜間など暗いところで被写体を撮影する場合であっても、撮影画像中の被写体を識別しやすく視認性を良くすることを可能とする撮像装置、テレビドアホン装置、監視カメラ、デジタルカメラ、デジタルムービ、携帯電話などに有用なものである。

本発明の実施の形態におけるテレビドアホン装置の概略構成図 同テレビドアホン装置の回路ブロック図 同テレビドアホン装置の子機の正面図 同テレビドアホン装置の親機の正面図 同テレビドアホン装置内の撮像装置のブロック図 図５に示す撮像装置に用いられる色分解フィルタの構成図 図６に示す色分解フィルタの光透過特性を示す特性図 本発明の実施の形態における撮像装置内の被写体動き検出部のブロック図 同被写体動き検出部で検出する被写体振れを説明する概要図 同被写体動き検出部の画像相関部の画像相関について説明する概要図 同被写体動き検出部の動き検出部の被写体の動き検出例を説明する概要図 本発明の実施の形態における撮像装置内の輝度累積加算部のブロック図 本発明の実施の形態における撮像装置内の累積加算部の動作を説明する概要図 本発明の実施の形態におけるテレビドアホン装置の動作を説明するフローチャート 図６に示す色分解フィルタの他の例を示す構成図 図１５の色分解フィルタを用いる場合の撮像装置の他の例を示すブロック図

１ テレビドアホン装置
２ 子機
２ａ 子機本体
３ 親機
３ａ 親機本体
４ 来訪者
４ａ 顔部
５ 居住者
６ 呼出ボタン
７ 子機制御部
８ 子機通話部
８ａ，１２ａ マイク
８ｂ，１２ｂ スピーカ
８ｃ，１２ｃ 通話Ｉ／Ｆ
９ 撮像装置
９ａ 撮影用赤外光源部
９ｂ 点灯制御部
９ｃ 撮像部
９ｄ，１３ａ 映像Ｉ／Ｆ
１０ 操作ボタン
１１ 親機制御部
１２ 親機通話部
１３ 表示装置
１３ｂ 表示パネル
２０ レンズ部
２１，４０ 色分解フィルタ
２２ 受光素子
２３ 被写体動き検出部
２４ 累積加算部
２４ａ 輝度色差変換部
２４ｂ 輝度累積加算部
２４ｃ 色差累積加算部
２５ レジスタ
２６，３４ 減算部
３０ 累積部
３１ 増幅部
３２ 加算部
３３ 乗算部
３５ 遅延部
３６ 座標補正部
３７ 再帰ゲイン設定部
１００，１０１ 赤外画像
２３１ メモリ制御部
２３２ フレームメモリ
２３３ 画像相関部
２３４ 動き検出部
２３５，２３６ ブロック

Claims (7)

1. 被写体を照射する撮影用赤外光源部と、
   入射光を可視波長域の複数の色成分と赤外波長域の赤外成分とに色分解する色分解フィルタと、
   前記色分解フィルタを介して入力される光を映像信号として出力する受光素子と、
   前記赤外成分から得られる赤外映像信号から前記被写体の動き情報を検出する被写体動き検出部と、
   前記被写体動き検出部で検出された前記被写体の動き情報に基づいて、前記複数の色成分から得られる可視映像信号中の前記被写体の振れを補正し、振れ補正された可視映像信号を時間軸方向に累積加算してカラー映像信号を出力する累積加算部と、
   を備えたことを特徴とする撮像装置。
2. 前記累積加算部は、
   前記可視映像信号の座標を補正する座標補正部と、
   前記可視映像信号を時間軸方向に累積する累積部とを有し、
   前記座標補正部は、前記被写体の動き情報に基づいて前記可視映像信号中の前記被写体の動きを抑える方向に座標を補正し、
   前記累積部は、座標補正された可視映像信号を時間軸方向に累積することを特徴とする請求項１に記載の撮像装置。
3. 前記被写体動き検出部は、
   前記赤外映像信号を順次に記憶する複数のフレームメモリと、
   前記複数のフレームメモリにそれぞれ記憶されている各赤外映像信号間の相関度をブロック単位で検出する画像相関部と、
   前記画像相関部で検出されたブロックの内、前記相関度が最も高いブロック間の座標差から前記被写体の動き情報を検出する動き検出部とを備えたことを特徴とする請求項２に記載の撮像装置。
4. 前記色分解フィルタは、可視光における赤成分の光を透過させる赤フィルタと、可視光における緑成分の光を透過させる緑フィルタと、可視光における青成分の光を透過させる青フィルタと、赤外成分のみを透過させる赤外フィルタとを有するフィルタであり、
   前記受光素子は、前記赤フィルタ、前記緑フィルタおよび前記青フィルタをそれぞれ介して入力される光に対応したＲＧＢ色信号を出力すると共に前記赤外フィルタを介して入力される光に対応した赤外信号を出力する素子であり、
   前記被写体動き検出部は、前記赤外信号から前記被写体の動き情報を検出し、
   前記累積加算部は、前記被写体動き検出部で検出された前記被写体の動き情報に基づいて前記ＲＧＢ色信号中の前記被写体の振れを補正した前記カラー映像信号を出力することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 前記色分解フィルタは、可視光における赤成分および赤外成分の光を透過させる赤・赤外フィルタと、可視光における緑成分および赤外成分の光を透過させる緑・赤外フィルタと、可視光における青成分および赤外成分の光を透過させる青・赤外フィルタと、赤外成分のみを透過させる赤外フィルタとを有するフィルタであり、
   前記受光素子は、前記赤・赤外フィルタ、前記緑・赤外フィルタおよび前記青・赤外フィルタをそれぞれ介して入力される光に対応したＲＧＢ混合信号を出力すると共に前記赤外フィルタを介して入力される光に対応した赤外信号を出力する素子であり、
   前記受光素子から出力された前記ＲＧＢ混合信号から前記赤外信号をそれぞれ減算する減算部をさらに備え、
   前記被写体動き検出部は、前記赤外信号から前記被写体の動き情報を検出し、
   前記累積加算部は、前記被写体動き検出部で検出された前記被写体の動き情報に基づいて前記減算部により前記ＲＧＢ混合信号から前記赤外信号をそれぞれ除去したＲＧＢ色信号中の前記被写体の振れを補正した前記カラー映像信号を出力することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
6. 前記累積加算部は、ＩＩＲフィルタにより前記可視映像信号を時間軸方向に累積加算する回路であることを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
7. 請求項１から請求項６のいずれか１項に記載の撮像装置と、
   前記撮像装置により来訪者を撮影して得たカラー映像信号を表示する表示装置とを備えたことを特徴とするテレビドアホン装置。

Images