JP2010034706A - 録画表示装置 - Google Patents

Abstract

【課題】一連の撮像画像群の確認作業にかかる時間および労力を低減することができる録画表示装置を提供することにある。
【解決手段】録画表示装置１は、所定領域を撮像する撮像装置２で撮像された時系列順の一連の撮像画像群を記憶部１３に録画する録画手段１２ａと、上記一連の撮像画像群のなかから当該一連の撮像画像群の特徴が表れている特徴画像を選択する特徴画像選択手段１２ｂと、特徴画像選択手段１２ｂで選択された特徴画像を画像表示部１１に表示させる特徴画像表示手段１４ｃとを備え、特徴画像選択手段１２ｂは、上記一連の撮像画像群を用いて所定領域内を移動する移動体の検出を行う移動体検出処理と、上記一連の撮像画像群のうち移動体検出処理により移動体が検出されたときの撮像画像の撮像時刻との間に所定の時間差がある撮像時刻の撮像画像を特徴画像として選択する特徴画像選択処理とを実行する。
【選択図】図１

Description

本発明は、撮像された撮像画像を録画し、再生する録画表示装置に関するものである。

近年、防犯意識の向上により、訪問者（外来者）の顔を確認できる機能や不在時の訪問者の顔を録画できる機能などの利便性が評価され、インターホンシステム（住宅用インターホンシステム、ドアホンシステム）が普及してきている。このようなインターホンシステムとしては、人体を検出して報知することで住宅周辺の警戒を行い、住宅への侵入を未然に防止するための撮像装置を組み込んだものが提案されている（例えば、特許文献１参照）。このようなインターホンシステムは、セキュリティインターホンシステムとも呼ばれている。

上記の特許文献１に示すものは、撮像部を有する撮像装置（カメラ装置）と、画像表示部を有する録画表示装置（モニタ装置）とを備える。撮像装置は、撮像部で撮像された撮像画像を画像処理することにより撮像部の撮像範囲内に人が存在するか否かを判定する画像処理型の人体検出手段を備える。当該人体検出手段で人を検出した場合、撮像装置は、撮像部で撮像された撮像画像群を録画表示装置に伝送する。一方、録画表示装置は、撮像装置から伝送された一連の撮像画像群を録画する。録画表示装置で録画された一連の撮像画像群は、録画表示装置に具備された再生部により画像表示部に表示させることができ、これによって、使用者の目で本当に侵入者がいたのか否かの確認作業を行うことができる。
特開２００８−９９０１５号公報

ところで、上記特許文献１に示すものでは、人体検出手段で人が検出される度に、撮像装置から録画表示装置に一連の撮像画像群が伝送される。そのため、人が検出される回数が増えれば、録画表示装置の録画部で録画される一連の撮像画像群の数（録画件数）も増加する。しかし、特許文献１に示すものでは、一連の撮像画像群の確認作業を行うためには、撮像画像群を逐一再生部で再生して実際に画像表示部に表示させなければならない。したがって、上記特許文献１に示すものでは、一連の撮像画像群の録画件数が増えれば増えるほど、その確認作業に多大な時間および労力がかかってしまうという問題があった。

本発明は上述の点に鑑みて為されたもので、その目的は、一連の撮像画像群の確認作業にかかる時間および労力を低減することができる録画表示装置を提供することにある。

上記の課題を解決するために、請求項１の発明では、所定領域を撮像する撮像手段で撮像された時系列順の一連の撮像画像群を記憶部に録画する録画手段と、記憶部に録画された上記一連の撮像画像群のなかから当該一連の撮像画像群の特徴が表れている特徴画像を選択する特徴画像選択手段と、特徴画像選択手段で選択された特徴画像を画像表示部に表示させる特徴画像表示手段とを備え、特徴画像選択手段は、記憶部に録画された上記一連の撮像画像群に対して画像処理を行うことで所定領域内を移動する移動体の検出を行う移動体検出処理と、上記一連の撮像画像群のうち移動体検出処理により移動体が検出されたときの撮像画像の撮像時刻との間に所定の時間差がある撮像時刻の撮像画像を特徴画像として選択する特徴画像選択処理とを実行することを特徴とする。

請求項１の発明によれば、撮像手段で撮像された時系列順の一連の撮像画像群のなかから選択された当該一連の撮像画像群の特徴が表れている特徴画像が画像表示部に表示されるので、特徴画像を見ることによって、当該特徴画像に対応する一連の撮像画像群の内容をおおまかに知ることができるから、一連の撮像画像群の内容を全て確認する必要がなくなって、一連の撮像画像群の確認作業にかかる時間および労力を低減することができる。しかも、特徴画像選択手段では、記憶部に録画された一連の撮像画像群に対して画像処理を行うことで所定領域内を移動する移動体の検出を行い、移動体が検出されたときの撮像画像の撮像時刻との間に所定の時間差がある撮像時刻の撮像画像を特徴画像として選択するので、移動体のサイズなどを演算して特徴画像を選択する場合に比べれば、特徴画像の選択にかかる負荷を低減できて、処理時間の短縮化を図ることができる。

請求項２の発明では、請求項１の発明において、上記所定の時間の入力に使用される入力手段を備えていることを特徴とする。

請求項２の発明によれば、所定の時間を撮像手段の設置環境に適した時間に設定することができ、より特徴的な特徴画像を選択することができる。

本発明は、特徴画像を見ることによって、一連の撮像画像群の内容をおおまかに知ることができるから、一連の撮像画像群の確認作業にかかる時間および労力を低減することができ、しかも、特徴画像を選択する処理にかかる負荷を低減することができて、処理時間の短縮化が図れる。

以下、本発明の録画表示装置１について、当該録画表示装置１をセキュリティインターホンシステム（以下、インターホンシステムと略す）に組み込んだ例を参照して説明する。

本実施形態におけるインターホンシステムは、図１に示すように、住宅の軒先等に設置される撮像装置２と、住宅外（屋外）に設置される図示しない子器（インターホン子器）と、住宅内（屋内）に設置され親機（インターホン親機）としての機能を有する録画表示装置１とで構成されている。なお、撮像装置２および上記子器は録画表示装置１に伝送線により接続されている。また、上記子器は従来周知のものを採用することが可能であるから、本実施形態では上記子器の説明を省略する。

撮像装置２は、所定領域を撮像する撮像部（図示せず）を備える撮像手段である。当該撮像部は、ＣＣＤイメージ・センサやＣＭＯＳイメージ・センサなどの固体撮像素子よりなる撮像素子（図示せず）と、当該撮像素子とともにカメラとしての機能を発揮するＤＳＰ（Digital Signal Processor）などの制御装置（図示せず）とを主構成要素として備える。当該制御装置は、撮像素子の出力（電荷）を所定のフレームレート（例えば１５ＦＰＳ）で取り込み、取り込んだ撮像素子の出力に基づいて所定の形式（例えばＹＵＶ形式）のデジタル・データである画像データ（以下、「撮像画像」と称する）を作成して出力する機能を有する。この他、制御装置は、撮像素子の利得の自動制御機能や、画像を濃淡画像などに変換する色制御機能などを有する。なお、撮像素子としてＣＭＯＳイメージ・センサを用いる場合、撮像部として、システム・オン・チップ（ＳｏＣ）技術などを利用して撮像素子と制御装置とを一体に構成したワンチップカメラを用いることもできる。このような撮像装置２は、上記撮像部で撮像された撮像画像を符号化（伝送路符号化）して録画表示装置１に送出する。ここで、録画表示装置１に撮像画像を送出するタイミングは、上記撮像部のフレームレート（本実施形態では１５ＦＰＳ）と同期させている。

ところで、撮像装置２としては、上記撮像部で撮像された撮像画像を常に出力するものではなく、上記所定領域内を移動する移動体が検出されたときのみ、撮像画像を出力する機能を有するものを採用している。本実施形態では、上記移動体として人体を想定しており、撮像装置２は人体検出手段（図示せず）で人体を検出したときだけ録画表示装置１に撮像画像を出力する。このように撮像画像を出力するにあたり、本実施形態における撮像装置２は、過去画像出力処理と現在画像出力処理とを実行する。過去画像出力処理は、上記人体検出手段で人体が検出されたときに、撮像画像群のうち撮像時刻が検出時刻（人体を検出した時刻）以前の撮像画像から撮像時刻が現在時刻と同時刻（厳密な意味での同時刻ではなくおおよそ同時刻と考えられる範囲であればよく、どの程度の範囲までを同時刻と考えるかは適宜設定すればよい）の撮像画像までの撮像画像群を、撮像時刻順（撮像時刻が古い順）に出力する処理である。現在画像伝送処理は、過去画像伝送処理が終了した後、所定の伝送時間が経過するまで上記撮像部により撮像中の撮像画像を出力する処理である。このようにして撮像装置２からは、人体の検出時刻を含む一定時間内に上記撮像部で撮像された一連の撮像画像群が時系列順に出力される。なお、上記人体検知手段としては、撮像画像を画像処理することで人体の検知を行うものや、熱線センサなどの種々のものを採用することができる。

録画表示装置１は、図１に示すように、撮像装置２に伝送線により接続される伝送部１０と、画像表示部１１と、画像処理部１２と、撮像画像の記憶（貯蔵）などに使用されるフラッシュメモリなどの書き換え可能な記憶装置である記憶部１３と、表示画像を作成する表示画像作成部１４と、設定画像を作成する設定画像作成部１５と、設定画像を表示画像に合成する表示画像合成部１６と、入力部１７と、録画表示装置１の全体的な制御処理を行う制御部１８とを備える。なお、画像処理部１２、表示画像作成部１４、設定画像作成部１５、表示画像合成部１６、および制御部１８は、例えばマイクロコンピュータ（マイクロコントローラ、略称としてマイコン、広義にはＣＰＵとも称される）であり、メモリに記憶されたプログラムをＣＰＵで実行することにより後述する種々の処理を実行する。なお、マイコンの他に専用のＡＳＩＣ（Application Specific Integrated Circuit）やＤＳＰなども利用できる。

また、録画表示装置１は、上記構成に加えて、上記子器との間で通話を行うための通話装置（図示せず）を備える。当該通話装置は、上記子器との間で音声データなどの送受信を行う通信部や、音声入力用のマイク、音声出力用のスピーカなどを備えている。ここで、上記子器がカメラ付きのものであるならば、上記子器の動作時に、当該子器のカメラで撮像した画像を、画像表示部１１に表示するようにしてもよい。このような通話装置については従来周知のものを採用することができるから詳細な説明を省略する。

伝送部１０は、撮像装置２より受け取った撮像画像を示す信号を復号化（伝送路復号化）して画像処理部１２に出力する処理を実行する。

画像表示部１１は、液晶ディスプレイ（ＬＣＤ）やＣＲＴディスプレイなどの画像表示器であり、撮像装置２より受け取った撮像画像や、表示画像、設定画像などの種々の画像の表示に使用される。

入力部１７は、使用者が録画表示装置１を操作するために使用されるユーザインタフェースであり、複数個の操作釦（押釦）を有している。本実施形態では、操作釦の数を少なくするために、入力部１７の各操作釦には、録画表示装置１の現在の動作モードに応じて機能が割り当てられる（操作釦の操作により制御部１８が実行する制御内容が異なる）。また、入力部１７は、上記子器からの呼び出しに応答するための応答釦（図示せず）を有する。当該応答釦を操作することによって、上記通話装置が起動され、上記子器との間の通話が確立される。

画像処理部１２は、録画手段１２ａと、特徴画像選択手段１２ｂとを備える。録画手段１２ａおよび特徴画像選択手段１２ｂそれぞれは、画像処理部１２を構成するマイコンなどが所定のプログラムを実行することにより実現される。

録画手段１２ａは、伝送部１０で受け取った時系列順の一連の撮像画像群を動画（撮像動画）として記憶部１３に録画する。当該撮像動画には、伝送部１０で受け取った日時（撮像日時）や、撮像動画の送信元の撮像装置２に関する情報（撮像装置識別情報）、撮像動画同士を識別するための識別番号などの種々の情報が識別情報として付される。なお、録画手段１２ａでは、伝送部１０で受け取った時系列順の一連の撮像画像群に含まれる撮像画像に対して、画像サイズの変換や、ノイズの低減、明るさの調整、色合の調整、輪郭強調などの種々の処理（画像加工処理）が必要に応じて実行される。また、録画手段１２ａでは、撮像装置２において撮像画像を圧縮する処理が実行されていれば圧縮された撮像画像を伸張する処理が実行される。さらに、録画手段１２ａでは、フォーマットを変換する処理（撮像画像の信号形式を画像表示部１１に適した信号形式に変換する処理）、例えば、ＹＵＶ形式の撮像画像をＮＴＳＣ形式の撮像画像に変換する処理（ＹＵＶ／ＮＴＳＣ変換処理）が必要に応じて実行される。

特徴画像選択手段１２ｂは、記憶部１３に録画された撮像動画を構成する一連の撮像画像群のなかから当該撮像動画の特徴が表れている撮像画像である特徴画像を選択するために、移動体検出処理と、特徴画像選択処理とを実行する。

移動体検出処理は、記憶部１３に録画された一連の撮像画像群に対して画像処理を行うことで所定領域内を移動する移動体の検出を行う処理である。本実施形態における移動体検出処理は、縮小化処理と、輪郭抽出処理と、移動輪郭抽出処理と、移動領域抽出処理と、特徴量演算処理と、移動体判定処理とで構成される。

縮小化処理は、撮像画像を縮小化（撮像画像のサイズを小さく）して縮小画像を作成する処理である。縮小化処理では、例えば、撮像画像を構成する画素群のうち所定の大きさの方形の領域内に含まれる複数の画素の各画素値を前記複数の画素の画素値の平均値に順次置き換えていくことにより、縮小画像が作成される。このように撮像画像を縮小化することによりノイズを低減することができる。また、縮小画像を利用して移動体の検出を行うことにより、撮像画像をそのまま利用する場合に比べれば画像処理にかかる時間を短縮することができる。なお、縮小化処理は上記の例に限定されず、従来周知の種々の処理を採用することができる。また、縮小化処理は必ずしも必要な処理ではないため省略することができる。

輪郭抽出処理は、例えば一般的に知られたＳＯＢＥＬフィルタなどを使用して縮小画像（縮小画像を作成しない場合には撮像画像）に対して微分処理（各画素の微分値を算出）を行うことで、縮小画像（撮像画像）から輪郭（エッジ）を抽出し、縮小画像（撮像画像）の輪郭を示す輪郭画像を作成する処理である。当該輪郭画像は、次の移動輪郭抽出処理で使用するために記憶部１３に記憶される。

移動輪郭抽出処理は、記憶部１３に記憶された時系列の輪郭画像を用いて論理合成を行い、移動体の輪郭（移動輪郭）のみを抽出した合成画像を作成する処理である。

移動領域抽出処理は、例えば移動輪郭抽出処理で抽出した移動体の輪郭を元に移動体に相当する領域（移動領域）を抽出する処理である。移動領域抽出処理では、例えば合成画像をラベリングすることにより移動体に相当する移動領域が作成される。ここで移動領域は、例えば移動輪郭に外接する矩形状（四角形）の領域（移動枠）よりなる。

特徴量演算処理は、移動体の特徴量を演算する処理である。本実施形態における特徴量演算処理は、移動領域抽出処理により得られた移動領域から当該移動領域の縦方向（垂直方向）の長さ（画素数）を演算する処理である。すなわち、本実施形態では、移動体の特徴量として当該移動体に対応する移動領域の縦方向の長さを用いる。

移動体判定処理は、特徴量演算処理により演算された特徴量を利用して移動体が検出対象の移動体（本実施形態では人体）によるものか否かを判定する処理であり、検出処理と確定処理とで構成される。

検出処理は、移動体の特徴量（すなわち移動領域の縦方向の長さ）が人体判定用の下限値以上かつ人体判定用の上限値以下であれば当該移動体は人体であると判定し、それ以外（人体判定用の下限値未満、あるいは人体判定用の上限値超過）であれば当該移動体は人体ではないと判定する処理（換言すれば誤動作源となる移動体を除去する処理）を行う。ここで、人体判定用の下限値および上限値は、撮像装置２で用いられている上記撮像部の撮像素子の画素数やサイズ、撮像装置２の設置位置、実際に撮像画像に写った人に対応する移動領域の縦方向の長さ、想定される移動領域の縦方向の長さなど種々の観点から好適な値に決定される。

確定処理は、検出処理により人であると判定された移動体（検出移動体）の連続性に基づいて当該移動体が人であるか否かを確定する処理である。例えば、確定処理では、検出移動体が時系列順の撮像画像（縮小画像）に連続して写っている回数（あるいは時間）が連続性判断回数（あるは連続性判断時間）を越えるか否かにより当該検出移動体が人であるか否かの確定を行う。一例としては、連続性判断回数が２回である場合、検出移動体が時系列順の撮像画像に連続して２回写っているときには当該検出移動体が人であると確定するが、検出移動体が時系列順の撮像画像に１回しか写っていないときには当該検出移動体が人であるとは確定しない。ここで、連続性判断回数を１回とすれば検出処理における判定結果がそのまま確定処理における判定結果となる。

上述の連続性判断回数は、撮像装置２の設置場所の状況に応じて好適な回数に設定される。例えば、撮像装置２の設置場所が比較的見晴らしの良い場所である場合、移動体が撮像画像に連続的に写る可能性が高くなるから、連続性判断回数を比較的多くすることによって誤検出を抑制することができる。一方、撮像装置２の設置場所が比較的見晴らしの悪い場所である場合、移動体が物陰に隠れて連続的に写らない可能性が高くなるから、連続性判断回数を比較的少なくすることによって移動体の検出を逃してしまうことを抑制することができる。

特徴画像選択処理は、移動体検出処理の結果に基づいて、一連の撮像画像群のなかから当該一連の撮像画像群の特徴が表れている特徴画像を選択する処理である。本実施形態における特徴画像選択処理では、一連の撮像画像群のうち移動体検出処理により移動体である人体Ｍが検出されたときの撮像画像の撮像時刻より所定の時間後の撮像時刻の撮像画像を特徴画像として選択する。

ここで、移動体検出処理により人体Ｍが検出されたときの撮像画像ではなく、検出された時刻より所定の時間後の時刻の撮像画像を特徴画像として使用するのは次の理由による。

図２では、人体Ｍが遠方より撮像装置２に近付いてきた（人体Ｍは図２における左側から右側に向かって移動している）ときの例を示している。時刻ｔ１１では、図３（ａ）に示すように撮像画像に人体Ｍの全身が写っている。その後の時刻ｔ１２では、時刻ｔ１１よりも人体Ｍが撮像装置２に近付くために、撮像画像には図３（ｂ）に示すように人体Ｍがより大きく写る。その後の時刻ｔ１３では、時刻ｔ１２よりも人体Ｍが撮像装置２に近付くために、撮像画像には図３（ｃ）に示すように人体Ｍがより大きく写る。

つまり、人体Ｍの全身が撮像装置２の撮像範囲Ｆ内に入っている間は、人体Ｍが撮像装置２に近付けば近付くほど撮像画像に大きく写ることになる。時刻ｔ１３以後では、人体Ｍが足側から徐々に撮像装置２の撮像範囲Ｆより出てしまうため、人体Ｍ自体は撮像画像に大きく写るものの全身は写らなくなる。そして、時刻ｔ１４において人体Ｍが完全に撮像範囲Ｆから出ると撮像画像には写らなくなる。なお、図２中、Ｐは時系列順の一連の撮像画像群の概略図を示しており、Ｓは時系列順の一連の撮像画像群のうち人体Ｍが写っている撮像画像群を示している。また、図３（ａ）〜（ｃ）中のＷは壁である。

図２に示すように人体Ｍが移動した場合、人体Ｍの全身が撮像装置２の撮像範囲Ｆ内に入っている間は、人体Ｍが撮像装置２に近付けば近付くほど撮像画像に大きく写ることになる。例えば、図２に示す例において、移動体検出処理により人体Ｍが検出された時刻が時刻ｔ１２である場合には、当該時刻ｔ１２より後の時刻ｔ１３のときの撮像画像のほうが、人体Ｍが大きく写っており、一連の撮像画像群の特徴が表れている。

したがって、図２に示すように人体Ｍが移動した場合には、人体Ｍが撮像装置２の撮像範囲Ｆ内に入ってきて移動体検出処理により人体Ｍが検出されたときの撮像画像よりも、検出されてからある程度時間が経ったときの撮像画像のほうが、撮像画像に人体Ｍの全身が写り、人体Ｍの特徴がより表れることになる。

一方、図４では、人体Ｍが撮像装置２から離れていった（人体Ｍは図４における左側から右側に向かって移動している）ときの例を示している。時刻ｔ２１では、人体Ｍは撮像範囲Ｆ内に入っていないため撮像画像には写っていない。その後の時刻ｔ２２では、人体Ｍが頭側から徐々に撮像装置２の撮像範囲Ｆに入ってくるので、撮像画像には図５（ｂ）に示すように人体Ｍの頭の一部分だけが写り込む。その後の時刻ｔ２３では、人体Ｍは時刻ｔ２２よりも撮像装置２から離れているが、その全身が撮像範囲Ｆ内に入っているので、図５（ｂ）に示すように、撮像画像に写る人体Ｍの大きさ自体は小さくなるが、一部ではなく全身が写ることになる。その後の時刻ｔ２４では、時刻ｔ２３よりも人体Ｍが撮像装置２から離れるために、人体Ｍがより小さく撮像画像に写り込む。

つまり、人体Ｍの全身が撮像装置２の撮像範囲Ｆ内に入っている間は、人体Ｍが撮像装置２に近付けば近付くほど撮像画像に大きく写ることになる。時刻ｔ２４以後では、人体Ｍが頭側から徐々に撮像装置２の撮像範囲Ｆより出てしまうため、人体Ｍの全身が撮像画像に写らなくなるとともに、写る大きさも小さくなり、やがて人体Ｍが完全に撮像範囲Ｆから出たときに撮像画像に写らなくなる。なお、図４中、Ｐは時系列順の一連の撮像画像群の概略図を示しており、Ｓは時系列順の一連の撮像画像群のうち人体Ｍが写っている撮像画像群を示している。また、図５（ａ）〜（ｃ）中のＷは壁である。

図４に示すように人体Ｍが移動した場合、人体Ｍが撮像装置２から離れれば離れるほど撮像画像に小さく写ることになるが、人体Ｍの一部ではなく全身が写るようになる。例えば、図４に示す例において、移動体検出処理により人体Ｍが検出された時刻が時刻ｔ２２である場合には、当該時刻ｔ２２より後の時刻ｔ２３のときの撮像画像のほうが、人体Ｍが大きく写っており、一連の撮像画像群の特徴が表れている。

したがって、図４に示すように人体Ｍが移動した場合には、人体Ｍが撮像装置２の撮像範囲Ｆ内に入ってきて移動体検出処理により人体Ｍが検出されたときの撮像画像よりも、検出されてからある程度時間が経ったときの撮像画像のほうが、撮像画像に人体Ｍの全身が写り、人体Ｍの特徴がより表れることになる。

このような人体Ｍと撮像装置２の撮像範囲Ｆとの関係に鑑み、本実施形態における特徴画像選択処理では、一連の撮像画像群のうち移動体検出処理により移動体である人体Ｍが検出されたときの撮像画像の撮像時刻より所定の時間後の撮像時刻の撮像画像を特徴画像として選択するのである。なお、上記所定の時間は、例えば、撮像装置２の撮像部の画角（撮像範囲Ｆの大きさ）と、移動体（人体Ｍ）が撮像範囲Ｆ内を通過する速度とを考慮して、移動体検出処理で検出された人体Ｍの全身が撮像画像に適度な大きさで写るような時間に設定される。

表示画像作成部１４は、伝送部１０より受け取った一連の撮像画像群を時系列順に画像表示部１１に表示させる表示手段１４ａと、記憶部１３に記憶された撮像動画に含まれる撮像画像を時系列順に画像表示部１１に表示する（撮像動画を再生する）再生手段１４ｂとを備える。なお、再生手段１４ｂでは、撮像動画とともに、再生中の撮像動画の上記識別番号や、上記撮像装置識別情報、上記撮像日時などのメッセージも表示する。

また、表示画像作成部１４は、表示手段１４ａと再生手段１４ｂとに加えて、特徴画像表示手段１４ｃを備える。これら表示手段１４ａ、再生手段１４ｂ、および特徴画像表示手段１４ｃは、表示画像作成部１４を構成するマイコンなどが所定のプログラムを実行することにより実現される。

特徴画像表示手段１４ｃは、再生手段１４ｂにより画像表示部１１に表示する撮像動画を選択する際に使用される選択用画像を作成して画像表示部１１に表示する。特徴画像表示手段１４ｃは、選択用画像を作成するにあたっては、撮像動画を表示する画像として当該撮像動画に対応する特徴画像を用いる。本実施形態においては、特徴画像表示手段１４ｃは、特徴画像選択手段１２ｂで選択された特徴画像を所定サイズまで縮小してなるサムネイル画像を作成し、当該サムネイル画像を特徴画像の代わりに使用する。

例えば、特徴画像表示手段１４ｃは、選択用画像として、サムネイル画像を、マトリクス状（例えば３行４列のマトリクス状）に並べた画像を作成する。このような選択用画像は、撮像動画の数に応じて１乃至複数用意される。例えば、一画面に表示するサムネイル画像の数が１２であるときに、撮像動画の数が１２以下であれば選択用画像が１ページ分作成され、撮像動画の数が１２を越えると選択用画像が撮像動画の数に応じて複数ページ分作成される。なお、選択用画像には、サムネイル画像とともに当該サムネイル画像の関連情報、例えば、上述の撮像日時や、上述の撮像装置識別情報、上述の識別番号などの情報を表示するようにしてもよい。このようにすれば、選択用画像を見ることによって、サムネイル画像と当該サムネイル画像の関連情報を見ることができるから、撮像画像群の確認作業にかかる時間および労力を低減することができる。

なお、表示画像作成部１４では、画像表示部１１に、表示手段１４ａ、再生手段１４ｂ、および特徴画像表示手段１４ｃのいずれかによる画像（表示画像）を表示させる通常画像モードの他、親画面と子画面とで異なる画像（例えば親画面に表示手段１４ａによる画像、子画面に特徴画像表示手段１４ｃによる画像）を表示させるＰｉｎＰ画像モード、画像表示部１１の画面を複数（例えば４つ）に分割して分割した画面毎に、表示手段１４ａ、再生手段１４ｂ、および特徴画像表示手段１４ｃなどによる画像を表示させる多画面表示画像モードなどの種々の表示モードを有する。この表示モードの選択は、入力部１７により行えるようにしている。

制御部１８は、画像処理部１２や表示画像作成部１４、設定画像作成部１５などに制御信号を出力することによって、録画表示装置１の動作モードの変更を行う機能を有する。本実施形態における録画表示装置１は、動作モードとして、待機モードと、表示モードと、再生モードと、設定モードと、選択モードと、応答モードとを有する。なお、応答モードは、上述の通話装置により上記子器との通話を可能にする動作モードであるから説明を省略する。

待機モードは、使用者による入力部１７の操作や、撮像装置２からの一連の撮像画像群の伝送、上記子器からの呼び出しなどを待ち受ける動作モードである。この待機モードにおいて、伝送部１０で一連の撮像画像群を受け取った場合には、制御部１８は、動作モードを表示モードに設定する。また、待機モードにおいて入力部１７が操作されると、制御部１８は入力部１７の操作内容に応じて動作モードを選択モードあるいは設定モードに設定する。

表示モードは、主として撮像装置２で撮像中の撮像画像を録画表示部１にて表示する動作モードである。この表示モードでは、表示手段１４ａによって、伝送部１０より受け取った一連の撮像画像群が時系列順に画像表示部１１に表示される。また、伝送部１０で一連の撮像画像群を受け取った場合には、当該一連の撮像画像群が録画手段１２ａにより撮像動画として記憶部１３に録画される。したがって、撮像装置２より時系列順の一連の撮像画像群が録画表示装置１に伝送されると、録画表示装置１においては、伝送された一連の撮像画像群が時系列順に画像表示部１１に表示されるとともに、記憶部１３に記憶される（録画される）。

再生モードは、記憶部１３に記憶された撮像動画を録画表示装置１にて再生する動作モードである。この再生モードでは、再生手段１４ｂによって、記憶部１３に記憶された撮像動画に含まれる撮像画像が時系列順に画像表示部１１に表示される（撮像動画が再生される）。

選択モードは、再生する撮像動画を選択するための選択用画面を録画表示装置１にて表示する動作モードである。この選択モードでは、特徴画像表示手段１４ｃによって、選択用画像が画像表示部１１に表示される。

設定モードは、種々のパラメータなどの設定を行うための設定画面を録画表示装置１に表示する動作モードである。この設定モードでは、設定画像作成部１５で作成される設定画像が表示画像合成部１６により表示画像作成部１４で作成された表示画像に合成される形で画像表示部１１に表示される。

当該設定画面には、上記所定の時間の入力に使用される画面が含まれており、入力部１７を操作することによって、上記所定の時間を変更することが可能になっている。ここで、入力部１７の操作により上記所定の時間が変更された場合には、特徴画像選択手段１２ｂは、入力部１７で入力された上記所定の時間に基づいて特徴画像選択処理を実行する。つまり、本実施形態では、入力部１７が上記所定の時間の入力に使用される入力手段となる。また、設定画面には、選択用画像で表示する撮像動画の順番および種類と、サムネイル画像のサイズ（一度に表示するサムネイル画像の数）とを設定するための画面が含まれる。当該画面では、例えば、表示順や、表示時間帯、表示機器、サイズなどの種々の項目が表示され、入力部１７を操作することによって、各項目の内容を設定することが可能である。

以上述べたように本実施形態の録画表示装置１は、所定領域を撮像する撮像手段である撮像装置２で撮像された時系列順の一連の撮像画像群を記憶部１３に録画する録画手段１２ａと、記憶部１３に録画された一連の撮像画像群のなかから当該一連の撮像画像群の特徴が表れている特徴画像を選択する特徴画像選択手段１２ｂと、特徴画像選択手段１２ｂで選択された特徴画像を画像表示部１１に表示させる特徴画像表示手段１４ｃとを備える。

そして、特徴画像選択手段１２ｂは、記憶部１３に録画された一連の撮像画像群に対して画像処理を行うことで所定領域内を移動する移動体（本実施形態では人体Ｍ）の検出を行う移動体検出処理と、一連の撮像画像群のうち移動体検出処理により移動体が検出されたときの撮像画像の撮像時刻との間に所定の時間差がある撮像時刻の撮像画像を特徴画像として選択する特徴画像選択処理とを実行する。

そのため、本実施形態の録画表示装置１によれば、撮像装置２で撮像された時系列順の一連の撮像画像群のなかから選択された当該一連の撮像画像群の特徴が表れている特徴画像が画像表示部１１に表示されるので、特徴画像を見ることにより、当該特徴画像に対応する一連の撮像画像群の内容をおおまかに知ることができる。そのため、一連の撮像画像群の内容を全て確認する必要がなくなって、一連の撮像画像群の確認作業にかかる時間および労力を低減することができる。

しかも、特徴画像選択手段１２ｂでは、記憶部１３に録画された一連の撮像画像群に対して画像処理を行うことで所定領域内を移動する移動体の検出を行い、移動体が検出されたときの撮像画像の撮像時刻との間に所定の時間差がある撮像時刻の撮像画像を特徴画像として選択するので、移動体のサイズなどを演算して特徴画像を選択する場合に比べれば、特徴画像の選択にかかる負荷を低減できて、処理時間の短縮化を図ることができる。

また、上記所定の時間の入力に使用される入力部１７を備え、特徴画像選択手段１２ｃは、入力部１７で入力された上記所定の時間に基づいて特徴画像選択処理を実行する。そのため、所定の時間を撮像装置２の設置環境に適した時間に設定することができ、より特徴的な特徴画像を選択することができる。

上述したように、特徴画像選択処理では、上記一連の撮像画像群のうち移動体検出処理により移動体が検出されたときの撮像画像の撮像時刻より所定の時間後の撮像時刻の撮像画像を特徴画像として選択している。

しかしながら、撮像装置２の設置状況によっては、好適な特徴画像が得られない場合がある。例えば、図６に示すように、撮像範囲Ｆ内にドアＤが存在し、当該ドアＤを通って人体Ｍが撮像装置２に向かって移動してくる場合である（人体Ｍは図６における左側から右側に向かって移動している）。

このような場合において、時刻ｔ３１では、人体Ｍと撮像装置２との間にドアＤが存在するため、撮像画像には、図７（ａ）に示すように、閉じたドアＤが写っている。その後の時刻ｔ３２では、人体ＭはドアＤを通っているので、撮像画像には図７（ｃ）に示すように人体Ｍの全身が写る。時刻ｔ３２以後では、人体Ｍが足側から徐々に撮像装置２の撮像範囲Ｆより出てしまう。そのため時刻ｔ３３では、図７（ｂ）に示すように、人体Ｍ自体は撮像画像に大きく写るものの全身は写らなくなり（図７（ｂ）に示す例では、撮像画像には、人体のＭの頭部のみが写っている）、やがて人体Ｍが完全に撮像範囲Ｆから出ると撮像画像には写らなくなる。

図６に示す例では、ドアＤが開いた直後から人体Ｍが撮像画像に大きく写ることになるが、すぐに撮像範囲Ｆ外へと移動してしまう。そのため、図６に示す例において、移動体検出処理により人体Ｍが検出された時刻が時刻ｔ３３である場合には、当該時刻ｔ３３より後の時刻のときの撮像画像では、人体Ｍが写らなくなる可能性が高くなるから、逆に時刻ｔ３３よりも前の時刻のときの撮像画像（例えば時刻ｔ３２の撮像画像）のほうが一連の撮像画像群の特徴が表れることになる。

つまり、ドアＤなどが存在するために、撮像装置２の撮像範囲Ｆ内に突如として人体Ｍの全身が現れ、検出が確定する頃には人体Ｍが撮像範囲Ｆ外へ出ようとしているような場合、移動体検出処理により人体Ｍが検出された時点よりも所定の時間前の時点のほうが、人体Ｍがより大きく写ることになる。

このように図６に示すような場合には、特徴画像を、移動体が検出されたときの撮像画像の撮像時刻から所定の時間後の撮像時刻の撮像画像としていれば、好適な特徴画像を得ることができないが、所定の時間前の撮像時刻の撮像画像とすることで、好適な特徴画像を得ることができる。

逆に、図２，４に示すような場合では、特徴画像を、移動体が検出されたときの撮像画像の撮像時刻から所定の時間前の撮像時刻の撮像画像とするよりも、所定の時間後の撮像時刻の撮像画像としたほうが、好適な特徴画像を得ることができる。

このように特徴画像選択処理は、上記一連の撮像画像群のうち移動体検出処理により移動体が検出されたときの撮像画像の撮像時刻との間に所定の時間差がある撮像時刻の撮像画像を特徴画像として選択する処理であればよく、所定の時間前とするか後とするかは、使用者が適宜切り替えることができるようにすることが好ましい。

また、特徴画像選択手段１２ｂは、上述したような特徴画像選択処理、すなわち、上記一連の撮像画像群のうち移動体検出処理により移動体が検出されたときの撮像画像の撮像時刻との間に所定の時間差がある撮像時刻の撮像画像を特徴画像として選択する特徴画像選択処理（以下、第１の特徴画像選択処理と称する）とは異なる特徴画像選択処理（以下、第２の特徴画像選択処理と称する）を実行するものであってもよい。この場合、第１の特徴画像選択処理と第２の特徴画像選択処理とのいずれを実行するかは、上記の設定画面により使用者が選択することができるようにしておくことが好ましい。

上述の第２の特徴画像選択処理は、第１の特徴画像選択処理と同様に、記憶部１３に録画された一連の撮像画像群のなかから当該一連の撮像画像群の特徴が表れている特徴画像を選択するための処理であるが、その処理内容が大きく異なる。

すなわち、第２の特徴画像選択処理は、評価値演算処理と選択処理とで構成される。

ここで、評価値演算処理は、移動体検出処理中の特徴量演算処理により演算された特徴量から特徴画像選択用の評価値を演算する処理である。この評価値演算処理では、特徴量をＶ_Ｓとした場合に、評価値Ｖ_Ｅを、Ｖ_Ｅ＝｜Ｖ_Ｒ−Ｖ_Ｓ｜＋αにより求める。Ｖ_Ｒは特徴画像として最適な移動領域の縦方向の長さを示す基準値であり、例えば人の全身が適度な大きさで写る理想的な移動領域の縦方向の長さの値に設定される。αは補正値であり、移動領域の形状（例えば移動領域の縦横の比率）が上記理想的な移動領域の形状にどの程度近いかによって決定される（本実施形態では移動領域の形状が上記理想的な移動領域の形状に近いほど小さい値とする）。評価値演算処理で演算された評価値は、撮像画像の上記識別符号などと関連付けられて記憶部１３に記憶される。

選択処理は、評価値演算処理で演算された評価値に基づいて一連の撮像画像群のなかから特徴画像を選択する処理である。本実施形態における選択処理では、撮像画像群に含まれる撮像画像の評価値Ｖ_Ｅを記憶部１３より読み出し、評価値Ｖ_Ｅが最も小さい撮像画像を特徴画像として選択する。

第２の特徴画像選択処理は、移動体検出処理において実行された画像処理の結果（特徴演算処理の結果）を利用して特徴画像の選択を行うものであり、画像処理の結果とは関係なく、設定された所定の時間差に基づいて特徴画像の選択を行う第１の特徴画像選択処理と異なる。

このような第２の特徴画像選択処理によれば、第１の特徴画像選択処理で選択される特徴画像よりもより一連の撮像画像群の特徴が現れた特徴画像を選択できる可能性があるというメリットがある。しかし、第２の特徴画像選択処理では、評価値Ｖ_Ｅ等の演算が必要になるため、第１の特徴画像選択処理に比べて、特徴画像の選択に時間がかかり、また処理負荷が大きくなるというデメリットがある。

そして、使用者は、入力部１７により第１の特徴画像選択処理と第２の特徴画像選択処理といずれを実行するかを選択できるから、各特徴画像選択処理のメリット・デメリットを比較考量して、自己のニーズに応じた処理を実行させることができる。

なお、画像処理部１２で実行する移動体検出処理は上記の例に限定されず、例えば次のようにしてもよい。

すなわち、移動体検出処理における特徴量演算処理は、移動領域抽出処理により得られた移動領域から、撮像画像の下端縁に対する移動領域の最下端の高さを演算するようにしてもよい。この例では、撮像画像の下端縁に対する移動領域の最下端の高さ（換言すれば移動領域の位置）を特徴量として用いる。ただし、撮像画像の下端縁に対する移動領域の最下端の高さが０（撮像画像の下端縁と移動領域の最下端とが同じ）になる移動領域は次の検出処理の対象から除外される。

検出処理は、移動体の特徴量（すなわち移動領域の位置）が、人体判定用の下限値以上かつ人体判定用の上限値以下であれば、当該移動体は人であると判定し、それ以外（人体判定用の下限値未満、あるいは人体判定用の上限値超過）であれば、当該移動体は人ではないと判定する処理を行う。ここで、人体判定用の下限値および上限値は、撮像装置２に用いられた上記撮像部の撮像素子の画素数やサイズ、撮像装置２の設置位置、実際に撮像画像に写った人に対応する移動領域の位置、想定される移動領域の位置など種々の観点から好適な値に決定される。

第２の特徴画像選択処理における評価値演算処理では、特徴量をそのまま評価値として用いる。当該評価値演算処理で演算された評価値は、撮像画像の上記識別符号などと関連付けられて記憶部１３に記憶される。そして、選択処理では、撮像画像群に含まれる撮像画像の評価値を記憶部１３より読み出し、最も評価値が小さい撮像画像を特徴画像として選択する。

すなわち、この例では、特徴画像選択手段１２ｂは、人の位置を選択基準として人が最も撮像装置の近くに位置している撮像画像を特徴画像として選択するのである。

この他の例としては、特徴画像選択手段１２ｂは、同様に人の位置を選択基準とし、人が所定範囲内に位置している撮像画像を特徴画像として選択するようにしてもよい。

また、明るさを選択基準として選択することができる。この場合、人の全体（背格好や服などの全身）の明るさ、あるいは人の一部分（例えば顔）の明るさを選択基準とすることが考えられる。

人の全体の明るさの平均値を評価値として用いる場合、当該評価値が、撮像画像において移動体がほどよく見える範囲内で一番暗い値（第１の基準値）以上、移動体がほどよく見える範囲内で一番明るい値（第２の基準値）以下であれば、どの撮像画像を特徴画像として用いてもよい。ここで、評価値が第１の基準値以上、第２の基準値以下となる撮像画像がなければ、評価値が、移動体が非常に暗くて見え難くなり始める値（第３の基準値）以上、第１の基準値未満となる撮像画像のうち、評価値が最も大きい撮像画像を特徴画像とする。さらに、評価値が第３の基準値以上、第１の基準値未満となる撮像画像がなければ、評価値が、第２の基準値超過、移動体の白トビが激しくなり始める値（第４の基準値）以下となる撮像画像のうち、評価値が最も小さい撮像画像を特徴画像とする。さらに、評価値が第２の基準値超過、第４の基準値以下となる撮像画像がなければ、評価値が、第４の基準値超過となる撮像画像のうち、評価値が最も小さい撮像画像を特徴画像とする。さらに、評価値が第４の基準値超過となる撮像画像がなければ、評価値が、第３の基準値未満となる撮像画像のうち、評価値が最も大きい撮像画像を特徴画像とする。なお、評価値が上記の条件を満たす撮像画像が複数ある場合には、次に優先する条件（例えば、上述したような移動領域の大きさや位置など）を定めておき、これによって、特徴画像の選択を行えばよい。

このような特徴画像の決定方法は、人の一部分の明るさの平均値を評価値として用いる場合についても同様に適用することができる。

ところで、人の全身と顔とを区別して考えるのは、人の全身（例えば着ている服）と人の顔とで反射率が大きく異なる場合があるからである。例えば、人の顔に比べて服の反射率が高い場合、人の全体の明るさを選択基準とすれば、顔が暗くなり特徴が分かり難くなることがある。逆に人の顔の明るさを選択基準とすれば、服が白とびをして全体の特徴が分かり難くなることがある。

したがって、人の全体の特徴を見たい場合には、人の全体の明るさを選択基準として適度な明るさで写っている撮像画像を特徴画像として選択するようにすればよい。一方、人の顔の特徴を見たい場合には、人の顔の明るさを選択基準として適度な明るさで写っている撮像画像を特徴画像として選択するようにすればよい。

このように、上記の特徴画像選択手段１２ｂでは、特徴画像の選択基準として、種々の選択基準を採用することができる。例えば上記の他に、特徴画像選択手段１２ｂは、撮像画像に写っている人の数を選択基準として写っている人の数が多い撮像画像を特徴画像として選択するようにしてもよいし、人の顔の大きさを選択基準として人の顔が大きく写っている撮像画像を特徴画像として選択するようにしてもよい。また、特徴画像選択手段１２ｂは、人の形状、例えば人の顔の角度を選択基準として人の顔が正面を向いている撮像画像を特徴画像として選択するようにしてもよい。

さらに、特徴画像の選択基準は上記の例に限定されず、使用者の好みに応じて適宜選択できるようにしてもよい。加えて、特徴画像選択手段１２ｂでは、複数の選択基準を用いて特徴画像の選択を行うようにしてもよく、この場合は、選択基準毎に優先順位を設定して、特徴画像を選択するようにすればよい。

なお、上述した本実施形態の録画表示装置１の構成はあくまでも本発明の一実施形態であって、本発明の技術的範囲を上記の例に限定する趣旨ではなく、本発明の趣旨を逸脱しない程度に変更することができる。例えば、画像処理部１２で行う人体検出用の画像処理方法も上記の例に限定されず、シルエットマッチングや背景差分、エッジの方向コードを利用する方法など従来周知のものを採用することができる。さらに、本実施形態では、録画表示装置１をインターホンシステムに適用した例を示しているが、監視システムなどのインターホンシステムその他のシステムにも適用することができる。

本発明の一実施形態の録画表示装置のブロック図である。 移動体の検出状況の説明図である。 （ａ）は時刻ｔ１１における撮像画像、（ｂ）は時刻ｔ１２における撮像画像、（ｃ）は時刻ｔ１３における撮像画像である。 移動体の検出状況の説明図である。 （ａ）は時刻ｔ２２における撮像画像、（ｂ）は時刻ｔ２３における撮像画像、（ｃ）は時刻ｔ２４における撮像画像である。 移動体の検出状況の説明図である。 （ａ）は時刻ｔ３１における撮像画像、（ｂ）は時刻ｔ３３における撮像画像、（ｃ）は時刻ｔ３２における撮像画像である。

符号の説明

１ 録画表示装置
２ 撮像装置（撮像手段）
１１ 画像表示部
１２ａ 録画手段
１２ｂ 特徴画像選択手段
１４ｃ 特徴画像表示手段
１３ 記憶部
１７ 入力部（入力手段）

Claims (2)

1. 所定領域を撮像する撮像手段で撮像された時系列順の一連の撮像画像群を記憶部に録画する録画手段と、記憶部に録画された上記一連の撮像画像群のなかから当該一連の撮像画像群の特徴が表れている特徴画像を選択する特徴画像選択手段と、特徴画像選択手段で選択された特徴画像を画像表示部に表示させる特徴画像表示手段とを備え、
   特徴画像選択手段は、記憶部に録画された上記一連の撮像画像群に対して画像処理を行うことで所定領域内を移動する移動体の検出を行う移動体検出処理と、上記一連の撮像画像群のうち移動体検出処理により移動体が検出されたときの撮像画像の撮像時刻との間に所定の時間差がある撮像時刻の撮像画像を特徴画像として選択する特徴画像選択処理とを実行することを特徴とする録画表示装置。
2. 上記所定の時間の入力に使用される入力手段を備えていることを特徴とする請求項１記載の録画表示装置。

Images