JP2003323621A - 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム - Google Patents

Abstract

(57)【要約】 【課題】 ビデオカメラで撮影された画像から人物また
は人物の顔がはみ出したことを検知できる画像処理装置
を提供する。 【解決手段】 撮像手段１１は、対象物を含む画像を連
続して取得する。撮像手段１１で画像が取得されると、
フレーム間差分算出手段１２は、その画像と、その直前
に取得された画像との間の各画素の差分を算出する。判
断部１８は、上辺から第１の幅に予め定められた上部領
域内に、差分の値が所定値以上である画素が第１の閾値
より多く存在すれば、対象物が画像の上にはみ出してい
ると判断する。また判断部１８は、右部領域内に、第２
の閾値より多く存在すれば、対象物が画像の右にはみ出
していると判断する。判断部１８は、左部領域内に、第
３の閾値より多く存在すれば、対象物が画像の左にはみ
出していると判断する。判断部１８は、下部領域内に、
第４の閾値より多く存在すれば、対象物が画像の下には
み出していると判断する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人物の動画像を撮
影する画像処理装置に関し、特に、撮影された画像から
人物がはみ出していることを検知する画像処理装置に関
する。

【０００２】

【従来の技術】動画像を記録として残すために、ビデオ
カメラのような画像撮影装置で動画像を撮影することが
ある。動画像を記録として残すための画像撮影装置で撮
影される画像には人物や人物の顔が含まれることが多
い。そして、人物やその顔は、画像撮影装置で撮影され
る画像から、はみ出さないことが望ましい。しかし、動
画像を撮影するとき、撮影される人物は静止していると
は限らず、通常は絶えず動いている。したがって、人物
や顔が視野からはみ出すことが考えられる。そのため、
ビデオカメラの撮影方向や撮影範囲は人物の動きに合わ
せて修正されることが望ましい。

【０００３】従来、画像撮影装置により動画像を撮影す
るとき、視野から人物がはみ出さないように、または、
はみ出した人物を再び視野内に入れるように、画像撮影
装置を操作している操作者が、撮影対象である人物の動
きに合わせてパンやチルトを行い、撮影方向を調整して
いた。特開平０１−２４３６７３号公報に記載された従
来のビデオカメラは、パンまたはチルトをするための駆
動装置をグリップ内に有している。そのため、従来のビ
デオカメラの操作者は、電動雲台装置を用いなくとも、
パンまたはチルトを容易に行うことができた。

【０００４】

【発明が解決しようとする課題】近年では、ビデオカメ
ラで撮影された動画像から人物やその顔を認識する画像
認識装置が、セキュリティ確保のための人物認証や、防
犯カメラで撮影された犯人像を用いた犯人捜査などに応
用されている。

【０００５】画像認識装置には、ビデオカメラで撮影さ
れた人物の画像と、予め記録しておいた人物の画像とを
比較することにより、人物を認識するものがある。例え
ば、特開２０００−３３１１６７号公報に記載された従
来の顔画像照合装置は、２つの顔画像を照合して顔画像
に現れている２つの顔の一致度を評価する。従来の顔画
像照合装置は、まず、顔画像に現れている顔の大きさお
よび各顔画像内における顔の位置を一致させるために、
顔画像を正規化する。次に、顔画像照合装置は、所定の
マスクデータに基づいて２つの顔画像の所定領域をマス
クすることにより顔領域を抽出する。次に、顔画像照合
装置は、各顔画像を必要に応じてモノクロ画像に変換す
る。さらに、顔画像照合装置は、各顔画像の階調を落と
した後に照合する。このようにして、従来の画像認識装
置は、ビデオカメラで撮影された画像から人物や顔を認
識する。

【０００６】しかし、ビデオカメラは、レンズ系の画像
取得可能範囲と、光電変換装置から出力可能な画像の大
きさとに制約を受けるので、ビデオカメラで撮影できる
画像には有限の視野が存在する。画像認識装置は、ビデ
オカメラで撮影された画像から人物や顔を認識するの
で、人物や顔を正常に認識するためには、人物や顔が視
野内にあることが条件となる。

【０００７】しかし、ビデオカメラで人物を含む動画像
を撮影するとき、人物は必ずしも静止しているわけでは
ない。したがって、画像認識装置の認識対象である人物
は、常に、ビデオカメラの視野内にあるとは限らない。
そのため、画像認識装置では、ビデオカメラの撮影方向
や撮影範囲を人物の動きに合わせて修正することが望ま
れる。

【０００８】撮影方向や撮影範囲を修正する方法として
は、従来、ビデオカメラの操作者が、撮影対象である人
物の動きを見て、それに合わせてパンやチルトを行うと
いう方法しかなかった。

【０００９】しかし、セキュリティ確保のための人物認
証や防犯カメラに応用される画像認識装置は、操作者が
常時操作しているものではなく、無人でも動作する必要
がある。そのため、従来の画像認識装置は、人物を認識
することができないとき、それが画像からのはみ出しに
よるか否か知ることができなかった。そのため、従来の
画像認識装置は、画像から人物やその顔がはみ出してい
るとき、撮影方向や撮影範囲を自動的に修正することが
できず、また、人物が画像からはみ出したことを警告す
ることもできなかった。

【００１０】そのため、従来の画像認識装置は、人物や
その顔が画像に入るであろう適当な範囲を固定的に撮影
するように設置され、できるだけ人物が画像からはみ出
さないようにする程度であった。

【００１１】本発明の目的は、ビデオカメラで撮影され
た画像から人物または人物の顔がはみ出したことを検知
できる画像処理装置、そのはみ出し検知方法およびプロ
グラムを提供することである。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像処理装置は、撮影の対象物の画像から
のはみ出しを検知する画像処理装置であって、前記対象
物を含む画像を連続して取得する撮像手段と、前記撮像
手段で画像が取得されると、該画像と、その直前に取得
された少なくとも１つの画像との間の各画素の差分を算
出するフレーム間差分算出手段と、上辺から第１の幅に
予め定められた上部領域内に、前記差分の値が所定値以
上である画素が第１の閾値より多く存在すれば、前記対
象物が前記画像の上にはみ出していると判断し、右辺か
ら第２の幅に予め定められた右部領域内に、前記差分の
値が前記所定値以上である画素が第２の閾値より多く存
在すれば、前記対象物が前記画像の右にはみ出している
と判断し、左辺から第３の幅に予め定められた左部領域
内に、前記差分の値が前記所定値以上である画素が第３
の閾値より多く存在すれば、前記対象物が前記画像の左
にはみ出していると判断し、下辺から第４の幅に予め定
められた下部領域内に、前記差分の値が前記所定値以上
である画素が第４の閾値より多く存在すれば、前記対象
物が前記画像の下にはみ出していると判断する判断手段
とを有している。

【００１３】通常、人物は完全に静止していないので、
画像中に人物の映っている領域では、画素値が時間とと
もに変化する。したがって、撮像手段で連続的に撮影さ
れた画像から、フレーム間差分算出手段が、画像の変化
を示す各画素の差分を算出し、画像の上下左右の辺に近
い領域で画像の変化が大きければ、判断手段が、対象物
が画像からはみ出していると判断することができる。

【００１４】なお、前記第１〜第４の幅、前記所定値、
および前記第１〜第４の閾値が、変更可能に設定される
パラメータであってもよい。

【００１５】また、前記フレーム間差分算出手段により
得られた前記各画素の差分を所定の差分閾値で二値化す
る二値化手段と、前記二値化手段によって前記差分閾値
以上であるとされた画素が、前記上部領域内にいくつあ
るかカウントし、前記判断手段に通知する画像上部画素
数カウント手段と、前記二値化手段によって前記差分閾
値以上であるとされた画素が、前記右部領域内にいくつ
あるかカウントし、前記判断手段に通知する画像右部画
素数カウント手段と、前記二値化手段によって前記差分
閾値以上であるとされた画素が、前記左部領域内にいく
つあるかカウントし、前記判断手段に通知する画像左部
画素数カウント手段と、前記二値化手段によって前記差
分閾値以上であるとされた画素が、前記下部領域内にい
くつあるかカウントし、前記判断手段に通知する画像下
部画素数カウント手段とを更に有し、前記判断手段は、
前記画像上部画素数カウント手段から通知された値が前
記第１の閾値より大きければ、前記対象物が前記画像の
上にはみ出していると判断し、前記画像右部画素数カウ
ント手段から通知された値が前記第２の閾値より大きけ
れば、前記対象物が前記画像の右にはみ出していると判
断し、前記画像左部画素数カウント手段から通知された
値が前記第３の閾値より大きければ、前記対象物が前記
画像の左にはみ出していると判断し、前記画像下部画素
数カウント手段から通知された値が前記第４の閾値より
大きければ、前記対象物が前記画像の下にはみ出してい
ると判断する構成であってもよい。

【００１６】さらに、前記差分閾値が、変更可能に設定
されるパラメータであってもよい。

【００１７】本発明の他の画像処理装置は、撮影の対象
物の画像からのはみ出しを検知する画像処理装置であっ
て、前記対象物を含む画像を連続して取得する撮像手段
と、前記撮像手段で画像が取得されると、該画像と、そ
の直前に取得された少なくとも１つの画像との間の各画
素の差分を算出するフレーム間差分算出手段と、前記フ
レーム間差分算出手段により得られた前記各画素の差分
を所定の差分閾値で二値化する二値化手段と、前記二値
化手段で得られた、各画素の二値化された値から、前記
画像を複数の分割領域に分割する領域分割手段と、複数
の前記分割領域の中から、最も前記対象物らしい分割領
域を選択領域として選択する領域選択手段と、前記二値
化手段によって前記差分閾値以上であるとされた画素
が、上辺から第１の幅に予め定められた上部領域内かつ
前記選択領域内にいくつあるかカウントする画像上部画
素数カウント手段と、前記二値化手段によって前記差分
閾値以上であるとされた画素が、右辺から第２の幅に予
め定められた右部領域内かつ前記選択領域内にいくつあ
るかカウントする画像右部画素数カウント手段と、前記
二値化手段によって前記差分閾値以上であるとされた画
素が、左辺から第３の幅に予め定められた左部領域内か
つ前記選択領域内にいくつあるかカウントする画像左部
画素数カウント手段と、前記二値化手段によって前記差
分閾値以上であるとされた画素が、下辺から第４の幅に
予め定められた下部領域内かつ前記選択領域内にいくつ
あるかカウントする画像下部画素数カウント手段と、前
記画像上部画素数カウント手段により得られたカウント
値が第１の閾値より大きければ、前記対象物が前記画像
の上にはみ出していると判断し、前記画像右部画素数カ
ウント手段により得られたカウント値が第２の閾値より
大きければ、前記対象物が前記画像の右にはみ出してい
ると判断し、前記画像左部画素数カウント手段により得
られたカウント値が第３の閾値より大きければ、前記対
象物が前記画像の左にはみ出していると判断し、前記画
像下部画素数カウント手段により得られたカウント値が
第４の閾値寄り大きければ、前記対象物が前記画像の下
にはみ出していると判断する判断手段とを有している。

【００１８】したがって、撮像手段で連続的に撮影され
た画像から、フレーム間差分算出手段が、画像の変化を
示す各画素の差分を算出し、領域分割手段が、画像を複
数の分割領域に分割し、領域選択手段が、最も対象物ら
しい分割領域を選択し、判断手段が、最も対象物らしい
分割領域の画像に基づいて、画像の上下左右の辺に近い
領域で画像の変化が大きければ、判断手段が、対象物が
画像からはみ出していると判断する。

【００１９】なお、前記差分閾値、前記第１〜第４の
幅、および前記第１〜第４の閾値が、変更可能に設定さ
れるパラメータであってもよい。

【００２０】本発明の更に他の画像処理装置は、撮影の
対象物の画像からのはみ出しを検知する画像処理装置で
あって、前記対象物を含む画像を取得する撮像手段と、
前記撮像手段で画像が取得されると、前記撮像手段か
ら、該画像の画像中央部に映っている物体までの距離を
算出する距離算出手段と、前記距離算出手段で求められ
る距離の信頼性が所定値以上に高いか否か判定する信頼
性判断手段と、前記距離算出手段で得られた前記距離が
所定の閾値以下であり、かつ前記信頼性判断手段で信頼
性が高いと判断されると、前記画像から前記対象物がは
み出していると判断する距離判断手段とを有している。

【００２１】したがって、撮像手段で撮影された画像か
ら、距離算出手段が、対象物である可能性の高い、その
画像の中央に撮影された物体までの距離を算出し、信頼
性判断手段が、算出された距離の信頼性を求め、その結
果、信頼性が高く、かつ、距離が近すぎるとき、判断手
段が、対象物が画像からはみ出していると判断する。

【００２２】なお、前記所定値および前記閾値が、変更
可能に設定されるパラメータであってもよい。

【００２３】本発明の更に他の画像処理装置は、撮影の
対象物の画像からのはみ出しを検知する画像処理装置で
あって、前記対象物を含む画像を取得する第１の撮像手
段と、前記対象物を含み、前記第１の撮像手段で取得さ
れる画像とずれた画像を、前記第１の撮像手段と同時に
取得する第２の撮像手段と、前記第１の撮像手段と前記
第２の撮像手段で同時に得られた画像の画像中央部での
相関値を算出する画像中央部相関算出手段と、前記画像
中央部相関算出手段で得られた前記相関値の変化が所定
の変化率より大きければ、信頼性が高いと判断する信頼
性判断手段と、前記第１の撮像手段と前記第２の撮像手
段の位置関係と、２つの画像をずらして２つの画像の相
関値が最大となるときのずれ量から、前記画像中央部に
映っている物体との距離を算出する距離算出手段と、前
記距離算出手段で得られた距離が所定の閾値以下であ
り、かつ前記信頼性判断手段で信頼性が高いと判断され
ると、前記画像から前記対象物がはみ出していると判断
する距離判断手段とを有している。

【００２４】したがって、第１および第２の撮像手段で
撮影された、互いにずれた２つの画像から、画像中央部
相関算出手段が、それらの画像の相関値を算出し、距離
算出手段が、相関値により分かる２つの画像のずれ量か
ら、対象物までの距離を算出し、その結果、距離が近す
ぎるとき、判断手段が、対象物が画像からはみ出してい
ると判断する。

【００２５】なお、前記変化率および前記閾値が、変更
可能に設定されるパラメータであってもよい。

【００２６】本発明の更に他の画像処理装置は、撮影の
対象物の画像からのはみ出しを検知する画像処理装置で
あって、前記対象物を含む画像を取得する第１の撮像手
段と、前記対象物を含み、前記第１の撮像手段で取得さ
れる画像とずれた画像を、前記第１の撮像手段と同時に
取得する第２の撮像手段と、前記第１の撮像手段と前記
第２の撮像手段で同時に得られた画像の画像中央部の複
数の小領域でのそれぞれの相関値を算出する小領域相関
算出手段と、前記第１の撮像手段と前記第２の撮像手段
の位置関係と、２つの画像をずらした２つの画像の相関
値が最大となるときのずれ量から、前記各小領域に映っ
ている物体までの距離をそれぞれ算出する距離算出手段
と、前記距離算出手段により算出された、前記各小領域
における距離のうち最小のものを選択する最小距離選択
手段と、前記最小距離選択手段で得られた最小の距離が
所定の閾値以下であれば、前記画像から前記対象物がは
み出していると判断する距離判断手段とを有している。

【００２７】したがって、第１および第２の撮像手段で
撮影された、互いにずれた２つの画像から、画像中央部
相関算出手段が、それらの画像の相関値を算出し、距離
算出手段が、相関値により分かる２つの画像のずれ量か
ら、画像中央部の各小領域にある物体で、距離が最小の
ものを対象物として、対象物までの距離を算出し、その
結果、距離が近すぎるとき、判断手段が、対象物が画像
からはみ出していると判断する。

【００２８】なお、前記閾値が、変更可能に設定される
パラメータであってもよい。

【００２９】また、前記対象物が人物であってもよく、
人物の顔であってもよい。

【００３０】本発明の方法は、撮像手段により連続して
取得される画像からの撮影の対象物のはみ出しを検知す
る画像処理装置のはみ出し検知方法であって、前記撮像
手段で画像が取得されると、該画像と、その直前に取得
された少なくとも１つの画像との間の各画素の差分を算
出するステップと、上辺から第１の幅に予め定められた
上部領域内に、前記差分の値が所定値以上である画素が
第１の閾値より多く存在すれば、前記対象物が前記画像
の上にはみ出していると判断するステップと、右辺から
第２の幅に予め定められた右部領域内に、前記差分の値
が前記所定値以上である画素が第２の閾値より多く存在
すれば、前記対象物が前記画像の右にはみ出していると
判断するステップと、左辺から第３の幅に予め定められ
た左部領域内に、前記差分の値が前記所定値以上である
画素が第３の閾値より多く存在すれば、前記対象物が前
記画像の左にはみ出していると判断するステップと、下
辺から第４の幅に予め定められた下部領域内に、前記差
分の値が前記所定値以上である画素が第４の閾値より多
く存在すれば、前記対象物が前記画像の下にはみ出して
いると判断するステップとを有している。

【００３１】なお、前記第１〜第４の幅、前記所定値、
および前記第１〜第４の閾値が、変更可能に設定される
パラメータであってもよい。

【００３２】また、前記各画素の差分を所定の差分閾値
で二値化するステップと、前記二値化によって前記差分
閾値以上であるとされた画素が、前記上部領域内にいく
つあるかカウントするステップと、前記二値化によって
前記差分閾値以上であるとされた画素が、前記右部領域
内にいくつあるかカウントするステップと、前記二値化
によって前記差分閾値以上であるとされた画素が、前記
左部領域内にいくつあるかカウントするステップと、前
記二値化によって前記差分閾値以上であるとされた画素
が、前記下部領域内にいくつあるかカウントするステッ
プをさらに有し、前記上部領域のカウント値が前記第１
の閾値より大きければ、前記対象物が前記画像の上には
み出していると判断し、前記右部領域のカウント値が前
記第２の閾値より大きければ、前記対象物が前記画像の
右にはみ出していると判断し、前記左部領域のカウント
値が前記第３の閾値より大きければ、前記対象物が前記
画像の左にはみ出していると判断し、前記下部領域のカ
ウント値が前記第４の閾値より大きければ、前記対象物
が前記画像の下にはみ出していると判断することとして
もよい。

【００３３】また、前記差分閾値が、変更可能に設定さ
れるパラメータであってもよい。

【００３４】本発明の他の方法は、撮像手段により連続
して取得される画像からの撮影の対象物のはみ出しを検
知する画像処理装置のはみ出し検知方法であって、前記
撮像手段で画像が取得されると、該画像と、その直前に
取得された少なくとも１つの画像との間の各画素の差分
を算出するステップと、前記各画素の差分を所定の差分
閾値で二値化するステップと、各画素の二値化された値
から、前記画像を複数の分割領域に分割するステップ
と、複数の前記分割領域の中から、最も前記対象物らし
い分割領域を選択領域として選択するステップと、前記
二値化によって前記差分閾値以上であるとされた画素
が、上辺から第１の幅に予め定められた上部領域内かつ
前記選択領域内にいくつあるかカウントするステップ
と、前記二値化によって前記差分閾値以上であるとされ
た画素が、右辺から第２の幅に予め定められた右部領域
内かつ前記選択領域内にいくつあるかカウントするステ
ップと、前記二値化によって前記差分閾値以上であると
された画素が、左辺から第３の幅に予め定められた左部
領域内かつ前記選択領域内にいくつあるかカウントする
ステップと、前記二値化によって前記差分閾値以上であ
るとされた画素が、下辺から第４の幅に予め定められた
下部領域内かつ前記選択領域内にいくつあるかカウント
するステップと、前記上部領域のカウント値が第１の閾
値より大きければ、前記対象物が前記画像の上にはみ出
していると判断するステップと、前記右部領域のカウン
ト値が第２の閾値より大きければ、前記対象物が前記画
像の右にはみ出していると判断するステップと、前記左
部領域のカウント値が第３の閾値より大きければ、前記
対象物が前記画像の左にはみ出していると判断するステ
ップと、前記下部領域のカウント値が第４の閾値より大
きければ、前記対象物が前記画像の下にはみ出している
と判断するステップとを有している。

【００３５】なお、前記差分閾値、前記第１〜第４の
幅、および前記第１〜第４の閾値が、変更可能に設定さ
れるパラメータであってもよい。

【００３６】本発明のさらに他の方法は、撮像手段によ
り連続して取得される画像からの撮影の対象物のはみ出
しを検知する画像処理装置のはみ出し検知方法であっ
て、前記撮像手段で画像が取得されると、前記撮像手段
から、該画像の画像中央部に映っている物体までの距離
を算出するステップと、前記距離の信頼性が所定値以上
に高いか否か判定するステップと、前記距離が所定の閾
値以下であり、かつ信頼性が高いと判断されると、前記
画像から前記対象物がはみ出していると判断するステッ
プを有している。

【００３７】なお、前記所定値および前記閾値が、変更
可能に設定されるパラメータであってもよい。

【００３８】本発明のさらに他の方法は、第１の撮像手
段により連続して取得される画像と、前記第１の撮像手
段で取得される画像とずれた画像を前記第１の撮像手段
と同時に取得する第２の撮像手段により取得される画像
とを用いて、撮影の対象物の画像からのはみ出しを検知
する画像処理装置のはみ出し検知方法であって、前記第
１の撮像手段と前記第２の撮像手段で同時に得られた画
像の画像中央部での相関値を算出するステップと、前記
相関値の変化が所定の変化率より大きければ、信頼性が
高いと判断するステップと、前記第１の撮像手段と前記
第２の撮像手段の位置関係と、２つの画像をずらして２
つの画像の相関値が最大となるときのずれ量から、前記
画像中央部に映っている物体との距離を算出するステッ
プと、前記距離が所定の閾値以下であり、かつ信頼性が
高いと判断されると、前記画像から前記対象物がはみ出
していると判断するステップとを有している。

【００３９】なお、前記変化率および前記閾値が、変更
可能に設定されるパラメータであってもよい。

【００４０】本発明のさらに他の方法は、第１の撮像手
段により連続して取得される画像と、前記第１の撮像手
段で取得される画像とずれた画像を前記第１の撮像手段
と同時に取得する第２の撮像手段により取得される画像
とを用いて、撮影の対象物の画像からのはみ出しを検知
する画像処理装置のはみ出し検知方法であって、前記第
１の撮像手段と前記第２の撮像手段で同時に得られた画
像の画像中央部の複数の小領域でのそれぞれの相関値を
算出するステップと、前記第１の撮像手段と前記第２の
撮像手段の位置関係と、２つの画像をずらした２つの画
像の相関値が最大となるときのずれ量から、前記各小領
域に映っている物体までの距離をそれぞれ算出するステ
ップと、前記各小領域における距離のうち最小のものを
選択するステップと、選択された最小の距離が所定の閾
値以下であれば、前記画像から前記対象物がはみ出して
いると判断するステップとを有している。

【００４１】なお、前記閾値が、変更可能に設定される
パラメータであってもよい。

【００４２】また、前記対象物が人物であってもよい。

【００４３】また、前記対象物が人物の顔であってもよ
い。

【００４４】本発明のプログラムは、撮像手段により連
続して取得される画像からの撮影の対象物のはみ出しを
検知するコンピュータに実行させるためのはみ出し検知
プログラムであって、前記撮像手段で画像が取得される
と、該画像と、その直前に取得された少なくとも１つの
画像との間の各画素の差分を算出する処理と、上辺から
第１の幅に予め定められた上部領域内に、前記差分の値
が所定値以上である画素が第１の閾値より多く存在すれ
ば、前記対象物が前記画像の上にはみ出していると判断
する処理と、右辺から第２の幅に予め定められた右部領
域内に、前記差分の値が前記所定値以上である画素が第
２の閾値より多く存在すれば、前記対象物が前記画像の
右にはみ出していると判断する処理と、左辺から第３の
幅に予め定められた左部領域内に、前記差分の値が前記
所定値以上である画素が第３の閾値より多く存在すれ
ば、前記対象物が前記画像の左にはみ出していると判断
する処理と、下辺から第４の幅に予め定められた下部領
域内に、前記差分の値が前記所定値以上である画素が第
４の閾値より多く存在すれば、前記対象物が前記画像の
下にはみ出していると判断する処理とを有している。

【００４５】なお、前記第１〜第４の幅、前記所定値、
および前記第１〜第４の閾値が、変更可能に設定される
パラメータであってもよい。

【００４６】また、前記各画素の差分を所定の差分閾値
で二値化する処理と、前記二値化によって前記差分閾値
以上であるとされた画素が、前記上部領域内にいくつあ
るかカウントする処理と、前記二値化によって前記差分
閾値以上であるとされた画素が、前記右部領域内にいく
つあるかカウントする処理と、前記二値化によって前記
差分閾値以上であるとされた画素が、前記左部領域内に
いくつあるかカウントする処理と、前記二値化によって
前記差分閾値以上であるとされた画素が、前記下部領域
内にいくつあるかカウントする処理をさらに有し、前記
上部領域のカウント値が前記第１の閾値より大きけれ
ば、前記対象物が前記画像の上にはみ出していると判断
し、前記右部領域のカウント値が前記第２の閾値より大
きければ、前記対象物が前記画像の右にはみ出している
と判断し、前記左部領域のカウント値が前記第３の閾値
より大きければ、前記対象物が前記画像の左にはみ出し
ていると判断し、前記下部領域のカウント値が前記第４
の閾値より大きければ、前記対象物が前記画像の下には
み出していると判断することとしてもよい。

【００４７】また、前記差分閾値が、変更可能に設定さ
れるパラメータであってもよい。

【００４８】本発明の他のプログラムは、撮像手段によ
り連続して取得される画像からの撮影の対象物のはみ出
しを検知するコンピュータに実行させるためのはみ出し
検知プログラムであって、前記撮像手段で画像が取得さ
れると、該画像と、その直前に取得された少なくとも１
つの画像との間の各画素の差分を算出する処理と、前記
各画素の差分を所定の差分閾値で二値化する処理と、各
画素の二値化された値から、前記画像を複数の分割領域
に分割する処理と、複数の前記分割領域の中から、最も
前記対象物らしい分割領域を選択領域として選択する処
理と、前記二値化によって前記差分閾値以上であるとさ
れた画素が、上辺から第１の幅に予め定められた上部領
域内かつ前記選択領域内にいくつあるかカウントする処
理と、前記二値化によって前記差分閾値以上であるとさ
れた画素が、右辺から第２の幅に予め定められた右部領
域内かつ前記選択領域内にいくつあるかカウントする処
理と、前記二値化によって前記差分閾値以上であるとさ
れた画素が、左辺から第３の幅に予め定められた左部領
域内かつ前記選択領域内にいくつあるかカウントする処
理と、前記二値化によって前記差分閾値以上であるとさ
れた画素が、下辺から第４の幅に予め定められた下部領
域内かつ前記選択領域内にいくつあるかカウントする処
理と、前記上部領域のカウント値が第１の閾値より大き
ければ、前記対象物が前記画像の上にはみ出していると
判断する処理と、前記右部領域のカウント値が第２の閾
値より大きければ、前記対象物が前記画像の右にはみ出
していると判断する処理と、前記左部領域のカウント値
が第３の閾値より大きければ、前記対象物が前記画像の
左にはみ出していると判断する処理と、前記下部領域の
カウント値が第４の閾値より大きければ、前記対象物が
前記画像の下にはみ出していると判断する処理とを有し
ている。

【００４９】なお、前記差分閾値、前記第１〜第４の
幅、および前記第１〜第４の閾値が、変更可能に設定さ
れるパラメータであってもよい。

【００５０】本発明のさらに他のプログラムは、撮像手
段により連続して取得される画像からの撮影の対象物の
はみ出しを検知するコンピュータに実行させるためのは
み出し検知プログラムであって、前記撮像手段で画像が
取得されると、前記撮像手段から、該画像の画像中央部
に映っている物体までの距離を算出する処理と、前記距
離の信頼性が所定値以上に高いか否か判定する処理と、
前記距離が所定の閾値以下であり、かつ信頼性が高いと
判断されると、前記画像から前記対象物がはみ出してい
ると判断する処理を有している。

【００５１】なお、前記所定値および前記閾値が、変更
可能に設定されるパラメータであってもよい。

【００５２】本発明のさらに他のプログラムは、第１の
撮像手段により連続して取得される画像と、前記第１の
撮像手段で取得される画像とずれた画像を前記第１の撮
像手段と同時に取得する第２の撮像手段により取得され
る画像とを用いて、撮影の対象物の画像からのはみ出し
を検知するコンピュータに実行させるためのはみ出し検
知プログラムであって、前記第１の撮像手段と前記第２
の撮像手段で同時に得られた画像の画像中央部での相関
値を算出する処理と、前記相関値の変化が所定の変化率
より大きければ、信頼性が高いと判断する処理と、前記
第１の撮像手段と前記第２の撮像手段の位置関係と、２
つの画像をずらして２つの画像の相関値が最大となると
きのずれ量から、前記画像中央部に映っている物体との
距離を算出する処理と、前記距離が所定の閾値以下であ
り、かつ信頼性が高いと判断されると、前記画像から前
記対象物がはみ出していると判断する処理とを有してい
る。

【００５３】なお、前記変化率および前記閾値が、変更
可能に設定されるパラメータであってもよい。

【００５４】本発明のさらに他のプログラムは、第１の
撮像手段により連続して取得される画像と、前記第１の
撮像手段で取得される画像とずれた画像を前記第１の撮
像手段と同時に取得する第２の撮像手段により取得され
る画像とを用いて、撮影の対象物の画像からのはみ出し
を検知するコンピュータに実行させるためのはみ出し検
知プログラムであって、前記第１の撮像手段と前記第２
の撮像手段で同時に得られた画像の画像中央部の複数の
小領域でのそれぞれの相関値を算出する処理と、前記第
１の撮像手段と前記第２の撮像手段の位置関係と、２つ
の画像をずらした２つの画像の相関値が最大となるとき
のずれ量から、前記各小領域に映っている物体までの距
離をそれぞれ算出する処理と、前記各小領域における距
離のうち最小のものを選択する処理と、選択された最小
の距離が所定の閾値以下であれば、前記画像から前記対
象物がはみ出していると判断する処理とを有している。

【００５５】なお、前記閾値が、変更可能に設定される
パラメータであってもよい。

【００５６】また、前記対象物が人物であってもよく、
人物の顔であってもよい。

【００５７】

【発明の実施の形態】本発明の実施形態について図面を
参照して詳細に説明する。 （第１の実施形態）本発明の第１の実施形態は、画像の
上下左右の部分の画像の変化から、人物が画像からはみ
出したことを検出する画像処理装置である。

【００５８】図１は、第１の実施形態の画像処理装置の
構成を示すブロック図である。図１を参照すると、画像
処理装置１０は、撮像部１１、フレーム間差分算出部１
２、二値化部１３、画像上部画素数部１４、画像右部画
素数カウント部１５、画像左部画素数カウント部１６、
画像下部画素数カウント部１７および判断部１８を有し
ている。

【００５９】撮像部１１は、例えばビデオカメラであ
り、次々と連続して画像を撮影し、撮影した画像をデジ
タル化して画素毎のデータを求める。本実施形態では、
撮影される画像は、一例としてモノクロ画像であるとす
る。したがって、画素毎のデータは輝度を表わす数値で
示される。

【００６０】フレーム間差分算出部１２は、撮像部１１
でデジタル化された画像を入力とし、過去の所定数の画
像をメモリ（不図示）に保存するとともに、最新の画像
とメモリに保存されている過去の各画像との差分を画素
毎に算出する。各画素の差分は、最新の画像におけるそ
の画素の輝度と、過去の画像におけるその画素の輝度と
の差である。メモリに保存される過去の画像の数は少な
くとも１つであり、複数であってもよく、例えば、パラ
メータとして変更可能に設定されている。

【００６１】二値化部１３は、フレーム間差分算出部１
２で算出された各画素の差分を、予め定められた差分閾
値と比較し、閾値との大小により二値化する。なお、各
画素の差分が差分閾値より大きいことは、その画素は過
去の画像との差分が大きいことを示し、すなわち、その
画素の変化が大きいことを意味する。ここでは、各画素
の差分は、差分閾値以上のとき“１”に二値化され、差
分閾値より小さいとき“０”に二値化されることとす
る。

【００６２】第１の実施形態では、撮像部１１で撮影さ
れる画像の上下左右の各辺付近の部分が上部領域、下部
領域、左部領域、右部領域とされている。図２は画像９
０の中の上部領域９１を示し、図３は左部領域９２を示
し、図４は右部領域９３を示し、図５は下部領域９４を
示している。

【００６３】画像上部画素数カウント部１４は、上部領
域９１内の画素のうち、二値化部１３で差分閾値以上と
された画素の数、すなわち“１”に二値化された画素の
数をカウントする。

【００６４】画像右部画素数カウント部１５は、右部領
域９３内の画素のうち、二値化部１３で差分閾値以上と
された画素の数をカウントする。

【００６５】画像左部画素数カウント部１６は、左部領
域９２内の画素のうち、二値化部１３で差分閾値以上と
された画素の数をカウントする。

【００６６】画像下部画素数カウント部１７は、下部領
域９４内の画素のうち、二値化部１３で差分閾値以上と
された画素の数をカウントする。

【００６７】判断部１８は、画像上部画素数カウント部
１４のカウント値が、予め定められた上部カウント閾値
より大きければ、人物が画像の上にはみ出していると判
断する。また、判断部１８は、画像右部画素数カウント
部１５のカウント値が、予め定められた右部カウント閾
値より大きければ、人物が画像の右にはみ出していると
判断する。判断部１８は、画像左部画素数カウント部１
６のカウント値が、予め定められた左部カウント閾値よ
り大きければ、人物が画像の左にはみ出していると判断
する。判断部１８は、画像下部画素数カウント部１７の
カウント値が、予め定められた下部カウント閾値より大
きければ、人物が画像の下にはみ出していると判断す
る。

【００６８】図６は、本実施形態の画像処理装置の動作
を示すフローチャートである。図６を参照すると、ま
ず、撮像部１１が画像を撮影し、フレーム間差分算出部
１２に送る（ステップＡ１）。ここで、撮像部１１のビ
デオカメラが起動してからｔ番目に撮影された画像をｉ
ｍ（ｔ）とする。

【００６９】次に、フレーム間差分算出部１２は、最新
の画像ｉｍ（ｔ）の各画素と、メモリに保存されている
過去の画像の各画素との差分を算出し、各差分を各画素
の値とする差分画像ｄｉｆｆ（ｔ）を生成する（ステッ
プＡ２）。

【００７０】次に、フレーム間差分画像算出部１３は、
画像ｉｍ（ｔ）を過去の画像としてメモリに保存する
（ステップＡ３）。それとともに、フレーム間差分画像
算出部１３は、メモリに保存されていた最も古い過去の
画像を１つ廃棄する。

【００７１】次に、二値化部１４は、差分画像ｄｉｆｆ
（ｔ）の各画素の値（上述された差分）を差分閾値と比
較して二値化し、差分画像ｄｉｆｆ（ｔ）を二値化画像
ｂｉｎ（ｔ）に変換する（ステップＡ４）。このとき、
二値化部１４は、各画素の値が差分閾値以上のとき、そ
の画素値を“１”とする。また、二値化部１４は、各画
素の値が差分閾値より小さいとき、その画素値を“０”
とする。

【００７２】次に、画像上部画素数カウント部１４は、
二値化画像ｂｉｎ（ｔ）の上部領域９１内で、画素値が
“１”である画素の数をカウントする（ステップＡ
５）。ここでは、そのカウント値をａ（ｔ）とする。

【００７３】次に、画像右部画素数カウント部１５は、
二値化画像ｂｉｎ（ｔ）の右部領域９２内で、画素値が
“１”である画素の数をカウントする（ステップＡ
６）。ここでは、そのカウント値をｂ（ｔ）とする。

【００７４】次に、画像左部画素数カウント部１６は、
二値化画像ｂｉｎ（ｔ）の左部領域９３内で、画素値が
“１”である画素の数をカウントする（ステップＡ
７）。ここでは、そのカウント値をｃ（ｔ）とする。

【００７５】次に、画像下部画素数カウント部１７は、
二値化画像ｂｉｎ（ｔ）の下部領域９４内で、画素値が
“１”である画素の数をカウントする（ステップＡ
８）。ここでは、そのカウント値をｄ（ｔ）とする。

【００７６】次に、判定部１８は、カウント値ａ（ｔ）
が上部カウント閾値ｔｈ１より大きいか否か判定する
（ステップＡ９）。カウント値ａ（ｔ）が上部カウント
閾値ｔｈ１より大きければ、判定部１８は、人物が画像
の上にはみ出していることを検知する（ステップＡ１
０）。

【００７７】次に、判定部１８は、カウント値ｂ（ｔ）
が右部カウント閾値ｔｈ２より大きいか否か判定する
（ステップＡ１１）。カウント値ｂ（ｔ）が右部カウン
ト閾値ｔｈ２より大きければ、判定部１８は、人物が画
像の右にはみ出していることを検知する（ステップＡ１
２）。

【００７８】次に、判定部１８は、カウント値ｃ（ｔ）
が左部カウント閾値ｔｈ３より大きいか否か判定する
（ステップＡ１３）。カウント値ｃ（ｔ）が右部カウン
ト閾値ｔｈ３より大きければ、判定部１８は、人物が画
像の左にはみ出していることを検知する（ステップＡ１
４）。

【００７９】次に、判定部１８は、カウント値ｄ（ｔ）
が下部カウント閾値ｔｈ４より大きいか否か判定する
（ステップＡ１５）。カウント値ｄ（ｔ）が右部カウン
ト閾値ｔｈ４より大きければ、判定部１８は、人物が画
像の下にはみ出していることを検知する（ステップＡ１
６）。

【００８０】以上の動作を終了すると、画像処理装置１
０は、“ｔ”を１つインクリメントし（ステップＡ１
７）、ステップＡ１に戻る。

【００８１】以上説明したように、本実施形態の画像処
理装置１０は、最新の画像と過去の画像との差分をフレ
ーム間差分算出部１２によって算出し、二値化部１３に
よって差分を二値化して所定以上に変化したか否か求
め、画像上部、右部、左部または下部画素数カウント部
１４、１５、１６、１７によって、所定以上に変化した
画素の数を上下左右の領域毎にカウントし、判断部１８
によって、各領域のカウント値を閾値と比較してカウン
ト値が閾値を超えた領域において画像から人物がはみ出
したと判断するので、画像変化が大きいためにカウント
値が閾値を超えた領域を検出することにより、画像から
の人物のはみ出しを自動的に検知することができる。

【００８２】なお、本実施形態では、撮像部１１がモノ
クロ画像を撮影する場合を例示したが、本発明はこれに
限定されるものではなく、カラー画像であってもよい。
撮像部１１で撮影されるのがカラー画像である場合、例
えば、フレーム間差分算出部１２は、各画素値をＲＧＢ
の３色を要素とするベクトルで表わし、過去の画像の画
素とベクトルの差分を求める。そして、二値化部１３
は、フレーム間差分算出部１２で求められた差分ベクト
ルの大きさを差分閾値と比較することにより、二値化画
像を生成してもよい。

【００８３】また、本実施形態では、画像からのはみ出
しを検知する対象物が人物である場合を例示したが、本
発明はこれに限定されるものではない。連続的に撮影し
たとき、移動しうる物体であれば、どのようなものであ
ってもよい。

【００８４】また、本実施形態で用いられた、過去の画
像の数、各閾値、上下左右部の各領域の大きさなどのパ
ラメータを調整することにより、画像処理装置がはみ出
しを検知する精度を向上させることができる。 （第２の実施形態）図７は、本発明の第２の実施形態の
画像処理装置の構成を示すブロック図である。図７を参
照すると、画像処理装置２０は、撮像部２１、フレーム
間差分算出部２２、二値化部２３、領域分割部２４、領
域選択部２５、画像上部画素数カウント部２６、画像右
部画素数カウント部２７、画像左部画素数カウント部２
８、画像下部画素数カウント部２９および判断部２１０
を有している。

【００８５】撮像部２１は、例えばビデオカメラであ
り、次々と連続して画像を撮影し、撮影した画像をデジ
タル化して画素毎のデータを求める。本実施形態では、
撮影される画像は、一例としてモノクロ画像であるとす
る。したがって、画素毎のデータは輝度を表わす数値で
示される。

【００８６】フレーム間差分算出部２２は、撮像部２１
でデジタル化された画像を入力とし、過去の所定数の画
像をメモリ（不図示）に保存するとともに、最新の画像
とメモリに保存されている過去の各画像との差分を画素
毎に算出する。各画素の差分は、最新の画像におけるそ
の画素の輝度と、過去の画像におけるその画素の輝度と
の差である。メモリに保存される過去の画像の数は少な
くとも１つであり、複数であってもよく、例えば、パラ
メータとして変更可能に設定されている。

【００８７】二値化部２３は、フレーム間差分算出部２
２で算出された各画素の差分を、予め定められた差分閾
値と比較し、閾値との大小により二値化する。なお、各
画素の差分が差分閾値より大きいことは、その画素は過
去の画像との差分が大きいことを示し、すなわち、その
画素の変化が大きいことを意味する。ここでは、各画素
の差分は、差分閾値以上のとき“１”に二値化され、差
分閾値より小さいとき“０”に二値化されることとす
る。

【００８８】領域分割部２４は、画像を複数の分割領域
に分割する。画像を複数の分割領域に分割する方法につ
いては後述する。

【００８９】領域選択部２５は、領域分割部２４で分割
された複数の分割領域の中から、最も人物らしい分割領
域を選択し、さらに、選択された分割領域に応じて二値
化画像を変換する。最も人物らしい分割領域を選択する
方法と、二値化画像を変換する方法については後述す
る。

【００９０】第２の実施形態では、第１の実施形態と同
様、図２〜図５に示された上部、右部、左部、下部領域
９３、９４、９５、９６が定められている。

【００９１】画像上部画素数カウント部２６は、領域選
択部２５で変換された二値化画像において、上部領域９
１内で画素値が“１”である画素の数をカウントする。

【００９２】画像右部画素数カウント部２７は、領域選
択部２５で変換された二値化画像において、右部領域９
３内で画素値が“１”である画素の数をカウントする。

【００９３】画像左部画素数カウント部２８は、領域選
択部２５で変換された二値化画像において、左部領域９
２内で画素値が“１”である画素の数をカウントする。

【００９４】画像下部画素数カウント部２９は、領域選
択部２５で変換された二値化画像において、下部領域９
４内で画素値が“１”である画素の数をカウントする。

【００９５】判断部２１０は、画像上部画素数カウント
部２６のカウント値が、予め定められた上部カウント閾
値より大きければ、人物が画像の上にはみ出していると
判断する。また、判断部２１０は、画像右部画素数カウ
ント部２７のカウント値が、予め定められた右部カウン
ト閾値より大きければ、人物が画像の右にはみ出してい
ると判断する。判断部２１０は、画像左部画素数カウン
ト部２８のカウント値が、予め定められた左部カウント
閾値より大きければ、人物が画像の左にはみ出している
と判断する。判断部２１０は、画像下部画素数カウント
部２９のカウント値が、予め定められた下部カウント閾
値より大きければ、人物が画像の下にはみ出していると
判断する。

【００９６】図８は、本実施形態の画像処理装置の動作
を示すフローチャートである。図８を参照すると、ま
ず、撮像部２１が画像を撮影し、フレーム間差分算出部
２２に送る（ステップＢ１）。ここで、撮像部１１のビ
デオカメラが起動してからｔ番目に撮影された画像をｉ
ｍ（ｔ）とする。

【００９７】次に、フレーム間差分算出部２２は、最新
の画像ｉｍ（ｔ）の各画素と、メモリに保存されている
過去の画像の各画素との差分を算出し、各差分を各画素
の値とする差分画像ｄｉｆｆ（ｔ）を生成する（ステッ
プＢ２）。

【００９８】次に、フレーム間差分画像算出部２２は、
画像ｉｍ（ｔ）を過去の画像としてメモリに保存する
（ステップＢ３）。それとともに、フレーム間差分画像
算出部２２は、メモリに保存されていた最も古い過去の
画像を１つ廃棄する。

【００９９】次に、二値化部２３は、差分画像ｄｉｆｆ
（ｔ）の各画素の値（上述された差分）を差分閾値と比
較して二値化し、差分画像ｄｉｆｆ（ｔ）を二値化画像
ｂｉｎ（ｔ）に変換する（ステップＢ４）。このとき、
二値化部２３は、各画素の値が差分閾値以上のとき、そ
の画素値を“１”とする。また、二値化部２３は、各画
素の値が差分閾値より小さいとき、その画素値を“０”
とする。

【０１００】次に、領域分割部２４は、二値化部２３で
得られた二値化画像ｂｉｎ（ｔ）を複数の分割領域に分
割する（ステップＢ５）。

【０１０１】領域分割部２４による領域分割の方法の一
例について説明する。図９は、領域分割の方法について
説明するための図である。図９に示すように、二値化画
像ｂｉｎ（ｔ）の横方向をＸ軸（右向きが正）とし、縦
方向をＹ軸（下向きが正）とし、画像の左上の画素から
右にｘ番目で、下にｙ番目の画素の画素値をｖ（ｘ，
ｙ）とする。

【０１０２】図９（ａ）のような二値化画像ｂｉｎ
（ｔ）が得られると、図９（ｂ）に示すように、画像を
構成する全てのｘについて、ｖ（ｘ，ｙ）が１となる最
小のｙの値を求める。次に、得られたｙの値が、ｘの変
化に対して極大となる点（極大点）と、画像下辺に到達
する点（下辺接点）とを求め、極大点および下辺接点を
通る垂直な線で画像を複数の分割領域に分割する。

【０１０３】また、他の領域分割の方法の例として、同
じ画素値（“１”または“０”）を有し、互いに連結し
ている画素をグループ化して１つの分割領域とする方法
が考えられる。つまり、画素値“１”の画素が連結して
いる部分（画素値“１”のひとかたまり）が１つの分割
領域とされ、同様に、画素値“０”の画素がつながって
いる部分（画素値“０”のひとかたまり）が１つの分割
領域とされる。

【０１０４】次に、領域選択部２５は、領域分割部２４
で得られた各分割領域から最も人物らしい分割領域を選
択する。そして、領域選択部２５は、その分割領域内で
はｂｉｎ（ｔ）と同じ値であり、それ以外の分割領域で
は“０”となるように変換された二値化画像ｓｂｉｎ
（ｔ）を作成する（ステップＢ６）。

【０１０５】領域選択部２５による、最も人物らしい分
割領域を選択する方法の一例として、領域分割部２４で
得られた分割領域の中で、画素値が“１”となる画素の
数が最も多い分割領域を選択するという方法が考えられ
る。

【０１０６】次に、画像上部画素数カウント部２６は、
変換された二値化画像ｓｂｉｎ（ｔ）の上部領域９１内
で、画素値が“１”である画素の数をカウントする（ス
テップＢ７）。ここでは、そのカウント値をａ（ｔ）と
する。

【０１０７】次に、画像右部画素数カウント部２７は、
変換された二値化画像ｓｂｉｎ（ｔ）の右部領域９２内
で、画素値が“１”である画素の数をカウントする（ス
テップＢ８）。ここでは、そのカウント値をｂ（ｔ）と
する。

【０１０８】次に、画像左部画素数カウント部２８は、
変換された二値化画像ｓｂｉｎ（ｔ）の左部領域９３内
で、画素値が“１”である画素の数をカウントする（ス
テップＢ９）。ここでは、そのカウント値をｃ（ｔ）と
する。

【０１０９】次に、画像下部画素数カウント部２９は、
変換された二値化画像ｓｂｉｎ（ｔ）の下部領域９４内
で、画素値が“１”である画素の数をカウントする（ス
テップＢ１０）。ここでは、そのカウント値をｄ（ｔ）
とする。

【０１１０】次に、判定部２１０は、カウント値ａ
（ｔ）が上部カウント閾値ｔｈ１より大きいか否か判定
する（ステップＢ１１）。カウント値ａ（ｔ）が上部カ
ウント閾値ｔｈ１より大きければ、判定部２１０は、人
物が画像の上にはみ出していることを検知する（ステッ
プＢ1２）。

【０１１１】次に、判定部２１０は、カウント値ｂ
（ｔ）が右部カウント閾値ｔｈ２より大きいか否か判定
する（ステップＢ１３）。カウント値ｂ（ｔ）が右部カ
ウント閾値ｔｈ２より大きければ、判定部２１０は、人
物が画像の右にはみ出していることを検知する（ステッ
プＢ１４）。

【０１１２】次に、判定部２１０は、カウント値ｃ
（ｔ）が左部カウント閾値ｔｈ３より大きいか否か判定
する（ステップＢ１５）。カウント値ｃ（ｔ）が右部カ
ウント閾値ｔｈ３より大きければ、判定部２１０は、人
物が画像の左にはみ出していることを検知する（ステッ
プＢ１６）。

【０１１３】次に、判定部２１０は、カウント値ｄ
（ｔ）が下部カウント閾値ｔｈ４より大きいか否か判定
する（ステップＢ１７）。カウント値ｄ（ｔ）が右部カ
ウント閾値ｔｈ４より大きければ、判定部２１０は、人
物が画像の下にはみ出していることを検知する（ステッ
プＢ1８）。

【０１１４】以上の動作を終了すると、画像処理装置２
０は、“ｔ”を１つインクリメントし（ステップＢ１
９）、ステップＢ１に戻る。 （第３の実施形態）第３の実施形態は、人物がビデオカ
メラに近すぎて画像からはみ出していることを検出する
画像処理装置である。

【０１１５】図１０は、第３の実施形態の画像処理装置
の構成を示すブロック図である。図１０を参照すると、
画像処理装置３０は、第１の撮像部３１、第２の撮像部
３２、画像中央部相関算出部３３、信頼性判断部３４、
距離算出部３５および距離判断部３６を有している。

【０１１６】第１の撮像部３１は、例えばビデオカメラ
であり、次々と連続して画像を撮影し、撮影した画像を
デジタル化して画素毎のデータを求める。

【０１１７】第２の撮像部３２は、第１の撮像部３１と
同様に、次々と連続して画像を撮影し、撮影した画像を
デジタル化して画素毎のデータを求める。また、第２の
撮像部３２の画像を撮影する視野は、第１の撮像部３１
の視野と重複する部分を有し、かつ、第１の撮像部３１
の視野との相対的な位置関係が固定されている。

【０１１８】画像中央部相関算出部３３は、第１の撮像
部３１と第２の撮像部３２からほぼ同時に得られる画像
の画像中央部９５（図１２参照）での相関値を計算す
る。

【０１１９】信頼性判断部３４は、画像中央部相関計算
部３３で得られた相関値の座標位置に対する変化がなだ
らかであれば、信頼性が低いと判断し、変化が急であれ
ば、信頼性が高いと判断する。

【０１２０】距離算出部３５は、第１の撮像部３１と第
２の撮像部３２の位置関係と、２つの画像をずらして２
つの画像の相関値が最大となるときのずれ量とから、画
像中央部９５に映っている物体との距離を算出する。

【０１２１】距離判断部３６は、距離算出部３５で得ら
れた距離が所定の閾値以下であり、かつ信頼性判断部３
４で信頼性が高いと判断されていれば、距離が近すぎて
画像から人物がはみ出していると判断する。

【０１２２】図１１は、本実施形態の画像処理装置の動
作を示すフローチャートである。図１１を参照すると、
まず、第１および第２の撮像部３１、３２がそれぞれ画
像を撮像し、画像中央部相関算出部３３に送る（ステッ
プＣ１）。第１の撮像部３１と第２の撮像部３２とは同
時に起動されるものとし、ビデオカメラが起動してから
ｔ番目に撮影された画像をそれぞれｉｍ１（ｔ）、ｉｍ
２（ｔ）とする。

【０１２３】次に、画像中央部相関算出部３３は、画像
ｉｍ１（ｔ）と画像ｉｍ２（ｔ）の画像中央部９５での
相関値ｃｏｒｒ（ｘ）を算出する（ステップＣ２）。

【０１２４】相関値の算出法の一例を説明する。

【０１２５】ここで、画像ｉｍ１（ｔ）の横方向をＸ軸
（右向きが正）縦方向をＹ軸（下向きが正）とし、画像
のもっとも左上の画素から右にｘ番目で、下にｙ番目の
画素値をｖ１（ｘ，ｙ）とする。画像ｉｍ２（ｔ）につ
いても同様にｖ２（ｘ，ｙ）を定義する。また、画像中
央部９５は図１２に示されたように設定されているとす
る。

【０１２６】そして、画像中央部９５の座標値の集合を
Ｃとすると、相関値は ｃｏｒｒ（ｘ）＝Σ＿｛（ｔ，
ｓ）￥ｉｎ Ｃ｝｜ｖ１（ｔ−ｘ，ｓ）−ｖ２（ｔ，
ｓ）｜などと計算できる。

【０１２７】次に、信頼性判断部３４は、相関値ｃｏｒ
ｒ（ｘ）の変化がなだらかであるか否か判定する（ステ
ップＣ３）。

【０１２８】相関値ｃｏｒｒ（ｘ）がなだらかであるか
否かの判定方法の一例について説明する。相関値ｃｏｒ
ｒ（ｘ）が最大となるｘをｘ１とする。このとき、画像
中央部９５の全域において、ｃｏｒｒ（ｘ１）−ｃｏｒ
ｒ（ｘ１−ｇ）＜ｔｈｃ１かつｃｏｒｒ（ｘ１）−ｃｏ
ｒｒ（ｘ１＋ｇ）＜ｔｈｃ２ならばｃｏｒｒ（ｘ）がな
だらかであると判断し、そうでなけれななだらかでない
と判断する。

【０１２９】相関値ｃｏｒｒ（ｔ）の変化がなだらかで
なければ、距離算出部３５が、第１の撮像部３１と第２
の撮像部３２の位置関係と、相関値ｃｏｒｒ（ｘ）が最
大となるｘの値とから距離ｄ（ｔ）を求める（ステップ
Ｃ４）。距離の算出方法は従来からよく知られた方法に
よればよい。例えば、文献「３次元ビジョン」（徐、辻
著、共立出版（１９９８））などに記載された方法を用
いることで実現できる。

【０１３０】次に、距離判定部３６は、距離ｄ（ｔ）が
所定の閾値ｔｈより大きいか否か判定する（ステップＣ
５）。閾値ｔｈは、対象物（ここでは人物）のサイズ
と、レンズの焦点距離と、画像の大きさから、対象物が
画像からはみ出すであろう距離を予め算出しておいたも
のである。距離ｄ（ｔ）が閾値ｔｈ以下であれば、距離
判定部３６は、人物が画像からはみ出していると検知す
る（ステップＣ６）。

【０１３１】ステップＣ６の後、ステップＣ５において
距離ｄ（ｔ）が閾値ｔｈより大きかったとき、または、
ステップＣ３において変化がなだらかであったとき、画
像処理装置３０は、“ｔ”を１つインクリメントし（ス
テップＣ７）、ステップＣ１に戻る。

【０１３２】以上説明したように、本実施形態の画像処
理装置３０は、第１および第２の撮像部３１、３２によ
って、互いにずれた２つの画像を同時に撮影し、画像中
央部相関算出部３３によって、２つの画像の画像中央部
９５での相関値を算出し、信頼性判断部３４によって、
相関値から信頼性が高いか低いか判定し、信頼性が高い
場合に、距離算出部３５によって、ビデオカメラと人物
との距離を算出し、距離判定部３６によって、距離が近
ければ画像から人物がはみ出していると判断されるの
で、距離が近すぎることによる、画像からの人物のはみ
出しを自動的に検知することができる。

【０１３３】なお、本実施形態では、画像からのはみ出
しを検知する対象が人物である場合を例示したが、本発
明はこれに限定されるものではない。ある程度の大きさ
が想定できるものであれば、どのようなものであっても
よい。 （第４の実施形態）図１３は、本発明の第４の実施形態
の画像処理装置の構成を示すブロック図である。図１３
を参照すると、画像処理装置４０は、第１の撮像部４
１、第２の撮像部４２、小領域相関算出部４３、距離算
出部４４、最小距離選択部４５および距離判断部４６を
有している。

【０１３４】第１の撮像部４１は、例えばビデオカメラ
であり、次々と連続して画像を撮影し、撮影した画像を
デジタル化して画素毎のデータを求める。

【０１３５】第２の撮像部４２は、第１の撮像部４１と
同様、次々と連続して画像を撮影し、撮影した画像をデ
ジタル化して画素毎のデータを求める。また、第２の撮
像部４２の画像を撮影する視野は、第１の撮像部４１の
視野と重複する部分を有し、第２の撮像部４２の画像を
撮影する視野は、第１の撮像部４１の視野との相対的な
位置関係が固定されている。

【０１３６】小領域相関部４３は、第１の撮像部４１と
第２の撮像部４２からほぼ同時に得られる画像の画像中
央部９６の複数の小領域９６ａ、９６ｂ、９６ｃ、９６
ｄでのそれぞれの相関値を計算する（図１５参照）。

【０１３７】距離算出部４４は、各小領域９６ａ、９６
ｂ、９６ｃ、９６ｄについて、第１の撮像部４１と第２
の撮像部４２の位置関係と、２つの画像をずらして２つ
の画像の相関値が最大となるときのずれ量とから、各小
領域に映っている物体との距離を算出する。

【０１３８】最小距離選択部４５は、距離算出部４４で
算出された各小領域の距離のうち、最小のものを選択す
る。

【０１３９】距離判断部４６は、最小距離選択部４５で
選択された小領域の距離が所定の閾値以下であれば、距
離が近すぎて画像から人物がはみだしていると判断す
る。

【０１４０】図１４は、本実施形態の画像処理装置の動
作を示すフローチャートである。図１４を参照すると、
まず、第１および第２の撮像部４１、４２がそれぞれ画
像を撮像し、小領域相関算出部４３に送る（ステップＤ
１）。第１の撮像部４１と第２の撮像部４２とは同時に
起動されるものとし、ビデオカメラが起動してからｔ番
目に撮影された画像をそれぞれｉｍ１（ｔ）、ｉｍ２
（ｔ）とする。

【０１４１】次に、小領域相関算出部４３は、画像ｉｍ
１（ｔ）と画像ｉｍ２（ｔ）の各小領域９６ａ、９６
ｂ、９６ｃ、９６ｄでの相関値を算出し、距離算出部４
４は、各小領域９６ａ、９６ｂ、９６ｃ、９６ｄにおけ
る、ビデオカメラと物体との距離を算出する（ステップ
Ｄ２）。このとき用いられる、相関値および距離の算出
方法は第３の実施形態と同様の方法である。

【０１４２】次に、距離判定部４６は、各小領域におけ
る距離のうち、最も短いものが所定の閾値ｔｈ以下であ
るか否か判定する（ステップＤ３）。閾値ｔｈは、第３
の実施形態と同様に、対象物（ここでは人物）のサイズ
と、レンズの焦点距離と、画像の大きさから、対象物が
画像からはみ出すであろう距離を予め算出しておいたも
のである。距離が閾値ｔｈ以下であれば、距離判定部４
６は、人物が画像からはみ出していると検知する（ステ
ップＤ４）。

【０１４３】ステップＤ４の後、または、ステップＤ３
において距離が閾値ｔｈ以下でなかったとき、画像処理
装置４０は、“ｔ”を１つインクリメントし（ステップ
Ｄ５）、ステップＤ１に戻る。

【０１４４】

【発明の効果】本発明によれば、撮像手段で連続的に撮
影された画像から、フレーム間差分算出手段が、画像の
変化を示す各画素の差分を算出し、画像の上下左右の辺
に近い領域で画像の変化が大きければ、判断手段が、対
象物が画像からはみ出していると判断するので、上下左
右にずれたことにより画像から対象物がはみ出したこと
を自動的に検知することができる。

【０１４５】また、撮像手段で連続的に撮影された画像
から、フレーム間差分算出手段が、画像の変化を示す各
画素の差分を算出し、領域分割手段が、画像を複数の分
割領域に分割し、領域選択手段が、最も対象物らしい分
割領域を選択し、判断手段が、最も対象物らしい分割領
域の画像に基づいて、画像の上下左右の辺に近い領域で
画像の変化が大きければ、判断手段が、対象物が画像か
らはみ出していると判断するので、画像からの対象物の
はみ出しを自動的に確実に検知することができる。

【０１４６】また、撮像手段で撮影された画像から、距
離算出手段が、対象物である可能性の高い、その画像の
中央に撮影された物体までの距離を算出し、信頼性判断
手段が、算出された距離の信頼性を求め、その結果、信
頼性が高く、かつ、距離が近すぎるとき、判断手段が、
対象物が画像からはみ出していると判断するので、対象
物が近すぎるために画像からはみ出したことを自動的に
検知することができる。

【０１４７】また、第１および第２の撮像手段で撮影さ
れた、互いにずれた２つの画像から、画像中央部相関算
出手段が、それらの画像の相関値を算出し、距離算出手
段が、相関値により分かる２つの画像のずれ量から、対
象物までの距離を算出し、その結果、距離が近すぎると
き、判断手段が、対象物が画像からはみ出していると判
断するので、対象物が近すぎるために画像からはみ出し
たことを自動的に検知することができる。

【０１４８】また、第１および第２の撮像手段で撮影さ
れた、互いにずれた２つの画像から、画像中央部相関算
出手段が、それらの画像の相関値を算出し、距離算出手
段が、相関値により分かる２つの画像のずれ量から、画
像中央部の各小領域にある物体で、距離が最小のものを
対象物として、対象物までの距離を算出し、その結果、
距離が近すぎるとき、判断手段が、対象物が画像からは
み出していると判断するので、対象物が近すぎるために
画像からはみ出したことを自動的に確実に検知すること
ができる。

【図面の簡単な説明】

【図１】第１の実施形態の画像処理装置の構成を示すブ
ロック図である。

【図２】画像の中の上部領域を示す図である。

【図３】画像の中の左部領域を示す図である。

【図４】画像の中の右部領域を示す図である。

【図５】画像の中の下部領域を示す図である。

【図６】第１の実施形態の画像処理装置の動作を示すフ
ローチャートである。

【図７】本発明の第２の実施形態の画像処理装置の構成
を示すブロック図である。

【図８】第２の実施形態の画像処理装置の動作を示すフ
ローチャートである。

【図９】領域分割の方法について説明するための図であ
る。

【図１０】第３の実施形態の画像処理装置の構成を示す
ブロック図である。

【図１１】第３の実施形態の画像処理装置の動作を示す
フローチャートである。

【図１２】画像の中の画像中央部を示す図である。

【図１３】第４の実施形態の画像処理装置の構成を示す
ブロック図である。

【図１４】第４の実施形態の画像処理装置の動作を示す
フローチャートである。

【図１５】画像の中の画像中央部の各小領域を示す図で
ある。

【符号の説明】

１０，２０，３０ 画像処理装置 １１，２１ 撮像部 １２，２２ フレーム間差分算出部 １３，２３ 二値化部 １４，２６ 画像上部画素数部 １５，２７ 画像右部画素数カウント部 １６，２８ 画像左部画素数カウント部 １７，２９ 画像下部画素数カウント部 １８，２１０ 判断部 ２４ 領域分割部 ２５ 領域選択部 ３１，４１ 第１の撮像部 ３２，４２ 第２の撮像部 ３３ 画像中央部相関算出部 ３４ 信頼性判断部 ３５，４４ 距離算出部 ３６，４６ 距離判断部 ４３ 小領域相関算出部 ４５ 最小距離選択部 ９０ 画像 ９１ 上部領域 ９２ 左部領域 ９３ 右部領域 ９４ 下部領域 ９５，９６ 画像中央部 ９６ａ，９６ｂ，９６ｃ，９６ｄ 小領域 Ａ１〜Ａ１７，Ｂ１〜Ｂ１９，Ｃ１〜Ｃ７ ステップ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA11 BA30 CH01 CH11 DA07 DA08 DC02 5C054 AA05 CA04 CH01 FC01 FC05 FC15 FC16 GA04 GC01 GC03 GD03 5L096 CA02 GA08 GA28 GA51 HA01

Claims (42)

【特許請求の範囲】
1. 【請求項１】 撮影の対象物の画像からのはみ出しを検
   知する画像処理装置であって、 前記対象物を含む画像を連続して取得する撮像手段と、 前記撮像手段で画像が取得されると、該画像と、その直
   前に取得された少なくとも１つの画像との間の各画素の
   差分を算出するフレーム間差分算出手段と、 上辺から第１の幅に予め定められた上部領域内に、前記
   差分の値が所定値以上である画素が第１の閾値より多く
   存在すれば、前記対象物が前記画像の上にはみ出してい
   ると判断し、右辺から第２の幅に予め定められた右部領
   域内に、前記差分の値が前記所定値以上である画素が第
   ２の閾値より多く存在すれば、前記対象物が前記画像の
   右にはみ出していると判断し、左辺から第３の幅に予め
   定められた左部領域内に、前記差分の値が前記所定値以
   上である画素が第３の閾値より多く存在すれば、前記対
   象物が前記画像の左にはみ出していると判断し、下辺か
   ら第４の幅に予め定められた下部領域内に、前記差分の
   値が前記所定値以上である画素が第４の閾値より多く存
   在すれば、前記対象物が前記画像の下にはみ出している
   と判断する判断手段とを有する画像処理装置。
2. 【請求項２】 前記第１〜第４の幅、前記所定値、およ
   び前記第１〜第４の閾値が、変更可能に設定されるパラ
   メータである、請求項１に記載の画像処理装置。
3. 【請求項３】 前記フレーム間差分算出手段により得ら
   れた前記各画素の差分を所定の差分閾値で二値化する二
   値化手段と、 前記二値化手段によって前記差分閾値以上であるとされ
   た画素が、前記上部領域内にいくつあるかカウントし、
   前記判断手段に通知する画像上部画素数カウント手段
   と、 前記二値化手段によって前記差分閾値以上であるとされ
   た画素が、前記右部領域内にいくつあるかカウントし、
   前記判断手段に通知する画像右部画素数カウント手段
   と、 前記二値化手段によって前記差分閾値以上であるとされ
   た画素が、前記左部領域内にいくつあるかカウントし、
   前記判断手段に通知する画像左部画素数カウント手段
   と、 前記二値化手段によって前記差分閾値以上であるとされ
   た画素が、前記下部領域内にいくつあるかカウントし、
   前記判断手段に通知する画像下部画素数カウント手段と
   を更に有し、 前記判断手段は、前記画像上部画素数カウント手段から
   通知された値が前記第１の閾値より大きければ、前記対
   象物が前記画像の上にはみ出していると判断し、前記画
   像右部画素数カウント手段から通知された値が前記第２
   の閾値より大きければ、前記対象物が前記画像の右には
   み出していると判断し、前記画像左部画素数カウント手
   段から通知された値が前記第３の閾値より大きければ、
   前記対象物が前記画像の左にはみ出していると判断し、
   前記画像下部画素数カウント手段から通知された値が前
   記第４の閾値より大きければ、前記対象物が前記画像の
   下にはみ出していると判断する、請求項１または２記載
   の画像処理装置。
4. 【請求項４】 前記差分閾値が、変更可能に設定される
   パラメータである、請求項３記載の画像処理装置。
5. 【請求項５】 撮影の対象物の画像からのはみ出しを検
   知する画像処理装置であって、 前記対象物を含む画像を連続して取得する撮像手段と、 前記撮像手段で画像が取得されると、該画像と、その直
   前に取得された少なくとも１つの画像との間の各画素の
   差分を算出するフレーム間差分算出手段と、 前記フレーム間差分算出手段により得られた前記各画素
   の差分を所定の差分閾値で二値化する二値化手段と、 前記二値化手段で得られた、各画素の二値化された値か
   ら、前記画像を複数の分割領域に分割する領域分割手段
   と、 複数の前記分割領域の中から、最も前記対象物らしい分
   割領域を選択領域として選択する領域選択手段と、 前記二値化手段によって前記差分閾値以上であるとされ
   た画素が、上辺から第１の幅に予め定められた上部領域
   内かつ前記選択領域内にいくつあるかカウントする画像
   上部画素数カウント手段と、 前記二値化手段によって前記差分閾値以上であるとされ
   た画素が、右辺から第２の幅に予め定められた右部領域
   内かつ前記選択領域内にいくつあるかカウントする画像
   右部画素数カウント手段と、 前記二値化手段によって前記差分閾値以上であるとされ
   た画素が、左辺から第３の幅に予め定められた左部領域
   内かつ前記選択領域内にいくつあるかカウントする画像
   左部画素数カウント手段と、 前記二値化手段によって前記差分閾値以上であるとされ
   た画素が、下辺から第４の幅に予め定められた下部領域
   内かつ前記選択領域内にいくつあるかカウントする画像
   下部画素数カウント手段と、 前記画像上部画素数カウント手段により得られたカウン
   ト値が第１の閾値より大きければ、前記対象物が前記画
   像の上にはみ出していると判断し、前記画像右部画素数
   カウント手段により得られたカウント値が第２の閾値よ
   り大きければ、前記対象物が前記画像の右にはみ出して
   いると判断し、前記画像左部画素数カウント手段により
   得られたカウント値が第３の閾値より大きければ、前記
   対象物が前記画像の左にはみ出していると判断し、前記
   画像下部画素数カウント手段により得られたカウント値
   が第４の閾値寄り大きければ、前記対象物が前記画像の
   下にはみ出していると判断する判断手段とを有する画像
   処理装置。
6. 【請求項６】 前記差分閾値、前記第１〜第４の幅、お
   よび前記第１〜第４の閾値が、変更可能に設定されるパ
   ラメータである、請求項５記載の画像処理装置。
7. 【請求項７】 撮影の対象物の画像からのはみ出しを検
   知する画像処理装置であって、 前記対象物を含む画像を取得する撮像手段と、 前記撮像手段で画像が取得されると、前記撮像手段か
   ら、該画像の画像中央部に映っている物体までの距離を
   算出する距離算出手段と、 前記距離算出手段で求められる距離の信頼性が所定値以
   上に高いか否か判定する信頼性判断手段と、 前記距離算出手段で得られた前記距離が所定の閾値以下
   であり、かつ前記信頼性判断手段で信頼性が高いと判断
   されると、前記画像から前記対象物がはみ出していると
   判断する距離判断手段とを有する画像処理装置。
8. 【請求項８】 前記所定値および前記閾値が、変更可能
   に設定されるパラメータである、請求項７記載の画像処
   理装置。
9. 【請求項９】 撮影の対象物の画像からのはみ出しを検
   知する画像処理装置であって、 前記対象物を含む画像を取得する第１の撮像手段と、 前記対象物を含み、前記第１の撮像手段で取得される画
   像とずれた画像を、前記第１の撮像手段と同時に取得す
   る第２の撮像手段と、 前記第１の撮像手段と前記第２の撮像手段で同時に得ら
   れた画像の画像中央部での相関値を算出する画像中央部
   相関算出手段と、 前記画像中央部相関算出手段で得られた前記相関値の変
   化が所定の変化率より大きければ、信頼性が高いと判断
   する信頼性判断手段と、 前記第１の撮像手段と前記第２の撮像手段の位置関係
   と、２つの画像をずらして２つの画像の相関値が最大と
   なるときのずれ量から、前記画像中央部に映っている物
   体との距離を算出する距離算出手段と、 前記距離算出手段で得られた距離が所定の閾値以下であ
   り、かつ前記信頼性判断手段で信頼性が高いと判断され
   ると、前記画像から前記対象物がはみ出していると判断
   する距離判断手段とを有する画像処理装置。
10. 【請求項１０】 前記変化率および前記閾値が、変更可
    能に設定されるパラメータである、請求項９記載の画像
    処理装置。
11. 【請求項１１】 撮影の対象物の画像からのはみ出しを
    検知する画像処理装置であって、 前記対象物を含む画像を取得する第１の撮像手段と、 前記対象物を含み、前記第１の撮像手段で取得される画
    像とずれた画像を、前記第１の撮像手段と同時に取得す
    る第２の撮像手段と、 前記第１の撮像手段と前記第２の撮像手段で同時に得ら
    れた画像の画像中央部の複数の小領域でのそれぞれの相
    関値を算出する小領域相関算出手段と、 前記第１の撮像手段と前記第２の撮像手段の位置関係
    と、２つの画像をずらした２つの画像の相関値が最大と
    なるときのずれ量から、前記各小領域に映っている物体
    までの距離をそれぞれ算出する距離算出手段と、 前記距離算出手段により算出された、前記各小領域にお
    ける距離のうち最小のものを選択する最小距離選択手段
    と、 前記最小距離選択手段で得られた最小の距離が所定の閾
    値以下であれば、前記画像から前記対象物がはみ出して
    いると判断する距離判断手段とを有する画像処理装置。
12. 【請求項１２】 前記閾値が、変更可能に設定されるパ
    ラメータである、請求項１１記載の画像処理装置。
13. 【請求項１３】 前記対象物が人物である、請求項１〜
    １２のいずれか１項に記載の画像処理装置。
14. 【請求項１４】 前記対象物が人物の顔である、請求項
    １〜１２のいずれか１項に記載の画像処理装置。
15. 【請求項１５】 撮像手段により連続して取得される画
    像からの撮影の対象物のはみ出しを検知する画像処理装
    置のはみ出し検知方法であって、 前記撮像手段で画像が取得されると、該画像と、その直
    前に取得された少なくとも１つの画像との間の各画素の
    差分を算出するステップと、 上辺から第１の幅に予め定められた上部領域内に、前記
    差分の値が所定値以上である画素が第１の閾値より多く
    存在すれば、前記対象物が前記画像の上にはみ出してい
    ると判断するステップと、 右辺から第２の幅に予め定められた右部領域内に、前記
    差分の値が前記所定値以上である画素が第２の閾値より
    多く存在すれば、前記対象物が前記画像の右にはみ出し
    ていると判断するステップと、 左辺から第３の幅に予め定められた左部領域内に、前記
    差分の値が前記所定値以上である画素が第３の閾値より
    多く存在すれば、前記対象物が前記画像の左にはみ出し
    ていると判断するステップと、 下辺から第４の幅に予め定められた下部領域内に、前記
    差分の値が前記所定値以上である画素が第４の閾値より
    多く存在すれば、前記対象物が前記画像の下にはみ出し
    ていると判断するステップとを有するはみ出し検知方
    法。
16. 【請求項１６】 前記第１〜第４の幅、前記所定値、お
    よび前記第１〜第４の閾値が、変更可能に設定されるパ
    ラメータである、請求項１５に記載のはみ出し検知方
    法。
17. 【請求項１７】 前記各画素の差分を所定の差分閾値で
    二値化するステップと、 前記二値化によって前記差分閾値以上であるとされた画
    素が、前記上部領域内にいくつあるかカウントするステ
    ップと、 前記二値化によって前記差分閾値以上であるとされた画
    素が、前記右部領域内にいくつあるかカウントするステ
    ップと、 前記二値化によって前記差分閾値以上であるとされた画
    素が、前記左部領域内にいくつあるかカウントするステ
    ップと、 前記二値化によって前記差分閾値以上であるとされた画
    素が、前記下部領域内にいくつあるかカウントするステ
    ップをさらに有し、 前記上部領域のカウント値が前記第１の閾値より大きけ
    れば、前記対象物が前記画像の上にはみ出していると判
    断し、 前記右部領域のカウント値が前記第２の閾値より大きけ
    れば、前記対象物が前記画像の右にはみ出していると判
    断し、 前記左部領域のカウント値が前記第３の閾値より大きけ
    れば、前記対象物が前記画像の左にはみ出していると判
    断し、 前記下部領域のカウント値が前記第４の閾値より大きけ
    れば、前記対象物が前記画像の下にはみ出していると判
    断する、請求項１５または１６記載のはみ出し検知方
    法。
18. 【請求項１８】 前記差分閾値が、変更可能に設定され
    るパラメータである、請求項１７記載のはみ出し検知方
    法。
19. 【請求項１９】 撮像手段により連続して取得される画
    像からの撮影の対象物のはみ出しを検知する画像処理装
    置のはみ出し検知方法であって、 前記撮像手段で画像が取得されると、該画像と、その直
    前に取得された少なくとも１つの画像との間の各画素の
    差分を算出するステップと、 前記各画素の差分を所定の差分閾値で二値化するステッ
    プと、 各画素の二値化された値から、前記画像を複数の分割領
    域に分割するステップと、 複数の前記分割領域の中から、最も前記対象物らしい分
    割領域を選択領域として選択するステップと、 前記二値化によって前記差分閾値以上であるとされた画
    素が、上辺から第１の幅に予め定められた上部領域内か
    つ前記選択領域内にいくつあるかカウントするステップ
    と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、右辺から第２の幅に予め定められた右部領域内か
    つ前記選択領域内にいくつあるかカウントするステップ
    と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、左辺から第３の幅に予め定められた左部領域内か
    つ前記選択領域内にいくつあるかカウントするステップ
    と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、下辺から第４の幅に予め定められた下部領域内か
    つ前記選択領域内にいくつあるかカウントするステップ
    と、 前記上部領域のカウント値が第１の閾値より大きけれ
    ば、前記対象物が前記画像の上にはみ出していると判断
    するステップと、 前記右部領域のカウント値が第２の閾値より大きけれ
    ば、前記対象物が前記画像の右にはみ出していると判断
    するステップと、 前記左部領域のカウント値が第３の閾値より大きけれ
    ば、前記対象物が前記画像の左にはみ出していると判断
    するステップと、 前記下部領域のカウント値が第４の閾値より大きけれ
    ば、前記対象物が前記画像の下にはみ出していると判断
    するステップとを有するはみ出し検知方法。
20. 【請求項２０】 前記差分閾値、前記第１〜第４の幅、
    および前記第１〜第４の閾値が、変更可能に設定される
    パラメータである、請求項１９記載のはみ出し検知方
    法。
21. 【請求項２１】 撮像手段により連続して取得される画
    像からの撮影の対象物のはみ出しを検知する画像処理装
    置のはみ出し検知方法であって、 前記撮像手段で画像が取得されると、前記撮像手段か
    ら、該画像の画像中央部に映っている物体までの距離を
    算出するステップと、 前記距離の信頼性が所定値以上に高いか否か判定するス
    テップと、 前記距離が所定の閾値以下であり、かつ信頼性が高いと
    判断されると、前記画像から前記対象物がはみ出してい
    ると判断するステップを有するはみ出し検知方法。
22. 【請求項２２】 前記所定値および前記閾値が、変更可
    能に設定されるパラメータである、請求項２１記載のは
    み出し検知方法。
23. 【請求項２３】 第１の撮像手段により連続して取得さ
    れる画像と、前記第１の撮像手段で取得される画像とず
    れた画像を前記第１の撮像手段と同時に取得する第２の
    撮像手段により取得される画像とを用いて、撮影の対象
    物の画像からのはみ出しを検知する画像処理装置のはみ
    出し検知方法であって、 前記第１の撮像手段と前記第２の撮像手段で同時に得ら
    れた画像の画像中央部での相関値を算出するステップ
    と、 前記相関値の変化が所定の変化率より大きければ、信頼
    性が高いと判断するステップと、 前記第１の撮像手段と前記第２の撮像手段の位置関係
    と、２つの画像をずらして２つの画像の相関値が最大と
    なるときのずれ量から、前記画像中央部に映っている物
    体との距離を算出するステップと、 前記距離が所定の閾値以下であり、かつ信頼性が高いと
    判断されると、前記画像から前記対象物がはみ出してい
    ると判断するステップとを有するはみ出し検知方法。
24. 【請求項２４】 前記変化率および前記閾値が、変更可
    能に設定されるパラメータである、請求項２３記載のは
    み出し検知方法。
25. 【請求項２５】 第１の撮像手段により連続して取得さ
    れる画像と、前記第１の撮像手段で取得される画像とず
    れた画像を前記第１の撮像手段と同時に取得する第２の
    撮像手段により取得される画像とを用いて、撮影の対象
    物の画像からのはみ出しを検知する画像処理装置のはみ
    出し検知方法であって、 前記第１の撮像手段と前記第２の撮像手段で同時に得ら
    れた画像の画像中央部の複数の小領域でのそれぞれの相
    関値を算出するステップと、 前記第１の撮像手段と前記第２の撮像手段の位置関係
    と、２つの画像をずらした２つの画像の相関値が最大と
    なるときのずれ量から、前記各小領域に映っている物体
    までの距離をそれぞれ算出するステップと、 前記各小領域における距離のうち最小のものを選択する
    ステップと、 選択された最小の距離が所定の閾値以下であれば、前記
    画像から前記対象物がはみ出していると判断するステッ
    プとを有するはみ出し検知方法。
26. 【請求項２６】 前記閾値が、変更可能に設定されるパ
    ラメータである、請求項２５記載のはみ出し検知方法。
27. 【請求項２７】 前記対象物が人物である、請求項１５
    〜２６のいずれか１項に記載のはみ出し検知方法。
28. 【請求項２８】 前記対象物が人物の顔である、請求項
    １５〜２６のいずれか１項に記載のはみ出し検知方法。
29. 【請求項２９】 撮像手段により連続して取得される画
    像からの撮影の対象物のはみ出しを検知するコンピュー
    タに実行させるためのはみ出し検知プログラムであっ
    て、 前記撮像手段で画像が取得されると、該画像と、その直
    前に取得された少なくとも１つの画像との間の各画素の
    差分を算出する処理と、 上辺から第１の幅に予め定められた上部領域内に、前記
    差分の値が所定値以上である画素が第１の閾値より多く
    存在すれば、前記対象物が前記画像の上にはみ出してい
    ると判断する処理と、 右辺から第２の幅に予め定められた右部領域内に、前記
    差分の値が前記所定値以上である画素が第２の閾値より
    多く存在すれば、前記対象物が前記画像の右にはみ出し
    ていると判断する処理と、 左辺から第３の幅に予め定められた左部領域内に、前記
    差分の値が前記所定値以上である画素が第３の閾値より
    多く存在すれば、前記対象物が前記画像の左にはみ出し
    ていると判断する処理と、 下辺から第４の幅に予め定められた下部領域内に、前記
    差分の値が前記所定値以上である画素が第４の閾値より
    多く存在すれば、前記対象物が前記画像の下にはみ出し
    ていると判断する処理とを有するはみ出し検知プログラ
    ム。
30. 【請求項３０】 前記第１〜第４の幅、前記所定値、お
    よび前記第１〜第４の閾値が、変更可能に設定されるパ
    ラメータである、請求項２９に記載のはみ出し検知プロ
    グラム。
31. 【請求項３１】 前記各画素の差分を所定の差分閾値で
    二値化する処理と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、前記上部領域内にいくつあるかカウントする処理
    と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、前記右部領域内にいくつあるかカウントする処理
    と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、前記左部領域内にいくつあるかカウントする処理
    と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、前記下部領域内にいくつあるかカウントする処理
    をさらに有し、 前記上部領域のカウント値が前記第１の閾値より大きけ
    れば、前記対象物が前記画像の上にはみ出していると判
    断し、 前記右部領域のカウント値が前記第２の閾値より大きけ
    れば、前記対象物が前記画像の右にはみ出していると判
    断し、 前記左部領域のカウント値が前記第３の閾値より大きけ
    れば、前記対象物が前記画像の左にはみ出していると判
    断し、 前記下部領域のカウント値が前記第４の閾値より大きけ
    れば、前記対象物が前記画像の下にはみ出していると判
    断する、請求項２９または３０記載のはみ出し検知プロ
    グラム。
32. 【請求項３２】 前記差分閾値が、変更可能に設定され
    るパラメータである、請求項３１記載のはみ出し検知プ
    ログラム。
33. 【請求項３３】 撮像手段により連続して取得される画
    像からの撮影の対象物のはみ出しを検知するコンピュー
    タに実行させるためのはみ出し検知プログラムであっ
    て、 前記撮像手段で画像が取得されると、該画像と、その直
    前に取得された少なくとも１つの画像との間の各画素の
    差分を算出する処理と、 前記各画素の差分を所定の差分閾値で二値化する処理
    と、 各画素の二値化された値から、前記画像を複数の分割領
    域に分割する処理と、 複数の前記分割領域の中から、最も前記対象物らしい分
    割領域を選択領域として選択する処理と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、上辺から第１の幅に予め定められた上部領域内か
    つ前記選択領域内にいくつあるかカウントする処理と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、右辺から第２の幅に予め定められた右部領域内か
    つ前記選択領域内にいくつあるかカウントする処理と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、左辺から第３の幅に予め定められた左部領域内か
    つ前記選択領域内にいくつあるかカウントする処理と、 前記二値化によって前記差分閾値以上であるとされた画
    素が、下辺から第４の幅に予め定められた下部領域内か
    つ前記選択領域内にいくつあるかカウントする処理と、 前記上部領域のカウント値が第１の閾値より大きけれ
    ば、前記対象物が前記画像の上にはみ出していると判断
    する処理と、 前記右部領域のカウント値が第２の閾値より大きけれ
    ば、前記対象物が前記画像の右にはみ出していると判断
    する処理と、 前記左部領域のカウント値が第３の閾値より大きけれ
    ば、前記対象物が前記画像の左にはみ出していると判断
    する処理と、 前記下部領域のカウント値が第４の閾値より大きけれ
    ば、前記対象物が前記画像の下にはみ出していると判断
    する処理とを有するはみ出し検知プログラム。
34. 【請求項３４】 前記差分閾値、前記第１〜第４の幅、
    および前記第１〜第４の閾値が、変更可能に設定される
    パラメータである、請求項３３記載のはみ出し検知プロ
    グラム。
35. 【請求項３５】 撮像手段により連続して取得される画
    像からの撮影の対象物のはみ出しを検知するコンピュー
    タに実行させるためのはみ出し検知プログラムであっ
    て、 前記撮像手段で画像が取得されると、前記撮像手段か
    ら、該画像の画像中央部に映っている物体までの距離を
    算出する処理と、 前記距離の信頼性が所定値以上に高いか否か判定する処
    理と、 前記距離が所定の閾値以下であり、かつ信頼性が高いと
    判断されると、前記画像から前記対象物がはみ出してい
    ると判断する処理を有するはみ出し検知プログラム。
36. 【請求項３６】 前記所定値および前記閾値が、変更可
    能に設定されるパラメータである、請求項３５記載のは
    み出し検知プログラム。
37. 【請求項３７】 第１の撮像手段により連続して取得さ
    れる画像と、前記第１の撮像手段で取得される画像とず
    れた画像を前記第１の撮像手段と同時に取得する第２の
    撮像手段により取得される画像とを用いて、撮影の対象
    物の画像からのはみ出しを検知するコンピュータに実行
    させるためのはみ出し検知プログラムであって、 前記第１の撮像手段と前記第２の撮像手段で同時に得ら
    れた画像の画像中央部での相関値を算出する処理と、 前記相関値の変化が所定の変化率より大きければ、信頼
    性が高いと判断する処理と、 前記第１の撮像手段と前記第２の撮像手段の位置関係
    と、２つの画像をずらして２つの画像の相関値が最大と
    なるときのずれ量から、前記画像中央部に映っている物
    体との距離を算出する処理と、 前記距離が所定の閾値以下であり、かつ信頼性が高いと
    判断されると、前記画像から前記対象物がはみ出してい
    ると判断する処理とを有するはみ出し検知プログラム。
38. 【請求項３８】 前記変化率および前記閾値が、変更可
    能に設定されるパラメータである、請求項３７記載のは
    み出し検知プログラム。
39. 【請求項３９】 第１の撮像手段により連続して取得さ
    れる画像と、前記第１の撮像手段で取得される画像とず
    れた画像を前記第１の撮像手段と同時に取得する第２の
    撮像手段により取得される画像とを用いて、撮影の対象
    物の画像からのはみ出しを検知するコンピュータに実行
    させるためのはみ出し検知プログラムであって、 前記第１の撮像手段と前記第２の撮像手段で同時に得ら
    れた画像の画像中央部の複数の小領域でのそれぞれの相
    関値を算出する処理と、 前記第１の撮像手段と前記第２の撮像手段の位置関係
    と、２つの画像をずらした２つの画像の相関値が最大と
    なるときのずれ量から、前記各小領域に映っている物体
    までの距離をそれぞれ算出する処理と、 前記各小領域における距離のうち最小のものを選択する
    処理と、 選択された最小の距離が所定の閾値以下であれば、前記
    画像から前記対象物がはみ出していると判断する処理と
    を有するはみ出し検知プログラム。
40. 【請求項４０】 前記閾値が、変更可能に設定されるパ
    ラメータである、請求項３９記載のはみ出し検知プログ
    ラム。
41. 【請求項４１】 前記対象物が人物である、請求項２９
    〜４０のいずれか１項に記載のはみ出し検知プログラ
    ム。
42. 【請求項４２】 前記対象物が人物の顔である、請求項
    ２９〜４０のいずれか１項に記載のはみ出し検知プログ
    ラム。