JP2008203927A - 動画像処理装置及び動画像処理方法 - Google Patents
動画像処理装置及び動画像処理方法 Download PDFInfo
- Publication number
- JP2008203927A JP2008203927A JP2007036070A JP2007036070A JP2008203927A JP 2008203927 A JP2008203927 A JP 2008203927A JP 2007036070 A JP2007036070 A JP 2007036070A JP 2007036070 A JP2007036070 A JP 2007036070A JP 2008203927 A JP2008203927 A JP 2008203927A
- Authority
- JP
- Japan
- Prior art keywords
- image
- contour
- center
- contour image
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から対象物の輪郭画像を差分抽出する輪郭画像抽出手段21と、輪郭画像の重心を求める重心算出手段26と、この重心から延びる複数本の直線により輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割手段23と、それぞれの部分輪郭画像の中心を当該部分輪郭画像の代表点として算出する部分輪郭画像代表点算出手段24と、算出された代表点を結んで対象物の輪郭線を生成する輪郭線生成手段25とを備える。フレーム間差分で得られた不完全な輪郭画像からでも、移動体の輪郭線を高精度に生成することができる。
【選択図】図1
Description
また、スーパーマーケットの入口等の天井にテレビカメラを設置して、その画像から客の数や客の流れを解析することも行われている(下記特許文献2)。
このように動画像から移動対象物を認識する場合は、通常「背景差分」または「フレーム間差分」を取ることで移動体の抽出が行われる。
しかし、フレーム間の差分画像には、移動体の動き方によって、その移動体の完全な輪郭線が現れない場合がある。
図11は、この状況を模式的に示している。図11(a)は、移動体100を撮影した動画像の時刻t(n)におけるフレーム画像であり、図11(b)は、時刻t(n)に続く時刻t(n+1)におけるフレーム画像であり、また、図11(c)は、両方のフレーム画像の差分を取った差分画像である。この差分画像には、移動体100の一部の輪郭しか現れていない。
そのため、この差分画像を画像認識に用いた場合は、高い認識精度が得られない。
この動画像処理装置は、フレーム間差分で得られた輪郭画像を複数の部分輪郭画像に分割し、各部分輪郭画像の代表点を結んで移動体の輪郭線を生成する。
この場合、部分輪郭画像を構成する各画素の極座標における角度は、その部分輪郭画像に対して規定された角度範囲に含まれることになる。
また、本発明の動画像処理装置では、前記部分輪郭画像代表点算出手段が、前記代表点をそれぞれの前記部分輪郭画像の重心に設定しても良い。
こうすることで、信頼性の低いデータを除去することができる。
この場合、連続するフレーム画像の撮影間隔は短いので、その間に対象物の重心が輪郭線の外に出ることは有り得ないし、また、その輪郭線の中に他の移動体の重心が入り込むことも有り得ない。
対象物を真上から見る場合は、対象物の輪郭線の交差が発生しにくいため、簡単なアルゴリズムで対象物の輪郭線の生成が可能になる。
対象物の輪郭線や軌跡を利用して、対象物を自動識別することができる。
対象物の輪郭線や軌跡を利用して、対象物が一般の人であるか、車椅子利用者であるかを自動識別することができる。
この場合、車椅子利用者は、エレベータの車椅子ボタンを押す必要が無くなり、車椅子ボタンを廃止することができる。
この動画像処理方法では、フレーム間差分で得られた輪郭画像を複数の部分輪郭画像に分割し、各部分輪郭画像の代表点を結んで移動体の輪郭線を生成する。
こうすることで、対象物の輪郭線を、簡単なアルゴリズムで、且つ、高い精度で得ることができる。
図1は、この装置の構成を示すブロック図であり、図2及び図3は、この装置の動作を示すフロー図である。
この装置は、撮像手段10で撮影された動画像のフレーム画像を一時的に格納する画像メモリ30と、フレーム画像の差分処理を実施して輪郭画像を抽出する輪郭画像抽出部21と、輪郭画像を移動体毎に分離する対象物輪郭画像切出し部22と、個々の移動体の輪郭画像を複数の部分輪郭画像に分割する輪郭画像分割部23と、各部分輪郭画像の代表点を設定する部分輪郭画像代表点算出部24と、この代表点を結んで移動体の輪郭線を生成する輪郭線生成部25と、各移動体の輪郭画像の重心を算出する重心算出部26と、各移動体の重心の軌跡を求める重心軌跡算出部27と、輪郭線や重心軌跡に基づいて移動体を識別する対象物識別部28とを備えている。また、輪郭画像分割部23は、輪郭画像の画素を極座標で表示する極座標変換部231と、極座標の中心周りの角度を等分割して部分輪郭画像の角度範囲を規定する輪郭画像等角度分割部232とを有している。
なお、この装置の輪郭画像抽出部21、対象物輪郭画像切出し部22、輪郭画像分割部23、極座標変換部231、輪郭画像等角度分割部232、部分輪郭画像代表点算出部24、輪郭線生成部25、重心算出部26、重心軌跡算出部27及び対象物識別部28は、コンピュータがプログラムで規定された処理を行うことにより実現される。
撮像手段10は、エレベータ乗場の天井等、移動体の移動平面の上方に設置され、監視領域を移動する移動体を真上から撮影する。図4は、撮像手段10で撮影された画像を例示している。この監視領域の広さは約5m×4mであり、撮像手段10は、この監視領域の動画像を、解像度(画素数):640×480、毎秒のフレーム画像数:30fpsの状態で撮影している。
撮像手段10で撮影されたフレーム画像は、輪郭画像抽出部21に送られ、また、画像メモリ30に送られて、画像メモリ30に格納されたフレーム画像が更新される。
具体的には、フレーム画像I(i)の(m,n)位置の画素における輝度をPm,n(i)、フレーム画像I(i−1)の同位置の画素における輝度をPm,n(i−1)、また、閾値をαとするとき、
|Pm,n(i)−Pm,n(i−1)|>α
の場合に、(m,n)位置の画素の値を1に、
|Pm,n(i)−Pm,n(i−1)|≦α
の場合に、(m,n)位置の画素の値を0に設定した2値の差分画像を生成する。
この差分画像には、エレベータ乗場に居合わせた複数の人や車椅子の輪郭画像が含まれる。対象物輪郭画像切出し部22は、この差分画像から適宜の手段で移動体毎の輪郭画像を切出す(ステップ3)。
また、実際に抽出した人の輪郭画像を図8(a)に示し、車椅子の輪郭画像を図9(a)に示している。
具体的には、着目する移動体の輪郭画像を構成する値1の画素の位置を(xi,yi)、その画素数をN、重心Gの位置を(x0,y0)とするとき、
x0=(Σxi)/N (Σは、i=1からNまで加算)
y0=(Σyi)/N (Σは、i=1からNまで加算)
により重心G(x0,y0)を算出する。
この極座標変換は、次式によって行われる。
di={(xi−x0)2+(yi−y0)2}1/2
θi=tan-1{(yi−y0)/(xi−x0)}
図5(b)は、図5(a)の輪郭画像を構成する画素の分布図であり、縦軸は極座標の長さdを表し、横軸は極座標の角度θを表している。
区分線で区画された輪郭画像の各々を「部分輪郭画像」と呼ぶことにする。部分輪郭画像代表点算出部24は、各部分輪郭画像の代表点を次のように算出する(ステップ7)。
部分輪郭画像代表点算出部24は、まず、画素数Mを予め決められた閾値βと比較し、
M<β
であるとき、即ち、画素数が少なく、部分輪郭画像の信頼性が低い場合は、その部分輪郭画像kの代表点の算出を中止する。一方、
M≧β
であるときは、部分輪郭画像kの代表点k(dk,θk)を次のように設定する。
dk=(Σdki)/M (Σは、i=1からMまで加算)
θk=(θi+θi+1)/2
あるいは、部分輪郭画像kの重心を部分輪郭画像kの代表点k(dk,θk)としても良い。この場合、dk、θkは次のようになる。
dk=(Σdki)/M (Σは、i=1からMまで加算)
θk=(Σθki)/M (Σは、i=1からMまで加算)
図7には、輪郭画像を構成する画素の分布図の上に、こうして求めた輪郭線40を重ねて描いている。
また、図8(b)には、人の輪郭画像を構成する画素の分布と輪郭線41とを示し、図8(c)では、この輪郭線41を、一周する輪郭線41の形で、人の画像の上に描いている。
また、図9(b)には、車椅子の輪郭画像を構成する画素の分布と輪郭線42とを示し、図9(c)では、この輪郭線42を、一周する輪郭線42の形で、車椅子の画像の上に描いている。
なお、図8(b)及び図9(b)の輪郭線41、42は、重心Gの周りを10°の角度に等分割して輪郭画像の部分輪郭画像を設定し、θ=10°毎にdkiの移動平均を求めて代表点のdkを算出し、この代表点を繋いだものである。
この場合、連続するフレーム画像の撮影間隔は短いので、重心算出部26が、新たなフレーム画像の入力時に算出した輪郭画像の重心Gは、その前のフレーム画像に基づいて輪郭線生成部25が生成した輪郭線の中に位置している。ステップ10では、その点を確かめて、重心の軌跡を延長している。この方法で、容易且つ確実に移動体の軌跡を追跡することができる。
図8(c)には、こうして求めた人の軌跡43を輪郭線41と共に描いている。また、図9(c)には、車椅子の軌跡44を輪郭線42と共に描いている。
図10は、人及び車椅子のそれぞれの画像から輪郭線及び軌跡を求め、輪郭線で囲まれた領域の面積S、この領域の長軸と短軸との比r、軌跡の速度v、及び、輪郭線で囲まれた領域の進行方向の長さと直角方向の長さとの比rfを測定した結果を示している。
この測定結果から、輪郭線の面積S、及び、進行方向と直角方向の長さ比rfが、人と車椅子とを識別する特徴量に成り得ることが分かる。
即ち、輪郭線生成部25が生成した輪郭線の内部の面積Sを算出し(ステップ20)、面積Sが閾値a1より大きいか否かを識別し(ステップ21)、大きければ車椅子と判定し(ステップ22)、大きくなければ人と判定する(ステップ22)。
また、対象物識別部28は、進行方向と直角方向の長さ比rfを特徴量とする場合に、図3(b)の手順で人と車椅子とを識別する。
即ち、重心軌道算出部27が求めた軌跡方向の輪郭線領域の長さL1を算出し(ステップ30)、軌跡方向と直角方向の輪郭線領域の長さL2を算出し(ステップ31)、L1/L2が閾値a2より大きいか否かを識別し(ステップ32)、大きければ車椅子と判定し(ステップ33)、大きくなければ人と判定する(ステップ34)。
対象物識別部28の識別結果をエレベータの管理装置に伝達し、この識別結果に基づいてエレベータの運行を制御するようにすれば、車椅子利用者は、現在、エレベータに設置されている車椅子ボタンを押す必要が無くなる。惹いては、この車椅子ボタンを廃止することが可能になる。
そして、この高精度な輪郭線や軌跡から画像識別の特徴量を求めることにより、画像識別の精度が向上する。
また、ここでは、部分輪郭画像を設定するために重心Gの周囲を等角度で分割しているが、分割の角度は、全てが等角度である必要はない。
また、部分輪郭画像の代表点は、ここで例示した方法以外の方法で求めても良い。
21 輪郭画像抽出部
22 対象物輪郭画像切出し部
23 輪郭画像分割部
24 部分輪郭画像代表点算出部
25 輪郭線生成部
26 重心算出部
27 重心軌跡算出部
28 対象物識別部
30 画像メモリ
40 輪郭線
41 人の輪郭線
42 車椅子の輪郭線
43 人の軌跡
44 車椅子の軌跡
100 移動体
231 極座標変換部
232 輪郭画像等角度分割部
Claims (12)
- 移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から前記対象物の輪郭画像を差分抽出する輪郭画像抽出手段と、
前記輪郭画像の重心を求める重心算出手段と、
前記重心から延びる複数本の直線により前記輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割手段と、
それぞれの前記部分輪郭画像の中心を当該部分輪郭画像の代表点として算出する部分輪郭画像代表点算出手段と、
算出された前記代表点を結んで前記対象物の輪郭線を生成する輪郭線生成手段と、
を備えることを特徴とする動画像処理装置。 - 請求項1に記載の動画像処理装置であって、前記輪郭画像分割手段が、前記輪郭画像を構成する各画素を、前記重心を中心とする極座標で表し、前記極座標の角度範囲によって前記部分輪郭画像を規定することを特徴とする動画像処理装置。
- 請求項2に記載の動画像処理装置であって、前記部分輪郭画像代表点算出手段が、前記部分輪郭画像の代表点の極座標における角度を、当該部分輪郭画像に対して規定された前記角度範囲の中心角度に設定し、前記代表点の極座標における中心からの距離を、当該部分輪郭画像を構成する各画素の中心からの距離の平均距離に設定することを特徴とする動画像処理装置。
- 請求項1または2に記載の動画像処理装置であって、前記部分輪郭画像代表点算出手段が、前記代表点をそれぞれの前記部分輪郭画像の重心に設定することを特徴とする動画像処理装置。
- 請求項1から4のいずれかに記載の動画像処理装置であって、前記部分輪郭画像代表点算出手段は、前記部分輪郭画像を構成する画素数が予め定めた閾値より少ない部分輪郭画像に関して、前記代表点の算出を行わないことを特徴とする動画像処理装置。
- 請求項1に記載の動画像処理装置であって、さらに、前記対象物の重心の軌跡を算出する重心軌跡算出手段を備え、前記重心軌跡算出手段は、時系列的に連続する前記フレーム画像の前のフレーム画像に基づいて前記輪郭線生成手段が生成した前記対象物の輪郭線の中に、次のフレーム画像に基づいて前記重心算出手段が算出した前記輪郭画像の重心が存在するとき、当該重心の位置を前記対象物の重心の軌跡に加えることを特徴とする動画像処理装置。
- 請求項1に記載の動画像処理装置であって、前記動画像を撮影する撮像手段が、前記対象物の移動平面の上部にあって、前記対象物を真上から撮影した前記動画像が前記輪郭画像抽出手段に送られることを特徴とする動画像処理装置。
- 請求項1から7のいずれかに記載の動画像処理装置であって、さらに、前記対象物を識別する対象物識別手段を備え、前記対象物識別手段は、前記輪郭線生成手段が生成した輪郭線の面積もしくは長軸・短軸比、または、前記重心軌跡算出手段が算出した前記軌跡の方向における前記輪郭線の長さと当該方向に直角な方向における前記輪郭線の長さとの比に基づいて、前記対象物を識別することを特徴とする動画像処理装置。
- 請求項8に記載の動画像処理装置であって、前記対象物識別手段が、前記動画像に基づいて一般の人と車椅子利用者とを識別することを特徴とする動画像処理装置。
- 請求項9に記載の動画像処理装置であって、前記撮像手段がエレベータ乗場の天井またはエレベータのかごの天井に設置され、前記対象物識別手段による識別情報がエレベータの管理装置に伝達され、前記識別情報に基づいてエレベータの運行管理が制御されることを特徴とする動画像処理装置。
- 移動する対象物を撮影した動画像の時系列的に連続するフレーム画像から前記対象物の輪郭画像を差分抽出する輪郭画像抽出ステップと、
前記輪郭画像の重心を求める重心算出ステップと、
前記重心から延びる複数本の直線により前記輪郭画像を複数個の部分輪郭画像に分割する輪郭画像分割ステップと、
それぞれの前記部分輪郭画像の中心を当該部分輪郭画像の代表点として算出する部分輪郭画像代表点算出ステップと、
算出された前記代表点を結んで前記対象物の輪郭線を生成する輪郭線生成ステップと、
を備えることを特徴とする動画像処理方法。 - 請求項11に記載の動画像処理方法であって、
前記輪郭画像分割ステップでは、前記輪郭画像を構成する各画素を、前記重心を中心とする極座標で表し、前記極座標の角度範囲によって前記部分輪郭画像を規定し、
前記部分輪郭画像代表点算出ステップでは、前記部分輪郭画像の代表点の極座標における角度を、当該部分輪郭画像に対して規定した前記角度範囲の中心角度に設定するとともに、前記代表点の中心からの距離を、当該部分輪郭画像を構成する各画素の中心からの距離の平均距離に設定し、
前記部分輪郭画像を構成する画素数が予め定めた閾値より少ない部分輪郭画像に関しては、前記代表点の算出を行わないことを特徴とする動画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007036070A JP4552018B2 (ja) | 2007-02-16 | 2007-02-16 | 動画像処理装置及び動画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007036070A JP4552018B2 (ja) | 2007-02-16 | 2007-02-16 | 動画像処理装置及び動画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008203927A true JP2008203927A (ja) | 2008-09-04 |
JP4552018B2 JP4552018B2 (ja) | 2010-09-29 |
Family
ID=39781412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007036070A Active JP4552018B2 (ja) | 2007-02-16 | 2007-02-16 | 動画像処理装置及び動画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4552018B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011095864A (ja) * | 2009-10-27 | 2011-05-12 | Fujitsu Ltd | 計数プログラム、計数装置および計数方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08194825A (ja) * | 1995-01-13 | 1996-07-30 | Sumitomo Metal Ind Ltd | 輪郭情報抽出装置 |
JP2005011005A (ja) * | 2003-06-18 | 2005-01-13 | Fuji Xerox Co Ltd | 情報処理装置 |
-
2007
- 2007-02-16 JP JP2007036070A patent/JP4552018B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08194825A (ja) * | 1995-01-13 | 1996-07-30 | Sumitomo Metal Ind Ltd | 輪郭情報抽出装置 |
JP2005011005A (ja) * | 2003-06-18 | 2005-01-13 | Fuji Xerox Co Ltd | 情報処理装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011095864A (ja) * | 2009-10-27 | 2011-05-12 | Fujitsu Ltd | 計数プログラム、計数装置および計数方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4552018B2 (ja) | 2010-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10417503B2 (en) | Image processing apparatus and image processing method | |
JP6942488B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
CN111327788B (zh) | 相机组的同步方法、测温方法、装置及电子系统 | |
JP2017191501A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20080112592A1 (en) | Motion Capture Apparatus and Method, and Motion Capture Program | |
JP2009143722A (ja) | 人物追跡装置、人物追跡方法及び人物追跡プログラム | |
JP2015181042A (ja) | 移動オブジェクトの検出及び追跡 | |
CN111860352B (zh) | 一种多镜头车辆轨迹全跟踪系统及方法 | |
JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
JP2009015827A (ja) | 物体追跡方法、物体追跡システム、及び物体追跡プログラム | |
JP2004171165A (ja) | 移動装置 | |
CN110706258B (zh) | 对象追踪方法及装置 | |
WO2019220589A1 (ja) | 映像解析装置、映像解析方法、及びプログラム | |
TW201926141A (zh) | 影像目標追蹤方法及裝置 | |
JP2006245795A (ja) | 動体追跡装置及び動体追跡表示装置 | |
US11544926B2 (en) | Image processing apparatus, method of processing image, and storage medium | |
KR20170006356A (ko) | 이차원 영상 기반 고객 분석 방법 및 장치 | |
JP2014170368A (ja) | 画像処理装置、方法及びプログラム並びに移動体 | |
JP2015210823A (ja) | 変形可能部分モデルを使用した車両追跡における部分的隠蔽処理方法及びシステム | |
JP2008035301A (ja) | 移動体追跡装置 | |
JP2007219603A (ja) | 人物追跡装置、人物追跡方法および人物追跡プログラム | |
JP2019096062A (ja) | 物体追跡装置、物体追跡方法、および、物体追跡プログラム | |
JP4552018B2 (ja) | 動画像処理装置及び動画像処理方法 | |
JP2017182564A (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100615 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |