JP2007142527A - 移動体監視システム、移動体特徴量算出装置およびカメラ間移動体照合追跡装置 - Google Patents
移動体監視システム、移動体特徴量算出装置およびカメラ間移動体照合追跡装置 Download PDFInfo
- Publication number
- JP2007142527A JP2007142527A JP2005329798A JP2005329798A JP2007142527A JP 2007142527 A JP2007142527 A JP 2007142527A JP 2005329798 A JP2005329798 A JP 2005329798A JP 2005329798 A JP2005329798 A JP 2005329798A JP 2007142527 A JP2007142527 A JP 2007142527A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- moving body
- moving
- feature amount
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】監視対象空間に配置されたカメラ10,11毎に設けられる複数の移動体特徴量算出装置20,21と、カメラ間移動体照合追跡装置40とで構成される。前記した構成において、移動体特徴量算出装置20(21)は、カメラ毎に入力される画像から移動体の全体形状を生成し、画像認識により得られる移動体の形状を抽出し、当該抽出された特定の移動体の形状と移動体の全体形状との差分から個別の移動体の非隠蔽領域を算出し、その特徴量をカメラ間移動体照合追跡装置に出力する。そして、カメラ間移動体照合追跡装置40は、移動体特徴量算出装置からそれぞれ出力される特徴量の相関に基づき、抽出された個別の移動体を同定する。
【選択図】図1
Description
この対策として、多数のカメラに跨って広範囲に移動する移動体を自動認識し、その認識された移動体を自動で追跡することが可能になれば、監視員の負担は減り、また、記録装置の増設も不要になるはずである。
また、単一のカメラ内で撮影される人物の認識は、外乱や遠近関係に強く影響されるため、遠くて小さく写っている人物の場合は1個に、近くて大きく写っている人物の場合は3個のブロブモデル(頭、胴体、足)に分割し、それぞれの特徴量を算出して認識し、追跡することのできる「人物追跡装置」も提案されている(例えば、特許文献2参照)。
また、特許文献2に開示された技術によれば、あくまで単一カメラ内での追跡であり、カメラからの遠近関係により、遠くて小さく撮影された人物の場合は1個のブロックとし、近くて大きく撮影された人物の場合は、頭、胴体、足の3個のブロブモデルとして各々の特徴を算出して追跡する。このため、遮蔽物が存在して一部に人物の隠蔽が発生する場合、前記したように遮蔽物に人物が隠れる前後において、装置が、その人物は同一ではないと認識してしまい、その人物の追跡を見失ってしまうといった欠点がある。また、特許文献2には、広域に分散配置されたカメラ間での人物追跡についての記載はない。
また、同環境下にあって、前記した移動体の監視業務を、限られた人数で効率的に行うことのできる移動体監視システムを提供することも課題とする。
図1は、本発明の第1の実施形態にかかわる移動体監視システムの全体構成を示すブロック図である。
本発明の実施形態にかかわる移動体監視システムは、カメラ10と移動体特徴量算出装置20、カメラ11と移動体特徴量算出装置21のそれぞれの組み合わせが監視対象空間に複数分散して配置され、移動体特徴量算出装置20,21がネットワーク30を経由してカメラ間移動体照合追跡装置40に接続されて成る。
カメラ間移動体照合追跡装置40は、ネットワーク30を経由して、各々のカメラ10,11により撮影される画像と、移動体特徴量算出装置20,21により算出される移動体の特徴量に関する情報を受信する。そして、受信した特徴量間の相関を求めて、生成された移動体の形状の同定を行う。また、カメラ間移動体照合追跡装置40は、設置されたカメラ10,11の配置や、その画像、および移動体の特徴量を表示する監視用表示装置50にも接続され、監視用表示装置50を介して監視員に対して追跡状況を報知する。
また、本実施形態では、カメラ間移動体照合追跡装置40および監視用表示装置50を別体の装置としたが、一体としてもよい。
ここで、算出したブロック毎の差分画像が所定値以上存在すれば、抽出した移動体は、全体が出現している状態ではなく、遮蔽物の陰に隠れている状態であると認識し、ブロック毎の差分画像が所定値未満の非隠蔽領域の特徴量を算出する。これらの処理は、所定の時間間隔、または、所定のタイミング、例えば、処理の1サイクル等のリアルタイム処理可能な短時間で繰り返し実行される。
前記したカメラ間移動体照合追跡装置40に蓄積された情報を用いることにより、移動体の同一性の照合は、リアルタイムに、あるいはオフラインで過去に遡って実行することが可能である。
図2は、図1に示す移動体監視システムのうちの移動体特徴量算出装置の内部構成を示すブロック図である。
移動体特徴量算出装置20は、画像入力取込部100と、全体形状生成部110と、ブロック分割部150と、個別移動体形状抽出部170と、非隠蔽領域算出部190と、特徴量算出部200とで構成される。
ブロック分割部150は、ここでは、全体形状を3個の領域に分割するものとして説明するが、分割数は、コストと画像認識性能とのトレードオフによって決定されるものであり、2個以上あればよい。また、縦、横いずれの方向に分割してもかまわない。
ここでは、1個のカメラ内における移動体の特徴量として、移動体の出現位置とその時刻、消滅位置とその時刻、抽出形状におけるブロック毎の平均輝度やその輝度比を用いることとする。なお、前記した輝度の代わりに、あるいは輝度とともに色情報の平均値や分散値を用いてもよい。
図3は、基準となる移動体の全体形状モデルを作成するための構成例を示した図である。すなわち、監視空間に配置されたカメラ10,11の中には、必ずしも移動体の全体像が撮影されるとは限らない。
そこで、基準カメラ14により撮影された画像に基づき、画像入力取込部100を介して取込まれる画像を用い、基準全体形状モデル生成部115が、基準となる全体形状モデルを生成し、基準全体形状モデルとしてファイル140に格納しておく。この、基準全体形状モデルは、カメラ10,11毎に生成される全体形状の補正に用いるが、基準となる全体形状モデルとして、移動体が、例えば人物の場合、平均的身長の大人、平均的身長の子供などをモデルとして用いてもよいし、平均的身長より高い大人、平均的身長の大人、平均的身長より低い大人など3段階のモデルを用いてもよい。
図4は、図2に示す本発明の第1の実施形態の移動体特徴量算出装置の変形例を示したブロック図である。すなわち、図3に示す基準全体形状モデルを用いた場合の移動体特徴量算出装置20aの構成を示すブロック図である。
図2に示す移動体特徴量算出装置20との差異は、図3に示す基準全体形状モデルが格納されたファイル140が付加されたことにある。他は、図2に示す構成と同様である。すなわち、全体形状生成部110は、図2で説明した全体形状の代わりに、ファイル140に格納された基準全体形状モデルを用いて、隠蔽領域の算出を行う。隠蔽領域の算出は、抽出した移動体形状の面積と、ファイル140に格納された基準全体形状モデルの面積とを比較することにより行われる。
図5は、図2および図4に示す移動体特徴量算出装置のうち、全体形状生成部の動作を説明するために引用した図である。
全体形状生成部110は、カメラ10によって出力され取り込まれる画像の中から移動体の全体形状を算出する機能を持つ。
図5を参照しながら具体例を説明する。ここでは、カメラ10の撮影シ−ンにおいて、移動体の全体が映っているものとする。また、カメラ10のパラメータである、レンズ焦点距離f(122)、カメラ俯角θ(124)、カメラ高さH(123)、カメラ座標(x,y)121が既知であるとする。そして、カメラ設置の足元真下をワ−ルド座標の実空間原点(125)とした場合、移動体としての人物の位置のワールド座標(X,Y)は、以下の演算式(1)(2)により計算できる。
図6は、図2および図4に示す移動体特徴量算出装置のうち、ブロック分割部の動作を説明するために引用した図である。ここでは、図2に示す全体形状生成部110により生成される移動体の全体形状、もしくは図3に示す基準全体形状モデル生成部115により生成される基準全体形状モデルの分割の一例について説明されている。
人物等の移動体は、遮蔽物が存在して移動体の一部が隠れるが、頭部よりも足元部分が隠れることが多いと予想される。そこで、抽出した移動体の外接矩形151に対して、頭頂部150から足元部157にかけて、垂直方向に等分分割し、3等分の場合、ブロック152、ブロック153およびブロック154に分割する。これらブロック毎、移動体の全体形状と、抽出形状との比較を行い以下に説明する処理を実行するものとする。
図7は、図2および図4に示す移動体特徴量算出装置のうち、個別移動体形状抽出部の動作を説明するために引用したフローチャートである。
個別移動体形状抽出部170は、カメラ10から取込まれる画像から背景画像を生成し、当該背景画像と先に取込まれた画像との差分画像を生成し、当該差分画像が所定の値を超えていた場合に変化領域として抽出し、当該変化領域の面積を算出してその変化領域の面積が所定の値を超えていた場合にその変化領域を移動体候補として抽出することによって、個別の移動体の形状を抽出する機能を持つ。
一方、閾値未満の場合(ステップS176“No”)、個別移動体形状抽出部170は、変化のない現入力画像を新たな背景画像として更新する(ステップS179)。続いて、個別移動体形状抽出部170は、移動体候補の出現回数(出現しているフレーム数)をカウントし(ステップS178)、k回(所定回数)以上出現した場合(ステップS178“Yes”)には、その移動体候補を移動体(人物)として検出して、その形状(個別移動体の形状)を抽出する(ステップS180)。
図8は、図2および図4に示す移動体特徴量算出装置のうち、非隠蔽領域算出部の動作を説明するために引用した図である。
非隠蔽領域算出部190は、個別移動体形状抽出部170により抽出された個別の移動体の形状と、全体形状生成部110により生成される移動体の全体形状との差分画像から個別移動体の非隠蔽領域を算出する。図8において、まずiフレーム192で撮影シーンの奥側に移動体としての人物191が出現し、その後、i+1フレーム193では、移動体194がシーン中央部に移動するが、机が遮蔽物となり下半身が隠蔽してしまう。更に、i+2フレーム196では人物197がシーン前方に移動し、下半身が視野範囲から外れて上半身しか撮影されない。このように、撮影シーンにおいて人物の全体形状が常に出現するわけでない。そこで、隠蔽が発生した人物の出現位置に対応させて、全体形状生成部110で生成された全体形状113,114を用いて、抽出された移動体形状194と全体形状113とを比較し、更に、抽出された移動体形状197と全体形状114とを比較して、その差分画像を算出する。
図9は、図2および図4に示す移動体特徴量算出装置のうち、特徴量算出部の動作を説明するために引用した図である。
特徴量算出部200は、非隠蔽領域算出部190により算出される非隠蔽領域の特徴量を算出してネットワーク30(図1参照)経由でカメラ間移動体照合追跡装置40(図1参照)に出力する機能を持つ。人物等の移動体は、遮蔽物が存在して移動体の一部が隠れるが、頭部よりも足元部分が隠れることが多いと予想される。そこで、図8におけるi+1フレームでは、全体形状113と抽出した移動体の形状194に対し、全体形状113の頭頂位置201と抽出した移動体の形状194の頭頂位置209とをあわせて、ブロック毎の差分画像を算出すれば、ブロック205は非隠蔽領域であり、その特徴量(fb1)は有効な値となる。しかし、ブロック206は隠蔽領域であり、その特徴量は無効であり×とすれば抽出した移動体の形状194における特徴量ブロック203が生成される。
このことにより、遮蔽物が存在して一部に隠れが発生している状況にあってもカメラ間を跨って移動する移動体を見失うことなく追跡することが可能となる。
図10および図11は、移動体の全体形状を用い、影や光等に基づく外乱を除外する個別移動体形状抽出部の動作を説明するために引用した図である。
監視対象シーンは、影や光等の様々な外乱が発生し、移動体を誤検知する大きな要因になる。当然、特徴量を算出する場合の移動体以外の特徴量(外乱の特徴量)も算出してしまうため、これらの外乱を除外する必要がある。個別移動体形状抽出部170は、全体形状生成部110から出力される移動体の全体形状から、外乱により生成される過剰な領域をフィルタリング処理して個別の移動体の形状を抽出することができる。
また、図11において、移動体としての人物210の付近に光217が発生している場合、まず個別移動体形状抽出部170は、人物210と影213を含む外接矩形216を生成し、生成した外接矩形216の左上から全体形状214をずらしながら合わせこみ、全体形状214の面積と抽出した形状面積の一致が最大である領域218を移動体の抽出形状として決定する。これにより、光217が除外できる。
図12は、本発明の第1の実施形態の動作を説明するために引用した図であり、複数カメラ間における時間経過による移動体の変化の様子を示す図である。
ここで、ある時刻230において、カメラ10に映っている移動体15は、所定時間経過後の時刻231には、カメラ10の撮影シーンから消減してカメラ11で撮影されたシ−ンの移動体16として映っている。一方、時刻230でカメラ12の撮影シーンには移動体は存在しないが、時刻231におけるカメラ12の撮影シーンには別の移動体17が新規に出現している。このようにして、移動体は、時間経過とともに、時々刻々状態が変化している。
図13は、本発明の第1の実施形態にかかわる移動体監視システムのうち、カメラ間移動体照合追跡装置の内部構成の一例を示す図である。
カメラ間移動体照合追跡装置40は、監視空間特徴量データベース(DB)220と、移動体照合部224と、移動体追跡部225とで構成される。
カメラ間移動体照合追跡装置40は、受信した特徴量に関する情報をカメラ毎に監視空間特徴量DB220に格納する。例えば、カメラ10における特徴量221およびカメラ11における特徴量222、そしてカメラ12における特徴量223を、監視空間特徴量DB220に特徴量ごとのファイルとして格納する。移動体照合部224は、これらに特徴量を用いて、移動体を同定するための照合を行い、そして、移動体追跡部225は、照合の結果、同定された移動体を追跡し、監視用表示装置50に出力する。監視用表示装置50に表示される情報等、詳細は後記する。
移動体照合部224は、まず、監視空間特徴量DB220を参照し、カメラ毎、所定時間内における移動体の出現位置および消滅位置を算出する(ステップS240)。次に、移動体照合部224は、カメラの配置情報を用いて、移動体が消減したら、次にどのカメラへ出現するかを予測する(ステップS241)。この予測の方法については、公開されており、例えば、小沼知恵子、高橋和範、正嶋博、竹内政人著、「複数カメラ間の人物追跡」、動的画像処理実利用化ワークショップ2005 講演論文集、日本、2005.3.3〜2005.3.4開催、p.101〜p.105に詳細に開示されている。
あるカメラで撮影したシーン251において、ある時刻に移動体252、他の移動体253およびその他の移動体254が出現した場合、移動体252は、机260が遮蔽物になり、下半身部が隠蔽領域となり、その特徴量257は、上半身部のブロックf3b1,f3b2が有効である。
また、移動体253は、全身が出現しているため、その特徴量256は、全体形状のブロックf2b1,f2b2,f2b3が有効となる。更に、移動体254も、全身が出現しているため、その特徴量255は、全体形状のブロックf1b1,f1b2,f1b3が有効となる。これらにより、移動体の特徴量として、移動体252と移動体253と移動体254の非隠蔽領域でのブロックの特徴量を有効とする。
他のカメラで撮影した撮影シーン252において、別の時刻に移動体262および他の移動体261が出現した場合、移動体262は、全身が出現しているため、その特徴量264は、全体形状のブロックf4b1,f4b2,f4b3が有効となる。更に、移動体261も、全身が出現しているため、その特徴量263は、全体形状のブロックf5b1,f5b2,f5b3が有効となる。そこで、特徴量の1つとして移動体の平均輝度を算出すると、移動体261の分布は274のようになり、移動体262の分布は275のようになる。
ここでは、特徴量分布のY(273)とYY(275)の座標上の位置が近い。また、特徴量分布のX(271)とXX(274)の座標上の位置が近く、特徴量の分布が類似している。移動体照合部224は、このように特徴量の分布が類似しているグループは、同じ移動体として判定する。
図18は、図1に示す移動体監視システムのうち、カメラ間移動体照合追跡装置の動作を説明するために引用した図であり、あるカメラにおいて撮影される全ての撮影シーンのある特定のブロックに隠蔽がある場合(図18(a))と、あるカメラにおいて一部の撮影シーンにおいて対応するブロックに隠蔽がある場合(図18(b))の、それぞれを例示した図である。図18において、○印は、隠蔽の無い照合のための有効ブロックを、×印は、隠蔽のある照合のための無効ブロックを示す。
また、図18(b)において、隠蔽発生フレームのブロック(ブロック#3)を、距離的に近い近隣の隠蔽が発生していないフレーム(フレーム#1、フレーム#3)の該当ブロックから取込み、照合の対象としてもよい。更に、カメラ#1およびカメラ#2とも共通に隠蔽が発生していないブロック(ブロック#1、ブロック#2)のみを照合の対象として粗い照合を行い、次に、類似すると判定された移動体間において、隠蔽が発生していないブロック(フレーム#1、フレーム#3)を用いて再度照合を行うこともできる。これにより、照合の精度が向上する。
この場合、不法侵入者が撮影されたカメラと、その画像と、出現時刻302,303およびその移動経路60、不法侵入者の検知を示すアラーム70等を監視用表示装置50に表示させる。監視用表示装置50は、例えば、監視センターに設置され、この表示画面を監視員1000が視認することにより、異常発生に加えて不法侵入者の移動経路がわかるため、操作卓1100にあるキーボード操作により、あるいは電話等により対策員への指示を適切に行うことができる。なお、監視用表示装置50には、これら内容をリアルタイムに表示することも可能である。
複数のカメラ間における移動体の追跡の精度は、図13に示される監視空間特徴量DB220に格納されたファイル(特徴量)の正確性に依存する。そこで、各時刻に出現した移動体に対し、プルダウンメニュー表示される中から、特徴量表示400を指示することにより、ある時刻310における移動体の特徴量がカメラ毎に表示される。
カメラの撮影シーン303に下半身が隠蔽された移動体311が出現すると、ブロック毎の特徴量312を移動体311に付随して表示させることができる。このときに表示されるのは、移動体311の非隠蔽領域の特徴量312と、隠蔽領域の内容を明示した表示315である。また、カメラの撮影シーン304に隠蔽の発生しない移動体313が出現すると、ブロック毎の特徴量314を移動体313に付随して表示させることもできる。
図21は、本発明の第2の実施形態にかかわる移動体監視システムの全体構成を示すブロック図である。
図1に示す第1の実施形態との差異は、第1の実施形態では、カメラを介してリアルタイムに取込まれた画像を、照合、追跡の対象としたのに対し、第2の実施形態では、所定期間蓄積された画像をオフラインで照合し検索する対象としたことにある。
ここでは、移動体監視中、カメラ(図示せず)で撮影した画像データは、照合検索用画像群として、カメラごとに予めDB323に所定期間分蓄積しておく。照合検索用画像群は、カメラ(図示せず)が、撮影した画像(背景を含む)画像群のことである。移動体特徴量算出装置20が、照合検索用画像群が蓄積されたDB323からそれぞれ照合の対象となる画像データを取込み、取り込んだ画像データから、移動体の全体形状を生成する。次に、蓄積画像を画像認識して得られる個別移動体を抽出して個別移動体の形状を算出する。そして、全体形状とこの算出した移動体の形状とを比較してブロック毎の差分画像を生成する。なお、前記した第2の実施形態において、移動体の全体形状の生成、個別移動体の形状の生成、ブロック毎の差分画像の生成、およびその特徴量の算出は、図1に示す第1の実施形態と同様である。
なお、本実施形態では、移動体特徴量算出装置20(21)カメラ間移動体照合追跡装置40aおよび監視用表示装置50は、別体の装置であるとしたが、これらのうち、少なくとも2つを一体とした装置としてもよい。
なお、本実施形態において、移動体特徴量算出装置20(21)は、2台となっているが、1台にしてもよいし、3台以上としてもよい。また、移動体処理装置20(21)の設置数は、カメラの台数に合わせてもよいし、合わせなくてもよい。移動体特徴量算出装置20(21)の設置数を、カメラの台数に合わせることにより、移動体特徴量算出装置20(21)の処理負担を軽減することが可能である。
各移動体特徴量算出装置20(21)で算出された特徴量は、カメラ間移動体照合追跡装置40aに供給される。カメラ間移動体照合追跡装置40aは、移動体特徴量算出装置20(21)から供給されたそれぞれの特徴量の相関を求め、複数画像に跨って移動する移動体間の同定を行い、検索を行う。そして、監視用表示装置50に対して、検索された移動体の移動経路60、更には、アラーム70が表示される。
特徴量の相関を求める手順は、図16および図17を参照して説明した通りである。
監視空間特徴量DB220には、移動体特徴量算出装置20(21)(図21参照)が算出した特徴量がそれぞれファイルとして格納されている。なお、ここでファイルとして格納される特徴量は、移動体特徴量算出装置20(21)が、移動体の全体像から全体形状を作成し、移動体を抽出して個別の形状を算出し、先に生成した全体形状と抽出した個別の移動体の形状とを比較することにより得られるブロック毎の差分画像(非隠蔽領域)の特徴量であることは前記したとおりである。カメラ間移動体照合監視装置80は、移動体特徴量算出装置20(21)から供給された監視空間特徴量DB220に蓄積された特徴量の相関を求め、複数画像に跨って移動する移動体間の同定を行い、検索を行う。
図23に示されるように、移動体撮影用のカメラとして、左カメラ503と右カメラ502の2台を設置し、キャリブレーションの対策は済んでいるものとする。この場合、図示せぬ移動体特徴量算出装置は、左カメラ503の視野範囲505と右カメラ504の視野範囲504を用いて、入力され取込まれる画像の視差データを算出し、その視差データから、画像の高さ(距離)情報を計測する。このことにより、高さのある画像のみを検出することができ、高さが無く、平面に張り付いている移動体の影や光等過剰な領域を抽出することが無くなるため、高精度に移動体を抽出できる。
ここに示される個別移動体形状抽出部170は、視差算出部512と、距離計測部513と、移動体形状抽出部514とで構成される。
続いて、非隠蔽領域出力部190では、全体形状との差分画像を算出し、その差分画像が所定値を越えるブロックが存在すれば隠蔽領域とし、図示せぬ特徴量算出部を介してその差分が所定値未満である非隠蔽領域のブロックの特徴量を算出するものであり、このことは前記した図2、図4に示す第1の実施形態と同様である。
以上説明のように本実施形態の移動体監視システムは、移動体特徴量算出装置20(21)において、まず、監視対象空間に複数設置されたカメラ10,11により撮影される画像、もしくはその蓄積画像(照合検索用画像群を蓄積したDB323)を用いて移動体の全体形状に関するデータを算出する。次に、その画像から画像認識技術を用いてカメラ毎に移動体を抽出し、この抽出した移動体の特徴量を算出する。
このため、監視対象空間に設置されるカメラ10,11毎、移動体特徴量算出装置20(21)が設けられ、移動体特徴量算出装置20(21)は、全体形状生成部110と、個別移動体形状抽出部170と、非隠蔽領域算出部190と、特徴量算出部200とを含む。具体的に、個別移動体形状抽出部170で個別移動体の形状を抽出し、全体形状生成部110で生成される全体形状との差分画像を算出して非隠蔽領域を決定し、特徴量算出部200で非隠蔽領域の特徴量を算出する。
カメラ間移動体動体照合追跡装置40、あるいはカメラ間移動体照合追跡装置40aは、監視空間特徴量DB220と、移動体照合部224とを含み、監視空間特徴量DB220には、監視対象空間における移動体の特徴量と、移動位置情報と、出現時刻情報とが蓄積される。移動体照合部224は、監視空間特徴量DB220に蓄積された移動位置情報と出現時刻情報の整合性を判定し、カメラ毎に抽出した移動体のブロック単位での特徴量を用いてカメラ10,11間の移動体の同定を行う。ここでは、特徴量分布空間の位置(特徴量の距離の近さ)が所定範囲にある場合、同じ移動体として判定する。
カメラ間移動体動体照合追跡装置40、あるいはカメラ間移動体照合追跡装置40aはまた、監視用表示装置50に、設置されたカメラ配置、撮影画像、移動体の非隠蔽領域の特徴量、アラ−ム発生画像等を表示のために出力する。監視員は、このモニタ画像により、監視対象空間に多数のカメラが設置されていてもモニタ画像を注視することなく監視することができる。
また、前記した本発明実施形態によれば、移動体の全体形状を2以上に分割し、分割されたブロック毎、特徴量の照合を行うものとして説明したが、ブロックに分割することは必須でなく、移動体の全体形状と抽出された移動体の形状との差分画像により移動体の非隠蔽領域を算出してその特徴量の照合を行うことで移動体の同定を行うものである。
20,21,20a 移動体特徴量算出装置
30 ネットワーク
40,40a カメラ間移動体照合追跡装置
50 監視用表示装置
100 画像入力取込部
110 全体形状生成部
115 基準全体形状モデル生成部
140 ファイル
150 ブロック分割部
170 個別移動体形状抽出部
190 非隠蔽領域算出部
200 特徴量算出部
220 監視空間特徴量DB
224 移動体照合部
225 移動体追跡部
323 照合検索用画像群DB
502 右カメラ
503 左カメラ
Claims (14)
- 監視対象空間に配置された複数のカメラに跨って移動する個別の移動体の監視を行う移動体監視システムであって、
それぞれのカメラによって撮影され取り込まれる画像から前記移動体の全体形状を算出し、前記取り込まれた画像を画像認識して得られる前記移動体を抽出し、当該抽出された移動体の形状と前記移動体の全体形状との差分から前記移動体の非隠蔽領域を算出してその特徴量を出力する移動体特徴量算出装置と、
前記複数のカメラ間で前記それぞれの特徴量の相関を求めて前記抽出された移動体間の同定を行い、追跡する、カメラ間移動体照合追跡装置と、
を具備することを特徴とする移動体監視システム。 - 前記追跡した移動体の、撮影画像、移動経路、非隠蔽領域または隠蔽領域の特徴量の少なくとも一つを表示する監視用表示装置と、
をさらに具備することを特徴とする請求項1に記載の移動体監視システム。 - 監視対象空間に配置された複数のカメラにより撮影され、収集される蓄積画像の中から個別の移動体の監視を行う移動体監視システムであって、
前記蓄積画像から前記移動体の全体形状を生成し、前記蓄積画像を画像認識して得られる前記移動体の形状を抽出し、当該抽出された移動体の形状と前記移動体の全体形状との差分から前記移動体の非隠蔽領域を算出してその特徴量を出力する移動体特徴量算出装置と、
前記蓄積画像の間で前記それぞれの特徴量の相関を求め、前記複数のカメラに跨って移動する移動体間の同定を行い、検索する、カメラ間移動体照合追跡装置と、
を具備することを特徴とする移動体監視システム。 - 前記検索した移動体の、撮影画像、移動経路、非隠蔽領域または隠蔽領域の特徴量の少なくとも一つを表示する監視用表示装置と、
をさらに具備することを特徴とする請求項3に記載の移動体監視システム。 - 監視対象空間に配置された複数のカメラに跨って移動する個別の移動体の監視を行う移動体監視システムにおける移動体特徴量算出装置であって、
それぞれのカメラによって出力され取り込まれる画像、もしくは前記蓄積画像の中から前記移動体の全体形状を生成する全体形状生成部と、
前記取り込まれた画像から背景画像を生成し、当該背景画像と前記取り込まれた画像との差分画像を生成し、当該差分画像と第1の閾値とを比較して変化領域を算出し、当該変化領域の面積を算出して当該変化領域の面積と第2の閾値とを比較し、その結果によっては前記変化領域を前記移動体候補として抽出し、もしくは前記取り込まれた画像を背景画像として更新し、前記抽出された移動体候補の出現回数により前記移動体を検知し、当該移動体の形状を生成する個別移動体形状抽出部と、
前記抽出された移動体の形状と前記移動体の全体形状との差分から前記移動体の非隠蔽領域を算出する非隠蔽領域算出部と、
前記非隠蔽領域の特徴量を算出し、前記カメラ間移動体照合追跡装置もしくは前記カメラ間移動体照合追跡装置に出力する特徴量算出部と、
を具備することを特徴とする移動体特徴量算出装置。 - 前記全体形状生成部は、
あらかじめ登録された基準となる全体形状モデルを、前記監視対象空間に配置されたカメラの設置条件に応じて補正し、前記生成される移動体の全体形状を算出することを特徴とする請求項5に記載の移動体特徴量算出装置。 - 前記個別移動体形状抽出部は、
前記全体形状生成部から出力される前記移動体の全体形状から、外乱により生成される過剰な領域をフィルタリング処理して前記移動体の形状を抽出することを特徴とする請求項5に記載の移移動体特徴量算出装置。 - 監視対象空間に配置された複数のカメラに跨って移動する個別の移動体の監視を行う移動体監視システムにおけるカメラ間移動体照合追跡装置であって、
前記抽出された個別の移動体が出現してから消滅するまでの間に算出される前記特徴量を、前記カメラ毎、時系列的に格納する監視空間特徴量データベースと、
前記監視空間特徴量データベースを参照し、前記カメラ間における前記移動体の移動位置と出現時刻との整合性を判定し、前記カメラ間で算出される前記特徴量の相関を求め、前記抽出された移動体間の同定を行う移動体照合部と、
前記個別の移動体を追跡して監視用表示装置に出力する移動体追跡部と、
を具備することを特徴とするカメラ間移動体照合追跡装置。 - 前記移動体照合部は、
前記監視空間特徴量データベースから、カメラ毎、所定時間内に抽出される前記移動体の出現位置および消滅位置を取り込み、前記カメラの配置情報から、前記移動体が次にどのカメラへ出現するかを予測し、前記予測されたカメラと隣接して配置されるカメラとの間で、一方のカメラにおける消滅位置と他方のカメラにおける出現位置とを比較して予測が成立したことを契機に、一方のカメラで撮影された前記移動体の非隠蔽領域における特徴量の分布と、前記他方のカメラで撮影された前記移動体の対応する非隠蔽領域における特徴量の分布とを照合し、前記特徴量の分布が類似するグループを前記抽出された移動体として同定することを特徴とする請求項8に記載のカメラ間移動体照合追跡装置。 - 前記移動体照合部は、
前記一方のカメラで撮影されたフレームの全てに隠蔽領域が存在する場合、残りの非隠蔽領域のそれぞれにおける特徴量と、他方のカメラで撮影されたフレームの対応する非隠蔽領域のそれぞれにおける特徴量との間で前記照合を行うことを特徴とする請求項9に記載のカメラ間移動体照合追跡装置。 - 前記移動体照合部は、
前記一方のカメラで撮影されたフレームの一部に隠蔽領域が存在する場合、前記隠蔽領域を除く非隠蔽領域のそれぞれにおける特徴量と、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域における特徴量との間で前記照合を行うことを特徴とする請求項9に記載のカメラ間移動体照合追跡装置。 - 前記移動体照合部は、
前記一方のカメラで撮影されたフレームの一部に隠蔽領域が存在する場合、前記隠蔽領域が存在しない近隣のフレームの非隠蔽領域におけるそれぞれの特徴量を用い、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域におけるそれぞれの特徴量との間で前記照合を行うことを特徴とする請求項9に記載のカメラ間移動体照合追跡装置。 - 前記移動体照合部は、
前記一方のカメラで撮影されたフレームの一部に隠蔽領域が存在する場合、共通に隠蔽領域が存在しないフレームの非隠蔽領域におけるそれぞれの特徴量と、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域におけるそれぞれの特徴量との間で前記照合を行い、前記照合の結果、類似すると判定されたとき、更に、前記一方のカメラで撮影されたフレームの非隠蔽領域におけるそれぞれの特徴量と、前記他方のカメラで撮影されたフレームの対応する非隠蔽領域におけるそれぞれの特徴量との間で前記照合を行うことを特徴とする請求項9に記載のカメラ間移動体照合追跡装置。 - 前記移動体照合部は、
前記移動体の全体形状が分割された少なくとも2つのブロック毎に座標を定め、その座標空間上に、前記一方のカメラで撮影された前記移動体の非隠蔽領域におけるブロック毎の特徴量と、前記他方のカメラで撮影された前記移動体の対応する非隠蔽領域におけるブロック毎の特徴量を分布させ、前記それぞれ設定された特徴量の分布空間の差が所定の範囲にあるグループを前記抽出された移動体として同定することを特徴とする請求項9〜13のいずれか1項に記載のカメラ間移動体照合追跡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005329798A JP4700477B2 (ja) | 2005-11-15 | 2005-11-15 | 移動体監視システムおよび移動体特徴量算出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005329798A JP4700477B2 (ja) | 2005-11-15 | 2005-11-15 | 移動体監視システムおよび移動体特徴量算出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007142527A true JP2007142527A (ja) | 2007-06-07 |
JP4700477B2 JP4700477B2 (ja) | 2011-06-15 |
Family
ID=38204912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005329798A Active JP4700477B2 (ja) | 2005-11-15 | 2005-11-15 | 移動体監視システムおよび移動体特徴量算出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4700477B2 (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009055445A (ja) * | 2007-08-28 | 2009-03-12 | Toshiba Corp | 映像検索システム及び映像検索装置 |
JP2009071388A (ja) * | 2007-09-10 | 2009-04-02 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2009181306A (ja) * | 2008-01-30 | 2009-08-13 | Nippon Telegr & Teleph Corp <Ntt> | 映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体 |
JP2010056692A (ja) * | 2008-08-26 | 2010-03-11 | Canon Inc | 撮像装置およびその制御方法 |
JP2010238188A (ja) * | 2009-03-31 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 警備システムおよび警備方法 |
JP2011053959A (ja) * | 2009-09-02 | 2011-03-17 | Canon Inc | 画像処理装置、被写体判別方法、プログラム及び記憶媒体 |
JP2013242728A (ja) * | 2012-05-21 | 2013-12-05 | Secom Co Ltd | 画像監視装置 |
WO2014097699A1 (ja) * | 2012-12-20 | 2014-06-26 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
JP2014179830A (ja) * | 2013-03-15 | 2014-09-25 | Panasonic Corp | 画像符号化装置、撮影システム、撮影記録システム、画質符号化方法、及び画像符号化制御プログラム |
JP2014192700A (ja) * | 2013-03-27 | 2014-10-06 | Panasonic Corp | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 |
JP2015019250A (ja) * | 2013-07-11 | 2015-01-29 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
JP2016181743A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社東芝 | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム |
JPWO2014171258A1 (ja) * | 2013-04-16 | 2017-02-23 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
JP2018010483A (ja) * | 2016-07-13 | 2018-01-18 | 日本電信電話株式会社 | 前景領域抽出装置、方法、及びプログラム |
JP2019149006A (ja) * | 2018-02-27 | 2019-09-05 | 富士通株式会社 | 画像選択プログラム、情報処理装置、システム、および画像選択方法 |
JP2020161032A (ja) * | 2019-03-28 | 2020-10-01 | 日本電気株式会社 | 追跡方法、追跡装置、及びプログラム |
US20210314530A1 (en) * | 2013-03-15 | 2021-10-07 | James Carey | Video identification and analytical recognition system |
WO2022185521A1 (ja) * | 2021-03-05 | 2022-09-09 | 三菱電機株式会社 | 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6080940B2 (ja) | 2013-02-28 | 2017-02-15 | 株式会社日立国際電気 | 人物検索方法及びホーム滞留人物検索装置 |
WO2015111312A1 (ja) | 2014-01-23 | 2015-07-30 | 株式会社日立国際電気 | 画像検索システム及び画像検索方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06231252A (ja) * | 1993-02-04 | 1994-08-19 | Toshiba Corp | 監視画像の移動物体追跡方法 |
JPH11175730A (ja) * | 1997-12-05 | 1999-07-02 | Omron Corp | 人間検出追跡システム |
JP2000105835A (ja) * | 1998-07-28 | 2000-04-11 | Hitachi Denshi Ltd | 物体認識方法及び物体追跡監視装置 |
JP2001005974A (ja) * | 1999-06-17 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 物体認識方法及び物体認識装置 |
JP2003163929A (ja) * | 2002-08-23 | 2003-06-06 | Mitsubishi Electric Corp | 映像監視装置 |
JP2003256843A (ja) * | 2002-02-26 | 2003-09-12 | Oki Electric Ind Co Ltd | 計測システム |
JP2003324720A (ja) * | 2002-05-07 | 2003-11-14 | Matsushita Electric Ind Co Ltd | 監視システムと監視カメラ |
JP2004094518A (ja) * | 2002-08-30 | 2004-03-25 | Oki Electric Ind Co Ltd | 人物追跡装置、人物追跡方法及びプログラム |
JP2004282368A (ja) * | 2003-03-14 | 2004-10-07 | Omron Corp | 移動体監視装置 |
JP2004334462A (ja) * | 2003-05-07 | 2004-11-25 | Mitsubishi Space Software Kk | 移動体検出装置及び移動体検出方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム |
JP2005086626A (ja) * | 2003-09-10 | 2005-03-31 | Matsushita Electric Ind Co Ltd | 広域監視装置 |
JP2005115932A (ja) * | 2003-09-16 | 2005-04-28 | Matsushita Electric Works Ltd | 画像を用いた人体検知装置 |
-
2005
- 2005-11-15 JP JP2005329798A patent/JP4700477B2/ja active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06231252A (ja) * | 1993-02-04 | 1994-08-19 | Toshiba Corp | 監視画像の移動物体追跡方法 |
JPH11175730A (ja) * | 1997-12-05 | 1999-07-02 | Omron Corp | 人間検出追跡システム |
JP2000105835A (ja) * | 1998-07-28 | 2000-04-11 | Hitachi Denshi Ltd | 物体認識方法及び物体追跡監視装置 |
JP2001005974A (ja) * | 1999-06-17 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 物体認識方法及び物体認識装置 |
JP2003256843A (ja) * | 2002-02-26 | 2003-09-12 | Oki Electric Ind Co Ltd | 計測システム |
JP2003324720A (ja) * | 2002-05-07 | 2003-11-14 | Matsushita Electric Ind Co Ltd | 監視システムと監視カメラ |
JP2003163929A (ja) * | 2002-08-23 | 2003-06-06 | Mitsubishi Electric Corp | 映像監視装置 |
JP2004094518A (ja) * | 2002-08-30 | 2004-03-25 | Oki Electric Ind Co Ltd | 人物追跡装置、人物追跡方法及びプログラム |
JP2004282368A (ja) * | 2003-03-14 | 2004-10-07 | Omron Corp | 移動体監視装置 |
JP2004334462A (ja) * | 2003-05-07 | 2004-11-25 | Mitsubishi Space Software Kk | 移動体検出装置及び移動体検出方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム |
JP2005086626A (ja) * | 2003-09-10 | 2005-03-31 | Matsushita Electric Ind Co Ltd | 広域監視装置 |
JP2005115932A (ja) * | 2003-09-16 | 2005-04-28 | Matsushita Electric Works Ltd | 画像を用いた人体検知装置 |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009055445A (ja) * | 2007-08-28 | 2009-03-12 | Toshiba Corp | 映像検索システム及び映像検索装置 |
JP2009071388A (ja) * | 2007-09-10 | 2009-04-02 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
JP2009181306A (ja) * | 2008-01-30 | 2009-08-13 | Nippon Telegr & Teleph Corp <Ntt> | 映像インデキシング装置,映像インデキシング方法,映像インデキシングプログラムおよびその記録媒体 |
US9098920B2 (en) | 2008-08-26 | 2015-08-04 | Canon Kabushiki Kaisha | Image capturing apparatus and method for controlling the same |
JP2010056692A (ja) * | 2008-08-26 | 2010-03-11 | Canon Inc | 撮像装置およびその制御方法 |
JP2010238188A (ja) * | 2009-03-31 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 警備システムおよび警備方法 |
JP2011053959A (ja) * | 2009-09-02 | 2011-03-17 | Canon Inc | 画像処理装置、被写体判別方法、プログラム及び記憶媒体 |
JP2013242728A (ja) * | 2012-05-21 | 2013-12-05 | Secom Co Ltd | 画像監視装置 |
JPWO2014097699A1 (ja) * | 2012-12-20 | 2017-01-12 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
WO2014097699A1 (ja) * | 2012-12-20 | 2014-06-26 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
US11869325B2 (en) * | 2013-03-15 | 2024-01-09 | James Carey | Video identification and analytical recognition system |
JP2014179830A (ja) * | 2013-03-15 | 2014-09-25 | Panasonic Corp | 画像符号化装置、撮影システム、撮影記録システム、画質符号化方法、及び画像符号化制御プログラム |
US20210314530A1 (en) * | 2013-03-15 | 2021-10-07 | James Carey | Video identification and analytical recognition system |
JP2014192700A (ja) * | 2013-03-27 | 2014-10-06 | Panasonic Corp | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 |
US10574943B2 (en) | 2013-04-16 | 2020-02-25 | Nec Corporation | Information processing system, information processing method, and program |
US11483521B2 (en) | 2013-04-16 | 2022-10-25 | Nec Corporation | Information processing system, information processing method, and program |
US10225524B2 (en) | 2013-04-16 | 2019-03-05 | Nec Corporation | Information processing system, information processing method, and program |
JPWO2014171258A1 (ja) * | 2013-04-16 | 2017-02-23 | 日本電気株式会社 | 情報処理システム、情報処理方法及びプログラム |
JP2015019250A (ja) * | 2013-07-11 | 2015-01-29 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
US9251599B2 (en) | 2013-07-11 | 2016-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Tracking assistance device, a tracking assistance system and a tracking assistance method that enable a monitoring person to perform a task of correcting tracking information |
JP2016181743A (ja) * | 2015-03-23 | 2016-10-13 | 株式会社東芝 | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム |
JP2018010483A (ja) * | 2016-07-13 | 2018-01-18 | 日本電信電話株式会社 | 前景領域抽出装置、方法、及びプログラム |
JP2019149006A (ja) * | 2018-02-27 | 2019-09-05 | 富士通株式会社 | 画像選択プログラム、情報処理装置、システム、および画像選択方法 |
JP7088108B2 (ja) | 2019-03-28 | 2022-06-21 | 日本電気株式会社 | 追跡方法、追跡装置、及びプログラム |
JP2020161032A (ja) * | 2019-03-28 | 2020-10-01 | 日本電気株式会社 | 追跡方法、追跡装置、及びプログラム |
WO2022185521A1 (ja) * | 2021-03-05 | 2022-09-09 | 三菱電機株式会社 | 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム |
JPWO2022185521A1 (ja) * | 2021-03-05 | 2022-09-09 | ||
JP7270855B2 (ja) | 2021-03-05 | 2023-05-10 | 三菱電機株式会社 | 移動経路推定装置、移動経路推定方法、及び、移動経路推定プログラム |
GB2619633A (en) * | 2021-03-05 | 2023-12-13 | Mitsubishi Electric Corp | Movement path estimation device, movement path estimation method, and movement path estimation program |
GB2619633B (en) * | 2021-03-05 | 2024-06-19 | Mitsubishi Electric Corp | Movement route estimation device, movement route estimation method, and movement route estimation program |
Also Published As
Publication number | Publication date |
---|---|
JP4700477B2 (ja) | 2011-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4700477B2 (ja) | 移動体監視システムおよび移動体特徴量算出装置 | |
JP4966820B2 (ja) | 混雑推定装置および方法 | |
EP2450832A1 (en) | Image processing apparatus and image processing method | |
JP6688975B2 (ja) | 監視装置及び監視システム | |
WO2014136623A1 (en) | Method for detecting and tracking objects in sequence of images of scene acquired by stationary camera | |
JP2008176504A (ja) | 物体検出装置及びその方法 | |
JP2008009849A (ja) | 人物追跡装置 | |
CN112926464B (zh) | 一种人脸活体检测方法以及装置 | |
JP2018156408A (ja) | 画像認識撮像装置 | |
JP5101429B2 (ja) | 画像監視装置 | |
CN102024263A (zh) | 用于检测运动的装置和方法 | |
JP2017117244A (ja) | カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法 | |
JP2011076316A (ja) | 群衆監視装置および方法ならびにプログラム | |
WO2022127181A1 (zh) | 客流的监测方法、装置、电子设备及存储介质 | |
US20080226159A1 (en) | Method and System For Calculating Depth Information of Object in Image | |
JP3577875B2 (ja) | 移動物体抽出装置 | |
JP6405606B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
CN108876824B (zh) | 目标跟踪方法、装置、系统及球机 | |
KR102083293B1 (ko) | 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법 | |
JP6527183B2 (ja) | 放置物検出装置 | |
JP2018201146A (ja) | 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム | |
JP2019096062A (ja) | 物体追跡装置、物体追跡方法、および、物体追跡プログラム | |
JP6548306B2 (ja) | カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法 | |
KR102614895B1 (ko) | 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법 | |
JP2010175966A (ja) | 画像処理装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4700477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |