JP2015216518A - 情報処理方法、プログラム及び情報処理装置 - Google Patents

情報処理方法、プログラム及び情報処理装置 Download PDF

Info

Publication number
JP2015216518A
JP2015216518A JP2014098619A JP2014098619A JP2015216518A JP 2015216518 A JP2015216518 A JP 2015216518A JP 2014098619 A JP2014098619 A JP 2014098619A JP 2014098619 A JP2014098619 A JP 2014098619A JP 2015216518 A JP2015216518 A JP 2015216518A
Authority
JP
Japan
Prior art keywords
cpu
depth
head
information processing
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014098619A
Other languages
English (en)
Inventor
鈴木 武志
Takeshi Suzuki
武志 鈴木
潤一 植村
Junichi Uemura
潤一 植村
木下 裕介
Yusuke Kinoshita
裕介 木下
正行 一之瀬
Masayuki Ichinose
正行 一之瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014098619A priority Critical patent/JP2015216518A/ja
Publication of JP2015216518A publication Critical patent/JP2015216518A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】密着した2つ以上の人体を別々の人体として判別する情報処理方法、プログラム及び情報処理装置を提供する。
【解決手段】コンピュータ1は、人の頭上からセンシングが可能な位置に設置された深度センサ2から取得した深度を解析して、頭部形状の検出基準を満たす対象が存在するか判定する。コンピュータ1は、判定結果に応じて、人の存在を示す情報を出力する。また、頭部形状の検出基準は、略半球形状であり、人の存在を示す情報は、頭部形状の検出基準を満たすと判定された対象の数と同じ人数の人が存在することを示す情報である。
【選択図】図1

Description

本発明は、情報処理方法、プログラム及び情報処理装置に関する。
従来、カメラ画像を利用して歩行者を検出する技術が提案されている(例えば特許文献1参照)。
特開2011−216003号公報
しかしながら、従来の技術では密着した2つ以上の人体を別々の人体として判別することができないという問題があった。
一つの側面では、密着した2つ以上の人体を別々の人体として判別することが可能な情報処理方法等を提供することを目的とする。
本願に開示する情報処理方法は、人の頭上からセンシングが可能な位置に設置された深度センサから取得した深度を解析して、頭部形状の検出基準を満たす対象が存在するか判定し、判定結果に応じて、人の存在を示す情報を出力する処理をコンピュータに実行させる。
一つの側面では、密着した2つ以上の人体を別々の人体として判別することが可能となる。
情報処理システムの概要を示す説明図である。 センサのハードウェア群を示す説明図である。 コンピュータのハードウェア群を示すブロック図である。 履歴DBのレコードレイアウトを示す説明図である。 認識処理の手順を示すフローチャートである。 情報処理システムの概要を示す説明図である。 複数の深度を示す説明図である。 履歴DBのレコードレイアウトを示す説明図である。 表示結果を示すイメージ図である。 出力処理の手順を示すフローチャートである。 出力処理の手順を示すフローチャートである。 出力処理の手順を示すフローチャートである。 歩行状況を示す説明図である。 履歴DBのレコードレイアウトを示す説明図である。 認識処理の手順を示すフローチャートである。 認識処理の手順を示すフローチャートである。 認識処理の手順を示すフローチャートである。 認識処理の手順を示すフローチャートである。 幼児の接近状況を示す説明図である。 履歴DBのレコードレイアウトを示す説明図である。 認識処理の手順を示すフローチャートである。 履歴DBのレコードレイアウトを示す説明図である。 認識処理の手順を示すフローチャートである。 認識処理の手順を示すフローチャートである。 履歴DBのレコードレイアウトを示す説明図である。 認識処理の手順を示すフローチャートである。 認識処理の手順を示すフローチャートである。 情報処理システムの概要を示す説明図である。 認識処理の手順を示すフローチャートである。 上述した形態のコンピュータの動作を示す機能ブロック図である。 実施の形態8に係るコンピュータのハードウェア群を示すブロック図である。
実施の形態1
以下実施の形態を、図面を参照して説明する。図1は情報処理システムの概要を示す説明図である。情報処理システムは、情報処理装置1、及び、深度センサ2(以下、センサ2という)等を含む。情報処理装置1及びセンサ2は有線または無線で接続されている。情報処理装置1はサーバコンピュータ、パーソナルコンピュータ、携帯電話、スマートフォン、ゲーム機またはPDA(Personal Digital Assistant)等である。以下では情報処理装置1をコンピュータ1と読み替えて説明する。
センサ2は例えばマイクロソフト社のKINECT(登録商標)またはステレオカメラ等の所定領域内の深度(距離)を検出するセンサである。実施形態ではKINECT(登録商標)を用いた例を挙げて説明する。センサ2は例えば遊園地、駅、道路、店舗、会社、工場、学校、球場または店舗等の施設に設置される。センサ2は人の頭上から深度を検出することが可能な位置に取り付けられる。例えば天井またはゲートに、センサ2が下方向に向くよう取り付ける。コンピュータ1は、センサ2から取り込んだ深度から人間の頭の形状が存在するか否かを判断する。人間の頭の形状が存在するか否かは、略半円球状の形状が存在するか否かにより判断する。コンピュータ1は、頭の形状を検出した場合、人の存在を示す情報を表示部に出力する。コンピュータ1により出力された情報を利用することで、センサ2を設置した施設の係員が、施設内にどのような利用客が存在するかを把握することができる。ひいては、利用客に対する支援の必要有無の判断材料にしたり、施設の改善を検討する際の検討材料にしたりすることができる。以下、詳細を説明する。
図2はセンサ2のハードウェア群を示す説明図である。センサ2は制御部としてのCPU(Central Processing Unit)21、RAM(Random Access Memory)22、撮像部23、深度取得部24、記憶部25及び通信部26等を含む。CPU21は、バス27を介してハードウェア各部と接続されている。CPU21は記憶部25に記憶された制御プログラム25Pに従いハードウェア各部を制御する。RAM22は例えばSRAM(Static RAM)、DRAM(Dynamic RAM)、フラッシュメモリ等である。RAM22は、記憶部としても機能し、CPU21による各種プログラムの実行時に発生する種々のデータを一時的に記憶する。
撮像部23は、例えばCCD(Charge-Coupled Device)カメラであり、取り込んだ画像をRAM22へ出力する。深度取得部24は複数の位置から赤外線を照射し、照射物体から反射した光を取り込むことで、計測領域の深度を検出する。深度取得部24は計測領域の平面座標及び深度をRAM22に出力する。なお、実施形態では、センサ2から地面に向かう方向を深度の正方向とし、原点をセンサ2とする。またセンサ2から地面に向かう深度正方向と交差する面の座標を平面座標(以下、場合により座標と省略する)とする。記憶部25はハードディスクまたは大容量メモリであり、制御プログラム25Pを記憶している。通信部26はCPU21の指示に従い、RAM22に記憶した画像と、座標及び深度とをコンピュータ1へ出力する。
通信部26は例えばUSB(Universal Serial Bus)規格に基づき通信を行う通信モジュールであり、有線または無線でコンピュータ1との間で情報の送受信を行う。なお、センサ2とコンピュータ1との間の通信はインターネット、公衆回線網またはLAN(Local Area Network)を通じて行うほか、Bluetooth(登録商標)規格に基づいて行っても良い。なお、センサ2は高さ約2m〜3mの位置にて、深度取得部24が真下を向くよう設置することが望ましいが、これに限るものではない。多少の斜め下方向を向けて設置するようにしても良い。この場合、傾斜角度を予め測定しておき、傾斜角度に応じて深度及び座標を幾何学補正するようにすれば良い。また設置する高さも上述した高さに限定するものではない。
図3はコンピュータ1のハードウェア群を示すブロック図である。コンピュータ1は制御部としてのCPU11、RAM12、入力部13、表示部14、記憶部15、通信部16、及び時計部18等を含む。CPU11は、バス17を介してハードウェア各部と接続されている。CPU11は記憶部15に記憶された制御プログラム15Pに従いハードウェア各部を制御する。RAM12は例えばSRAM、DRAM、フラッシュメモリ等である。RAM12は、記憶部としても機能し、CPU11による各種プログラムの実行時に発生する種々のデータを一時的に記憶する。
入力部13はマウスまたはキーボード、マウスまたはタッチパネル等の入力デバイスであり、受け付けた操作情報をCPU11へ出力する。表示部14は液晶ディスプレイまたは有機EL(electroluminescence)ディスプレイ等であり、CPU11の指示に従い各種情報を表示する。通信部16は通信モジュールであり、センサ2または図示しない他のコンピュータとの間で情報の送受信を行う。
時計部18は日時をCPU11へ出力する。記憶部15はハードディスクまたは大容量メモリであり、制御プログラム15P及び履歴DB151等を記憶している。なお、実施形態では履歴DB151を記憶部15に記憶する例を挙げたがこれに限るものではない。RAM12に記憶するほか、図示しない他のDBサーバ内に記憶するようにしても良い。この場合、CPU11は、SQL(Structured Query Language)を用いて履歴DB151に対し、情報の読み出し及び書き込みを行う。
図4は履歴DB151のレコードレイアウトを示す説明図である。履歴DB151は日時フィールド、深度フィールド、座標フィールド等を含む。日時フィールドにはセンサ2により計測を行った日時が記憶されている。深度フィールドには、日時に対応づけて、センサ2が検出した人間の頭の頂部までの深度が記憶されている。座標フィールドには、頂部の座標が記憶されている。CPU11は、記憶部15に予め記憶した半円球状のテンプレートモデルを読み出す。半円球状のテンプレートモデルは、頭上に設けたセンサ2が人間の頭を計測した場合に得られる頭の略上半分の形状に相当するモデルである。CPU11は、センサ2から取得した平面座標及び深度と、テンプレートモデルとに基づきパターンマッチングを行う。具体的には、CPU11は、取得した平面座標及び深度から、任意の高さにおける平面座標及び深度を切り取り、対比モデルを生成する。CPU11は、テンプレートと対比モデルとの相違が許容値の範囲内であれば対比モデルは人間の頭と判断する。
CPU11は、対比モデルの最低深度を、履歴DB151に記憶する。なお、深度に代えて身長を記憶するようにしても良い。この場合、CPU11は、RAM12に記憶した設置高さから深度を減じた値を身長として記憶する。また、本実施形態では最低深度を記憶する例を示すがこれに限るものではない。頭と判断した対比モデルの深度の平均値等を深度として記憶するようにしても良い。また座標は最低深度に対応する座標を、頂部の座標として記憶する例を示したがこれに限るものではない。例えば対比モデルを平面に投影した場合に得られる頭部の外周座標の平均または重心等を頂部の座標として履歴DB151に記憶しても良い。
本実施形態では頭の略上半分の形状に相当する半円球状をテンプレートモデルとしたが、テンプレートモデルの形状はこの形状に限るものではない。帽子をかぶっている場合もあるため、半円球状のモデルに帽子の鍔を付加したモデルをテンプレートモデルとしても良い。また、頭の大きさは個人で相違するため、複数サイズのテンプレートモデルを用意しておいてもよい。
CPU11は、センサ2の撮像部23から取り込んだ画像を表示部14に表示している。CPU11は、人間の頭を認識した場合、履歴DB151に記憶した座標を中心に一定の大きさを有する円を画像上に重畳して表示する。なお、認識した人の存在を示す情報の出力は他の形態であっても良い。例えば、表示部14に認識したことを示すテキストまたはマーク(シンボル)を表示するほか、累積人数を表示しても良い。また図示しないスピーカから、認識したことを示す音、または、人数を出力しても良い。さらに通信部16を介して他のコンピュータへ人の存在を示す情報を出力しても良い。本実施形態では表示部14に出力する例を挙げて説明する。
以上のハードウェア群において各種ソフトウェア処理を、フローチャートを用いて説明する。図5は認識処理の手順を示すフローチャートである。CPU11は、センサ2から座標及び深度を取得する(ステップS51)。CPU11は、テンプレートモデルを記憶部15から読み出す(ステップS52)。CPU11は、取得した座標及び深度に基づき、所定深度レンジ内で複数の対比モデルを生成する(ステップS53)。CPU11は、テンプレートモデルと対比モデルとの相違が許容値の範囲内であるか否かを判断する(ステップS54)。CPU11は、許容値の範囲内でないと判断した場合(ステップS54でNO)、処理を終了する。
CPU11は、許容値の範囲内であると判断した場合(ステップS54でYES)、ステップS55へ移行する。CPU11は、人物の頭部と判断し、取得した深度から最低深度及び最低深度に対応する座標を取得する(ステップS55)。CPU11は、認識した頂部のデータとして時計部18から出力される日時、最低深度及び座標を履歴DB151に記憶する(ステップS56)。CPU11は、記憶部15からマークを読み出す(ステップS57)。本実施形態では緑色の円であるものとして説明するが、これに限るものではない。例えば「人」とする文字をマークとしても良い。
CPU11は、表示部14にセンサ2から取得した画像を表示する。なお、画像の座標系は、深度取得部24で取得する平面座標系に一致しているものとする。CPU11は、座標を参照し、読み出したマークを画像に重畳して表示する(ステップS58)。これにより、施設を通行する人間を容易に認識することができる。また、画像に重畳してマークが表示されるため、監視員等も容易に人物を目視することが可能となる。さらに半円球状のモデルを利用することで、同様の大きさを有する荷物を頭と誤認識する事を防止することが可能となる。
実施の形態2
実施の形態2は複数人を認識する形態に関する。図6は情報処理システムの概要を示す説明図である。図6の例は大人と子供が歩いている様子を示している。CPU11は、2つの頭部形状を認識し、2人と判断する。またCPU11は、認識した頭頂の深度に応じて大人または子供と判断する。以下詳細を説明する。
図7は複数の深度を示す説明図である。本実施形態ではセンサ2から鉛直方向に対し、複数の領域を設定している。図7Aの例は3つの領域(レンジ)を設定している。深度1mを第1の深度とし、第1の深度よりも短い領域を第1領域に設定している。なお、深度ではなく、地上からの高さとしても良いことはもちろんである。第1領域に頭頂が存在すると判断した場合、CPU11は、大人と判断する。なお、頭頂を基準とするのではなく、頭の中心など、頭の他の位置を基準としても良い。
深度1.4mを、第1の深度よりも長い第2の深度とする。なお、実施形態で述べる数値に限定されるものではない。第1の深度以上第2の深度以下の領域を第2の領域とする。CPU11は、第2領域に頭頂が存在すると判断した場合、子供と判断する。第2深度よりも長い領域を第3の領域とする。CPU11は、第3領域に頭頂が存在すると判断した場合、幼児と判断する。なお、本実施形態では3つの領域に応じて3つの属性(大人、子供、幼児)を付与することとしたが、これに限るものではない。深度に応じた複数の領域に対し、それぞれ異なる属性が付与される形態であれば良い。
図7Bは2の領域に、2つの属性を付与する形態に関する。この例では、深度1.3mを第1の深度とし、第1の深度よりも短い領域を第1領域としている。CPU11は、第1領域に頭頂が存在する場合、大人が存在すると判断する。第1の深度以上の領域を第2領域とする。CPU11は、第2領域に頭頂が存在する場合、子供が存在すると判断する。実施形態では図7Aに示す3つの領域について処理を行う例を説明する。
図8は履歴DB151のレコードレイアウトを示す説明図である。履歴DB151は日時フィールド、深度フィールド、座標フィールド、属性フィールド及び累積人数フィールド等を含む。深度フィールドには、人間の頭部を認識した日時に対応づけて深度が記憶されている。座標フィールドには、深度に対応付けて認識した頭部頭頂の座標が記憶されている。属性フィールドには、深度に対応づけて属性が記憶されている。図8の例では、12時30分0秒に大人(深度0.9m)及び子供(深度1.2m)が記憶されている。なお日時フィールドでは年月日の記載を省略している。累積人数フィールドは、さらに大人フィールド、子供フィールド及び幼児フィールドを含む。日時に対応付けて計測を開始してからの大人、子供及び幼児の累積人数を記憶している。
CPU11は、複数の頭部を検出した場合、各頭部の頂部の深度を履歴DB151に記憶する。CPU11は、頭部の内最も低い深度の座標である頭頂の座標を深度に対応付けて記憶する。具体的にはCPU11は、第1〜第3領域の深度と属性とを対応付けたテーブルを参照し、記憶した深度に対応する属性を抽出する。CPU11は、深度に対応する属性を履歴DB151に記憶する。CPU11は、属性毎に累積人数を日時に対応付けて履歴DB151に記憶する。CPU11は、記憶した深度及び属性を表示部14に出力する。またCPU11は、各属性の累積人数を表示部14に出力する。
図9は表示結果を示すイメージ図である。CPU11は、取り込んだ画像を表示部14に出力する。CPU11は、各属性のマークを読み出す。各属性のマークは属性別に視認することができるよう設定されている。視認可能にする態様として例えば、各属性のマークは属性毎に色が異なる(例えば、大人は緑、子供は黄色、幼児は赤)、点滅速度が異なる、表示文字が異なるなどの態様が考えられる。本実施形態では、CPU11は、マークとして属性「大人」には、頂部座標の周囲に頂部からの引き出し線と共に「大人」のテキスト文字を表示部14に出力する。併せてCPU11は、頂部座標を中心とする所定範囲内に右上から左下に向かう線分群で形成されるハッチングを表示部14に出力する。
CPU11は、マークとして属性「子供」には、頂部座標の周囲に頂部からの引き出し線と共に「子供」のテキスト文字を表示部14に出力する。併せてCPU11は、頂部座標を中心とする所定範囲内に左上から右下に向かう線分群で形成されるハッチングを表示部14に出力する。CPU11は、マークとして属性「幼児」には、頂部座標の周囲に頂部からの引き出し線と共に「幼児」のテキスト文字を表示部14に出力する。併せてCPU11は、頂部座標を中心とする所定範囲内に横方向に向かう線分群で形成されるハッチングを表示部14に出力する。CPU11は、表示部14の一部に、履歴DB151に記憶した各属性の累積人数を出力する。
図10〜図12は出力処理の手順を示すフローチャートである。CPU11は、センサ2から第1領域にて座標及び深度を取得する(ステップS101)。CPU11は、第1領域のテンプレートモデルを記憶部15から読み出す(ステップS102)。CPU11は、取得した座標及び深度に基づき、所定深度の範囲内で複数の対比モデルを生成する(ステップS103)。CPU11は、テンプレートモデルと対比モデルとの相違が許容値の範囲内であるか否かを判断する(ステップS104)。CPU11は、許容値の範囲内でないと判断した場合(ステップS104でNO)、処理をステップS109へ移行させる。
CPU11は、許容値の範囲内であると判断した場合(ステップS104でYES)、ステップS105へ移行する。CPU11は、大人の頭部と判断し、取得した深度から最低深度及び最低深度に対応する頂部座標を取得する(ステップS105)。CPU11は、認識した頂部のデータとして時計部18から出力される日時、最低深度、属性及び座標を履歴DB151に記憶する(ステップS106)。CPU11は、記憶部15から第1領域のマークを読み出す(ステップS107)。
CPU11は、表示部14にセンサ2から取得した画像を表示する。CPU11は、座標を参照し、読み出したマークを画像に重畳して表示する(ステップS108)。CPU11は頭と認識した座標群及び以外の座標についても、ステップS101〜ステップS108の処理を繰り返す。他の頭部を発見した場合は、同様に履歴DB151に2人目として属性「大人」と深度を記憶する。全ての座標について処理を終えた後、CPU11は、処理をステップS109へ移行させる。
CPU11は、センサ2から第2領域にて座標及び深度を取得する(ステップS109)。CPU11は、第2領域のテンプレートモデルを記憶部15から読み出す(ステップS111)。第2領域には大人よりも頭の小さい子供が存在する可能性が高いことから、第1領域のテンプレートモデルより小さなテンプレートモデルを用意しておけば良い。CPU11は、取得した座標及び深度に基づき、所定深度の範囲内で複数の対比モデルを生成する(ステップS112)。CPU11は、テンプレートモデルと対比モデルとの相違が許容値の範囲内であるか否かを判断する(ステップS113)。CPU11は、許容値の範囲内でないと判断した場合(ステップS113でNO)、処理をステップS118へ移行させる。
CPU11は、許容値の範囲内であると判断した場合(ステップS113でYES)、ステップS114へ移行する。CPU11は、子供の頭部と判断し、取得した深度から最低深度及び最低深度に対応する頂点座標を取得する(ステップS114)。CPU11は、認識した頂部のデータとして時計部18から出力される日時、最低深度、属性及び座標を履歴DB151に記憶する(ステップS115)。CPU11は、記憶部15から第2領域のマークを読み出す(ステップS116)。
CPU11は、表示部14にセンサ2から取得した画像を表示する。CPU11は、座標を参照し、読み出した第2領域のマークを画像に重畳して表示する(ステップS117)。CPU11は既に頭と認識した座標群及び以外の座標についても、ステップS109〜ステップS117の処理を繰り返す。他の頭部を発見した場合は、同様に履歴DB151に2人目として属性「子供」と深度を記憶する。全ての座標について処理を終えた後、CPU11は、処理をステップS118へ移行させる。
CPU11は、センサ2から第3領域にて座標及び深度を取得する(ステップS118)。CPU11は、第3領域のテンプレートモデルを記憶部15から読み出す(ステップS119)。第3領域には大人よりも頭の小さい幼児が存在する可能性が高いことから、第2領域のテンプレートモデルより小さなテンプレートモデルを用意しておけば良い。CPU11は、取得した座標及び深度に基づき、所定深度の範囲内で複数の対比モデルを生成する(ステップS121)。CPU11は、テンプレートモデルと対比モデルとの相違が許容値の範囲内であるか否かを判断する(ステップS122)。CPU11は、許容値の範囲内でないと判断した場合(ステップS122でNO)、処理をステップS127へ移行させる。
CPU11は、許容値の範囲内であると判断した場合(ステップS122でYES)、ステップS123へ移行する。CPU11は、幼児の頭部と判断し、取得した深度から最低深度及び最低深度に対応する頂点座標を取得する(ステップS123)。CPU11は、認識した頂部のデータとして時計部18から出力される日時、最低深度、属性及び座標を履歴DB151に記憶する(ステップS124)。CPU11は、記憶部15から第3領域のマークを読み出す(ステップS125)。
CPU11は、表示部14にセンサ2から取得した画像を表示する。CPU11は、座標を参照し、読み出した第3領域のマークを画像に重畳して表示する(ステップS126)。CPU11は既に頭と認識した座標群及び以外の座標についても、ステップS118〜ステップS126の処理を繰り返す。他の頭部を発見した場合は、同様に履歴DB151に2人目として属性「幼児」と深度を記憶する。全ての座標について処理を終えた後、CPU11は、処理をステップS127へ移行させる。
CPU11は、履歴DB151を参照し、属性毎に累積人数を算出する。CPU11は、算出した累積人数を属性毎に、履歴DB151に記憶する(ステップS127)。CPU11は、表示部14に属性毎の累積人数を出力する(ステップS128)。これにより、複数の人物の通過を精度良く検出することが可能となる。また深度を利用することで、通過する人物の属性を把握することが可能となる。また通過する人物が大人であるか、子供であるかを容易に把握することが可能となる。
本実施の形態2は以上の如きであり、その他は実施の形態1と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
実施の形態3
図13は歩行状況を示す説明図である。図13Aは大人と子供が歩いている状況を示している。CPU11は、上述した実施の形態の処理により、複数の人物を認識する。本実施形態では2名の人物を認識する例を示すが、3人以上であっても良い。以下では一の人物を第1対象、他の人物を第2対象という。第1領域に属する人物を大人と判断し、第2領域に属する人物を子供と判断する。CPU11は、履歴DB151の座標を参照し、第1対象の頂部座標と第2対象との頂部座標との同一平面における距離を算出する。CPU11は、記憶部15から閾距離を読み出す。この距離は例えば、30cmとすればよい。CPU11は、算出した距離が閾距離以上か否かを判断する。CPU11は、閾距離以上と判断した場合、第2領域に属する第2対象を子供と判断する。
図14は履歴DB151のレコードレイアウトを示す説明図である。履歴DB151は、日時フィールド、深度フィールド、座標フィールド、属性フィールド、及び、累積人数フィールド等を含む。属性フィールドには、大人、子供に加えて、子連れ歩行幼児、だっこ幼児、及び歩行幼児が記憶されている。図13Aの例では、子供と認識されたため、属性は「子供」と記憶されている。また大人と子供の累積人数が1増加している。図14の例では12時30分00秒に、大人と子供が認識され、深度、座標、及び属性「大人」と「子供」が記憶されている。また、累積人数は、大人「9」、子供「5」と記憶されている。
図13Bは、幼児が大人に抱かれている状況を示している。当該状況における幼児を、以下だっこ幼児という。CPU11は、第2領域に属すると判断し、かつ、頂部間の平面における距離が第1距離(例えば30cm)より小さい場合、第2対象をだっこ幼児と判断する。本実施形態ではだっこ幼児と判断するが、幼児が大人に背負われている場合も同様の特徴を有するため、おんぶ幼児と判断しても良い。なお、本実施形態ではだっこ幼児であるものとして説明する。だっこ幼児とおんぶ幼児とを区別する場合、CPU11は、撮像部23から取り込んだ画像データから第1対象の進行方向を取得する。そしてCPU11は、進行方向反対側に第2対象の頂部が存在する場合、おんぶ幼児と判断し、それ以外はだっこ幼児と判断すれば良い。CPU11は、だっこ幼児と判断した場合、属性に「だっこ幼児」を記憶する。12時31分00秒の例では、大人及びだっこ幼児の累積人数がそれぞれ1増加している。
図13Cは、子連れの歩行する幼児が存在する状況を示している。CPU11は、第2対象の深度が第3領域に属し、かつ、第1対象と第2対象との頂部座標の距離が第1距離より小さい場合、属性を子連れ歩行幼児と判断する。この場合、歩行する幼児と大人が手をつないで、または、接近して歩行していると判断する。図14における12時32分00秒では、子連れ歩行幼児が認識され、大人と子連れ歩行幼児の累積人数が1増加している。なお、CPU11は、第2対象が第3領域に属し、かつ頂部座標の距離が第1距離以上の場合、大人の手を離れて自由に歩行している幼児であるとして、属性を歩行幼児に設定する。
図15〜図18は認識処理の手順を示すフローチャートである。CPU11は、センサ2から第1領域にて座標及び深度を取得する(ステップS151)。CPU11は、第1領域のテンプレートモデルを記憶部15から読み出す(ステップS152)。CPU11は、取得した座標及び深度に基づき、所定深度の範囲内で複数の対比モデルを生成する(ステップS153)。CPU11は、テンプレートモデルと対比モデルとの相違が許容値の範囲内であるか否かを判断する(ステップS154)。CPU11は、許容値の範囲内でないと判断した場合(ステップS154でNO)、処理をステップS159へ移行させる。
CPU11は、許容値の範囲内であると判断した場合(ステップS154でYES)、ステップS155へ移行する。CPU11は、大人の頭部と判断し、取得した深度から最低深度及び最低深度に対応する頂部座標を取得する(ステップS155)。CPU11は、認識した頂部のデータとして時計部18から出力される日時、最低深度、属性及び座標を履歴DB151に記憶する(ステップS156)。CPU11は、記憶部15から第1領域の大人のマークを読み出す(ステップS157)。
CPU11は、表示部14にセンサ2から取得した画像を表示する。CPU11は、座標を参照し、読み出した大人のマークを画像に重畳して表示する(ステップS158)。CPU11は、センサ2から第2領域にて座標及び深度を取得する(ステップS159)。CPU11は、第2領域のテンプレートモデルを記憶部15から読み出す(ステップS161)。CPU11は、取得した座標及び深度に基づき、所定深度の範囲内で複数の対比モデルを生成する(ステップS162)。CPU11は、テンプレートモデルと対比モデルとの相違が許容値の範囲内であるか否かを判断する(ステップS163)。CPU11は、許容値の範囲内でないと判断した場合(ステップS163でNO)、処理をステップS175へ移行させる。
CPU11は、許容値の範囲内であると判断した場合(ステップS163でYES)、ステップS164へ移行する。CPU11は、取得した深度から最低深度及び最低深度に対応する頭部座標を取得する(ステップS164)。CPU11は、認識した頂部のデータとして時計部18から出力される日時、最低深度、及び座標を履歴DB151に記憶する(ステップS165)。
CPU11は、記憶部15から閾距離を読み出す(ステップS166)。CPU11は、大人と認識した第1対象と、ステップS164で許容値の範囲内と判断した第2対象との頂部の座標距離が、閾距離以上か否かを判断する(ステップS167)。CPU11は、閾距離以上と判断した場合(ステップS167でYES)、処理をステップS168へ移行させる。
CPU11は、履歴DB151に属性「子供」を記憶する(ステップS168)。CPU11は、記憶部15から第2領域の子供マークを読み出す(ステップS169)。CPU11は、表示部14にセンサ2から取得した画像を表示する。CPU11は、座標を参照し、読み出した第2領域の子供マークを画像に重畳して表示する(ステップS171)。
CPU11は、閾距離以上でないと判断した場合(ステップS167でNO)、処理をステップS172へ移行させる。CPU11は、履歴DB151に属性「だっこ幼児」を記憶する(ステップS172)。CPU11は、記憶部15から第2領域のだっこ幼児マークを読み出す(ステップS173)。CPU11は、表示部14にセンサ2から取得した画像を表示する。CPU11は、座標を参照し、読み出した第2領域のだっこ幼児マークを画像に重畳して表示する(ステップS174)。
CPU11は、センサ2から第3領域にて座標及び深度を取得する(ステップS175)。CPU11は、第3領域のテンプレートモデルを記憶部15から読み出す(ステップS176)。CPU11は、取得した座標及び深度に基づき、所定深度の範囲内で複数の対比モデルを生成する(ステップS177)。CPU11は、テンプレートモデルと対比モデルとの相違が許容値の範囲内であるか否かを判断する(ステップS178)。CPU11は、許容値の範囲内でないと判断した場合(ステップS178でNO)、処理をステップS189へ移行させる。
CPU11は、許容値の範囲内であると判断した場合(ステップS178でYES)、ステップS179へ移行する。CPU11は、取得した深度から最低深度及び最低深度に対応する頂部座標を取得する(ステップS179)。CPU11は、認識した頂部のデータとして時計部18から出力される日時、最低深度、及び座標を履歴DB151に記憶する(ステップS181)。
CPU11は、大人と認識した第1対象と、ステップS178で許容値の範囲内と判断した第2対象との頂部の座標距離が、閾距離以上か否かを判断する(ステップS182)。CPU11は、閾距離以上と判断した場合(ステップS182でYES)、処理をステップS183へ移行させる。
CPU11は、履歴DB151に属性「歩行幼児」を記憶する(ステップS183)。CPU11は、記憶部15から第3領域の歩行幼児マークを読み出す(ステップS184)。CPU11は、表示部14にセンサ2から取得した画像を表示する。CPU11は、座標を参照し、読み出した第3領域の歩行幼児マークを画像に重畳して表示する(ステップS185)。
CPU11は、閾距離以上でないと判断した場合(ステップS182でNO)、処理をステップS186へ移行させる。CPU11は、履歴DB151に属性「子連れ歩行幼児」を記憶する(ステップS186)。CPU11は、記憶部15から第3領域の子連れ歩行幼児マークを読み出す(ステップS187)。
CPU11は、表示部14にセンサ2から取得した画像を表示する。CPU11は、座標を参照し、読み出した第3領域の子連れ歩行幼児マークを画像に重畳して表示する(ステップS188)。
CPU11は、履歴DB151を参照し、属性毎に累積人数を算出する。CPU11は、算出した累積人数を属性毎に、履歴DB151に記憶する(ステップS189)。CPU11は、表示部14に属性毎の累積人数を出力する(ステップS1810)。これにより、幼児が大人に密着している場合、一体として誤認識される恐れがあるところ、抱かれているのか、歩行しているのかを区別した上で、複数の人物を認識することが可能となる。また、深度に応じて子供と幼児とを区別するようにしたので、よりきめ細かく歩行者の動向を把握することが可能となる。また認識した複数の頭部の属性に応じて相互に異なる形態で表示部14にマークを表示するので、オペレータは容易に視認することが可能となる。
本実施の形態3は以上の如きであり、その他は実施の形態1から実施の形態2と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
実施の形態4
実施の形態4は抱かれている幼児が睡眠状態にあるか否かを判断する形態に関する。図19は幼児の接近状況を示す説明図である。CPU11は、属性だっこ幼児と判断した場合、当該幼児が睡眠状態にあるか否かを判断する。CPU11は、上述した第1距離よりも短い第2距離(例えば15cm)を記憶部15から読み出す。CPU11は、第1対象の頂部座標と第2対象の頂部座標との平面における距離が第2距離以下であるか否かを判断する。CPU11は、第2距離以下であると判断した場合、幼児は睡眠状態にあると判断する。
例えば、だっこされている幼児が寝ている場合は、子供は自分で姿勢を保つことはできないので、頭も含め体全体を抱っこしている大人に預けている状態になるであろう。従って、だっこされている幼児と抱っこしている大人との頭の頂部間の平面における距離は、かなり近い距離(たとえば15cmよりも近い距離)になると考えられる。一方、抱っこされている幼児が起きている、すなわち活動状態にあれば、子供は自分で姿勢を保つであろう。従って、頭の頂部間の平面における距離は、寝ている場合と比較して離れた状態になると考えられる。
例えば、何らかの待ち行列に並んでいる人をセンサ2の計測対象とすることができる。センサ2により、大人が子供を抱っこしている状態であり、さらに子供が睡眠状態であると判断された場合、待ち行列中の人に対する音声や画像などでの情報提供の内容を、大人向けのコンテンツとすることが考えられる。また、幼児が起きている状態であると判断された場合、情報提供の内容を、幼児向けのコンテンツとすることが考えられる。
図20は履歴DB151のレコードレイアウトを示す説明図である。新たに睡眠フィールドが設けられている。CPU11は、睡眠状態にあると判断した場合、属性だっこ幼児に対応付けて睡眠フラグを記憶する。
図21は認識処理の手順を示すフローチャートである。CPU11は、ステップS172の処理後以下の処理を行う。CPU11は、第1対象と第2対象との頂部座標の距離を算出する(ステップS211)。CPU11は、記憶部15から第2距離を読み出す(ステップS212)。CPU11は、算出した距離は第2距離以下か否かを判断する(ステップS213)。CPU11は、第2距離以下であると判断した場合(ステップS213でYES)、ステップS214へ移行する。
CPU11は、履歴DB151に、記憶しただっこ幼児の属性に対応付けて、睡眠フラグを記憶する(ステップS214)。CPU11は、記憶部15から第2領域の睡眠幼児マークを読み出す(ステップS215)。CPU11は、表示部14にセンサ2から取得した画像を表示する。CPU11は、座標を参照し、読み出した第2領域の睡眠幼児マークを画像に重畳して表示する(ステップS216)。CPU11は、睡眠フラグがセットされただっこ幼児の累積数を算出する(ステップS217)。CPU11は、算出した累積数を表示部14に出力する(ステップS218)。
CPU11は、算出した距離が第2距離以下でないと判断した場合(ステップS213でNO)、処理をステップS219へ移行させる。CPU11は、記憶部15から第2領域のだっこ幼児マークを読み出す(ステップS219)。CPU11は、表示部14にセンサ2から取得した画像を表示する。CPU11は、座標を参照し、読み出した第2領域のだっこ幼児マークを画像に重畳して表示する(ステップS2111)。これにより、幼児が睡眠状態にあるか否かも把握することができ、施設側は当該情報を有効活用することが可能となる。
本実施の形態4は以上の如きであり、その他は実施の形態1から実施の形態3と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
実施の形態5
実施の形態5はベビーカーを認識する形態に関する。CPU11は、深度を取得し、第3領域にて複数の車輪形状を認識した場合、ベビーカーであると判断する。本実施形態では4輪のベビーカーを認識する例を挙げて説明するが、これに限るものではない。3輪以上であれば良い。CPU11は、所定幅(例えば車輪幅3cmから10cm)を有する半円筒形状を第3領域にて複数検出した場合に、ベビーカーであると判断する。CPU11は、履歴DB151を参照し、検出した複数の車輪にて囲まれる座標領域内に、幼児が存在すると判断した場合、ベビーカーに幼児が座っていると判断する。
図22は履歴DB151のレコードレイアウトを示す説明図である。属性としてベビーカー幼児が新たに設けられている。また累積人数には、ベビーカーの他、ベビーカー幼児のフィールドが設けられている。CPU11は、ベビーカーを認識した場合、ベビーカーの累積数をインクリメントする。CPU11は、ベビーカーを認識し、かつ、子連れ歩行幼児と判断した第2対象の頭頂座標が認識した複数の車輪で囲まれる領域内に属すると判断した場合、属性をベビーカー幼児に書き換える。またCPU11は、ベビーカー幼児の累積人数をインクリメントする。
図23及び図24は認識処理の手順を示すフローチャートである。CPU11は、センサ2から第3領域にて座標及び深度を取得する(ステップS231)。CPU11は、第3領域のベビーカーのテンプレートモデルを記憶部15から読み出す(ステップS232)。なお、ベビーカーの車輪のテンプレートモデルは予め各メーカーのベビーカーを測定しておくことにより、準備しておけば良い。CPU11は、取得した座標及び深度に基づき、所定深度の範囲内で複数の対比モデルを生成する(ステップS233)。CPU11は、テンプレートモデルと対比モデルとの相違が許容値の範囲内にある対比モデルを抽出する(ステップS234)。
CPU11は、許容値の範囲内にある対比モデルが複数か否かにより、複数の車輪が存在するか否かを判断する(ステップS235)。CPU11は、複数の車輪が存在しないと判断した場合(ステップS235でNO)、処理を終了する。CPU11は、複数の車輪が存在すると判断した場合(ステップS235でYES)、ステップS236へ移行する。CPU11は、ベビーカーと判断し、取得した深度から各車輪の最低深度及び最低深度に対応する頂部座標を取得する(ステップS236)。CPU11は、時計部18から出力される日時、各車輪の最低深度及び座標をRAM12に記憶する(ステップS237)。
CPU11は、ベビーカーの累積数をインクリメントする(ステップS238)。CPU11は、上述した実施形態により子連れ歩行幼児と認識したか否か判断する(ステップS239)。CPU11は、子連れ歩行幼児と認識していない場合(ステップS239でNO)、処理を終了する。CPU11は、子連れ歩行幼児と認識した場合(ステップS239でYES)、処理をステップS241へ移行させる。CPU11は、RAM12の各車輪の座標及び履歴DB151の子連れ歩行幼児の座標を参照し、複数の車輪の座標で囲まれる領域に、頭部座標が存在するか否かを判断する(ステップS241)。
CPU11は、頭部座標が存在しないと判断した場合(ステップS241でNO)、処理を終了する。CPU11は、頭部座標が存在すると判断した場合(ステップS241でYES)、処理をステップS242へ移行させる。CPU11は、履歴DB151における属性を子連れ歩行幼児からベビーカー幼児に変更する(ステップS242)。CPU11は、履歴DB151のベビーカー幼児の累積人数をインクリメントする(ステップS243)。CPU11は、履歴DB151に記憶したベビーカーの累積数、または、ベビーカー幼児の累積人数を表示部14へ出力する。これにより、ベビーカーの数及びベビーカーに乗っている幼児の数を把握することが可能となる。なお、本実施形態では2つの前輪及び2つの後輪を認識する形態を例示したがこれに限るものではない。CPU11は、他の特徴部分を認識するようにしても良い。例えば、CPU11は、2つの前輪と、後輪上側に設けられるハンドル上に乗せられた人間の左右の手指とを認識した場合に、ベビーカーであると判断しても良い。その他、CPU11は、1つの前輪と、2つの後輪と、後輪上側に設けられるハンドル上に乗せられた人間の左右の手指とを認識した場合に、ベビーカーであると判断しても良い。
本実施の形態5は以上の如きであり、その他は実施の形態1から実施の形態4と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
実施の形態6
実施の形態6は車いすを認識する形態に関する。CPU11は、深度を取得し、第3領域にて複数の車いすに係る車輪形状を認識した場合、車いすであると判断する。例えば、所定幅(例えば車輪幅3cm〜5cm)を有し、かつ、前輪に係る所定深度(例えば深度1.7m〜1.9m)及び後輪に係る所定深度(例えば深度2.2m〜2.3m)を有する半円筒形状を第3領域にて複数検出した場合に、車いすであると判断すれば良い。CPU11は、履歴DB151を参照し、検出した複数の車輪の間の座標領域内に、第2領域に係る子供またはだっこ幼児が存在すると判断した場合、車いすに人間が座っていると判断する。
図25は履歴DB151のレコードレイアウトを示す説明図である。属性として車いすに乗った人間が新たに設けられている。また累積人数には、車いすの他、車いすに乗った人間のフィールドが設けられている。CPU11は、車いすを認識した場合、車いすの累積数をインクリメントする。CPU11は、車いすを認識し、かつ、第2領域の子供、または、だっこ幼児と判断した第2対象の頭頂座標が認識した複数の車輪で囲まれる領域内に属すると判断した場合、属性を車いすに乗った人間に書き換える。またCPU11は、車いすに乗った人間の累積人数をインクリメントする。
図26及び図27は認識処理の手順を示すフローチャートである。CPU11は、センサ2から第3領域にて座標及び深度を取得する(ステップS261)。CPU11は、第3領域の車いすのテンプレートモデルを記憶部15から読み出す(ステップS262)。なお、車いすの車輪のテンプレートモデルは予め各メーカーの車いすを測定しておくことにより、準備しておけば良い。CPU11は、取得した座標及び深度に基づき、所定深度の範囲内で複数の対比モデルを生成する(ステップS263)。CPU11は、テンプレートモデルと対比モデルとの相違が許容値の範囲内にある対比モデルを抽出する(ステップS264)。
CPU11は、許容値の範囲内にある対比モデルが複数か否かにより、複数の車輪が存在するか否かを判断する(ステップS265)。CPU11は、複数の車輪が存在しないと判断した場合(ステップS265でNO)、処理を終了する。CPU11は、複数の車輪が存在すると判断した場合(ステップS265でYES)、ステップS266へ移行する。CPU11は、車いすと判断し、取得した深度から各車輪の最低深度及び最低深度に対応する頂部座標を取得する(ステップS266)。CPU11は、時計部18から出力される日時と各車輪の最低深度及び座標とをRAM12に記憶する(ステップS267)。
CPU11は、車いすの累積数をインクリメントする(ステップS268)。CPU11は、上述した実施形態により子供またはだっこ幼児と認識したか否か判断する(ステップS269)。CPU11は、子供またはだっこ幼児と認識していない場合(ステップS269でNO)、処理を終了する。CPU11は、子供またはだっこ幼児と認識した場合(ステップS269でYES)、処理をステップS271へ移行させる。CPU11は、RAM12の各車輪の座標及び履歴DB151の子供またはだっこ幼児の座標を参照し、複数の車輪の座標で囲まれる領域に、頭部座標が存在するか否かを判断する(ステップS271)。
CPU11は、頭部座標が存在しないと判断した場合(ステップS271でNO)、処理を終了する。CPU11は、頭部座標が存在すると判断した場合(ステップS271でYES)、処理をステップS272へ移行させる。CPU11は、履歴DB151における属性を子供またはだっこ幼児から車いすに乗った人間に変更する(ステップS272)。CPU11は、履歴DB151の車いすに乗った人間の累積人数をインクリメントする(ステップS273)。CPU11は、履歴DB151に記憶した車いすの累積数、または、車いすに乗った人間の累積人数を表示部14へ出力する。これにより、車いすの数及び車いすに乗っている人間の数を把握することが可能となる。なお、実施の形態5で述べた処理を併せて行っても良い。また、本実施形態では2つの前輪及び2つの後輪を認識する形態を例示したがこれに限るものではない。CPU11は、他の特徴部分を認識するようにしても良い。例えば、CPU11は、2つの前輪と、後輪上側に設けられる取っ手上に乗せられた人間の左右の手指とを認識した場合に、車いすであると判断しても良い。その他、CPU11は、2つの前輪と、2つの後輪と、後輪上側に設けられる取っ手上に乗せられた人間の左右の手指とを認識した場合に、車いすであると判断しても良い。
本実施の形態6は以上の如きであり、その他は実施の形態1から実施の形態5と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
実施の形態7
実施の形態7は通行する人間の側方にセンサを設置する形態に関する。図28は情報処理システムの概要を示す説明図である。本実施形態の如くセンサ2と同一のセンサ3を通行する人間の側方に設けても良い。
図29は認識処理の手順を示すフローチャートである。CPU11は、頭、左肩、右肩、首、背骨の座標を取得する(ステップS291)。CPU11は、頭、左肩、右肩、首、背骨の深度を取得する(ステップS292)。CPU11は、取得した座標及び深度から、頭、左肩、右肩、首、背骨の間隔比を算出する(ステップS293)。CPU11は、記憶部15に記憶した間隔比のテンプレートを読み出す。CPU11は、算出した間隔比がテンプレートの間隔比に対し、許容範囲内であるか否かを判断する(ステップS294)。
CPU11は、許容範囲内であると判断した場合(ステップS294でYES)、通行人は一人と判断する(ステップS296)。CPU11は、許容範囲内でないと判断した場合(ステップS294でNO)、処理をステップS295へ移行させる。CPU11は、記憶部15から、頭、左肩、右肩、首、背骨のテンプレート深度を読み出す。CPU11は、頭、左肩、右肩、首、背骨の深度と、テンプレートの頭、左肩、右肩、首、背骨の深度とを比較し、許容値の範囲内であるか否かを判断する(ステップS295)。CPU11は、許容値の範囲内と判断した場合(ステップS295でYES)、通行人は一人と判断する(ステップS296)。
CPU11は、許容値の範囲内でないと判断した場合(ステップS295でNO)、処理を終了する。この場合、CPU11は、対象は、大人と抱かれた幼児の組み合わせ、大人と比較的大きな荷物、または複数人が密接している状況と判断する。このように側面からもセンサ3を利用することで、認識精度を高めることが可能となる。
本実施の形態7は以上の如きであり、その他は実施の形態1から実施の形態6と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
実施の形態8
図30は上述した形態のコンピュータ1の動作を示す機能ブロック図である。CPU11が制御プログラム15Pを実行することにより、コンピュータ1は以下のように動作する。判定部301は、人の頭上からセンシングが可能な位置に設置された深度センサから取得した深度を解析して、頭部形状の検出基準を満たす対象が存在するか判定する。出力部302は、判定結果に応じて、人の存在を示す情報を出力する。
図31は実施の形態8に係るコンピュータ1のハードウェア群を示すブロック図である。コンピュータ1を動作させるためのプログラムは、ディスクドライブ等の読み取り部10AにCD-ROM、DVD(Digital Versatile Disc)ディスク、メモリーカード、またはUSB(Universal Serial Bus)メモリ等の可搬型記録媒体1Aを読み取らせて記憶部15に記憶しても良い。また当該プログラムを記憶したフラッシュメモリ等の半導体メモリ1Bをコンピュータ1内に実装しても良い。さらに、当該プログラムは、インターネット等の通信網Nを介して接続される他のサーバコンピュータ(図示せず)からダウンロードすることも可能である。以下に、その内容を説明する。
図31に示すコンピュータ1は、上述した各種ソフトウェア処理を実行するプログラムを、可搬型記録媒体1Aまたは半導体メモリ1Bから読み取り、或いは、通信網を介して他のサーバコンピュータ(図示せず)からダウンロードする。当該プログラムは、制御プログラム15Pとしてインストールされ、RAM12にロードして実行される。これにより、上述したコンピュータ1として機能する。
本実施の形態8は以上の如きであり、その他は実施の形態1から7と同様であるので、対応する部分には同一の参照番号を付してその詳細な説明を省略する。
以上の実施の形態1乃至8を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
人の頭上からセンシングが可能な位置に設置された深度センサから取得した深度を解析して、頭部形状の検出基準を満たす対象が存在するか判定し、
判定結果に応じて、人の存在を示す情報を出力する
処理をコンピュータに実行させることを特徴とする情報処理方法。
(付記2)
前記頭部形状の検出基準は、略半球形状である
ことを特徴とする付記1に記載の情報処理方法。
(付記3)
前記人の存在を示す情報は、頭部形状の検出基準を満たすと判定された対象の数と同じ人数の人が存在することを示す情報である
ことを特徴とする付記1又は2に記載の情報処理方法。
(付記4)
前記対象についての深度に応じて、大人の存在又は子供の存在を示す情報を前記人の存在を示す情報として出力する
ことを特徴とする付記1〜3のいずれか一つに記載の情報処理方法。
(付記5)
前記対象についての深度が第1の深度より短い場合に、大人の存在を示す情報を前記人の存在を示す情報として出力する
ことを特徴とする付記4に記載の情報処理方法。
(付記6)
前記対象についての深度が第2の深度より長い場合に、子供の存在を示す情報を前記人の存在を示す情報として出力する
ことを特徴とする付記4に記載の情報処理方法。
(付記7)
前記対象についての深度が第1の深度より短い場合に、大人の存在を示す情報を前記人の存在を示す情報として出力し、前記対象についての深度が前記第1の深度以上の場合、又は、前記第1の深度よりも長い第2の深度より長い場合に、子供の存在を示す情報を前記人の存在を示す情報として出力する
ことを特徴とする付記4に記載の情報処理方法。
(付記8)
頭部形状の検出基準を満たす対象が複数存在し、第1の対象と第2の対象との間の距離が所定の距離範囲内であって、前記第1の対象の深度が大人に対応する深度レンジに属し、前記第2の対象の深度が大人に対応する深度レンジ外に属する場合に、前記人の存在を示す情報として、子連れの大人が存在することを示す情報を出力する、
ことを特徴とする付記1に記載の情報処理方法。
(付記9)
前記第2の対象の深度の長短に応じて、前記第2の対象の子供の種別を判定し、前記人の存在を示す情報として、判定した前記子供の種別を出力する
ことを特徴とする付記8に記載の情報処理方法。
(付記10)
下方をセンシングする深度センサを用いて、人の頭部形状に対応する形状を持つ1又は複数の対象を検出し、
検出した1又は複数の対象について、人に対応するシンボルを割り当ててコンピュータのディスプレイに表示させる
ことを特徴とする情報処理方法。
(付記11)
検出した1又は複数の対象について、深度に応じて異なる大人又は子供のシンボルを割り当てて前記ディスプレイに表示させる
ことを特徴とする付記10に記載の情報処理方法。
(付記12)
人の頭上からセンシングが可能な位置に設置された深度センサから取得した深度を解析して、頭部形状の検出基準を満たす対象が存在するか判定し、
判定結果に応じて、人の存在を示す情報を出力する
処理をコンピュータに実行させることを特徴とするプログラム。
(付記13)
人の頭上からセンシングが可能な位置に設置された深度センサから取得した深度を解析して、頭部形状の検出基準を満たす対象が存在するか判定する判定部と、
判定結果に応じて、人の存在を示す情報を出力する出力部と
を備える情報処理装置。
(付記14)
前記第1の対象と前記第2の対象との距離が第1距離以下である場合、子供が寝ていることを示す情報を出力する
を備える付記8に記載の情報処理方法。
(付記15)
前記深度センサから取得した深度に基づきベビーカーが存在するか否かを判断し、
存在すると判断した場合、ベビーカーを示す情報を出力する
付記1に記載の情報処理方法。
(付記16)
ベビーカーが存在すると判断し、かつ、該ベビーカーの存在領域に頭部形状の検出基準を満たす対象が存在すると判断した場合、ベビーカー上に子供が存在することを示す情報を出力する
付記15に記載の情報処理方法。
(付記17)
前記深度センサから取得した深度に基づき車いすが存在するか否かを判断し、
存在すると判断した場合、車いすを示す情報を出力する
付記1に記載の情報処理方法。
(付記18)
車いすが存在すると判断し、かつ、該車いすの存在領域に頭部形状の検出基準を満たす対象が存在すると判断した場合、車いす上に人間が存在することを示す情報を出力する
付記17に記載の情報処理方法。
(付記19)
前記深度センサに対応付けて設けられた撮像装置から取り込んだ画像上に、人の存在を示す情報を重畳して表示する付記1に記載の情報処理方法。
(付記20)
前記深度センサに対応付けて設けられた撮像装置から取り込んだ画像上に、大人の存在を示す情報と、子供の存在を示す情報とを異なる形態で重畳して表示する付記4に記載の情報処理方法。
1 コンピュータ
1A 可搬型記録媒体
1B 半導体メモリ
2 センサ
3 センサ
10A 読み取り部
11 CPU
12 RAM
13 入力部
14 表示部
15 記憶部
15P 制御プログラム
16 通信部
18 時計部
21 CPU
22 RAM
23 撮像部
24 深度取得部
25 記憶部
25P 制御プログラム
26 通信部
151 履歴DB
301 判定部
302 出力部

Claims (6)

  1. 人の頭上からセンシングが可能な位置に設置された深度センサから取得した深度を解析して、頭部形状の検出基準を満たす対象が存在するか判定し、
    判定結果に応じて、人の存在を示す情報を出力する
    処理をコンピュータに実行させることを特徴とする情報処理方法。
  2. 前記頭部形状の検出基準は、略半球形状である
    ことを特徴とする請求項1に記載の情報処理方法。
  3. 前記人の存在を示す情報は、頭部形状の検出基準を満たすと判定された対象の数と同じ人数の人が存在することを示す情報である
    ことを特徴とする請求項1又は2に記載の情報処理方法。
  4. 下方をセンシングする深度センサを用いて、人の頭部形状に対応する形状を持つ1又は複数の対象を検出し、
    検出した1又は複数の対象について、人に対応するシンボルを割り当ててコンピュータのディスプレイに表示させる
    ことを特徴とする情報処理方法。
  5. 人の頭上からセンシングが可能な位置に設置された深度センサから取得した深度を解析して、頭部形状の検出基準を満たす対象が存在するか判定し、
    判定結果に応じて、人の存在を示す情報を出力する
    処理をコンピュータに実行させることを特徴とするプログラム。
  6. 人の頭上からセンシングが可能な位置に設置された深度センサから取得した深度を解析して、頭部形状の検出基準を満たす対象が存在するか判定する判定部と、
    判定結果に応じて、人の存在を示す情報を出力する出力部と
    を備える情報処理装置。
JP2014098619A 2014-05-12 2014-05-12 情報処理方法、プログラム及び情報処理装置 Pending JP2015216518A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014098619A JP2015216518A (ja) 2014-05-12 2014-05-12 情報処理方法、プログラム及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014098619A JP2015216518A (ja) 2014-05-12 2014-05-12 情報処理方法、プログラム及び情報処理装置

Publications (1)

Publication Number Publication Date
JP2015216518A true JP2015216518A (ja) 2015-12-03

Family

ID=54753019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014098619A Pending JP2015216518A (ja) 2014-05-12 2014-05-12 情報処理方法、プログラム及び情報処理装置

Country Status (1)

Country Link
JP (1) JP2015216518A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019532387A (ja) * 2016-08-15 2019-11-07 エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. 電子ゲート環境のための乳幼児検出
JP2022089834A (ja) * 2016-03-18 2022-06-16 日本電気株式会社 映像監視システム、映像監視方法、及びプログラム

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04242877A (ja) * 1990-12-28 1992-08-31 Giken Torafuitsuku Kk 通行者検出方法
JP2005143016A (ja) * 2003-11-10 2005-06-02 Hitachi Kokusai Electric Inc 監視システムおよび監視方法
JP2006010318A (ja) * 2004-06-22 2006-01-12 Nippon Telegr & Teleph Corp <Ntt> 被写体位置検出装置、被写体位置検出方法およびこの方法のプログラム
JP2006146378A (ja) * 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム
JP2006185166A (ja) * 2004-12-27 2006-07-13 Matsushita Electric Works Ltd 距離画像を用いた人体検知方法および人体検知装置
JP2006285409A (ja) * 2005-03-31 2006-10-19 Bab-Hitachi Industrial Co 店舗等における人数及び人流カウント方法並びにこれらを利用したインストアマーチャンダイジングの提言方法。
JP2009223835A (ja) * 2008-03-18 2009-10-01 Sony Corp 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP2010165183A (ja) * 2009-01-15 2010-07-29 Panasonic Electric Works Co Ltd 人体検出装置
JP2010191487A (ja) * 2009-02-13 2010-09-02 Sony Corp 情報処理装置および情報処理方法
JP2010262527A (ja) * 2009-05-08 2010-11-18 Nabtesco Corp 通行者計数装置、通行者計数方法および通行者計数プログラム
JP2011047772A (ja) * 2009-08-26 2011-03-10 Konan Gakuen 物体検知システム、物体検知システムの制御方法、制御プログラム、および記録媒体
JP2011081736A (ja) * 2009-10-09 2011-04-21 Clarion Co Ltd 歩行者検出システム
JP2012011989A (ja) * 2010-07-05 2012-01-19 Saxa Inc 駅ホームの監視カメラシステム
US20130272576A1 (en) * 2011-09-30 2013-10-17 Intel Corporation Human head detection in depth images

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04242877A (ja) * 1990-12-28 1992-08-31 Giken Torafuitsuku Kk 通行者検出方法
JP2005143016A (ja) * 2003-11-10 2005-06-02 Hitachi Kokusai Electric Inc 監視システムおよび監視方法
JP2006010318A (ja) * 2004-06-22 2006-01-12 Nippon Telegr & Teleph Corp <Ntt> 被写体位置検出装置、被写体位置検出方法およびこの方法のプログラム
JP2006146378A (ja) * 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム
JP2006185166A (ja) * 2004-12-27 2006-07-13 Matsushita Electric Works Ltd 距離画像を用いた人体検知方法および人体検知装置
JP2006285409A (ja) * 2005-03-31 2006-10-19 Bab-Hitachi Industrial Co 店舗等における人数及び人流カウント方法並びにこれらを利用したインストアマーチャンダイジングの提言方法。
JP2009223835A (ja) * 2008-03-18 2009-10-01 Sony Corp 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP2010165183A (ja) * 2009-01-15 2010-07-29 Panasonic Electric Works Co Ltd 人体検出装置
JP2010191487A (ja) * 2009-02-13 2010-09-02 Sony Corp 情報処理装置および情報処理方法
JP2010262527A (ja) * 2009-05-08 2010-11-18 Nabtesco Corp 通行者計数装置、通行者計数方法および通行者計数プログラム
JP2011047772A (ja) * 2009-08-26 2011-03-10 Konan Gakuen 物体検知システム、物体検知システムの制御方法、制御プログラム、および記録媒体
JP2011081736A (ja) * 2009-10-09 2011-04-21 Clarion Co Ltd 歩行者検出システム
JP2012011989A (ja) * 2010-07-05 2012-01-19 Saxa Inc 駅ホームの監視カメラシステム
US20130272576A1 (en) * 2011-09-30 2013-10-17 Intel Corporation Human head detection in depth images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022089834A (ja) * 2016-03-18 2022-06-16 日本電気株式会社 映像監視システム、映像監視方法、及びプログラム
US11823398B2 (en) 2016-03-18 2023-11-21 Nec Corporation Information processing apparatus, control method, and program
JP2019532387A (ja) * 2016-08-15 2019-11-07 エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. 電子ゲート環境のための乳幼児検出

Similar Documents

Publication Publication Date Title
US9355368B2 (en) Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
Stone et al. Fall detection in homes of older adults using the Microsoft Kinect
Mastorakis et al. Fall detection system using Kinect’s infrared sensor
KR102577785B1 (ko) 청소 로봇 및 그의 태스크 수행 방법
KR20240063820A (ko) 청소 로봇 및 그의 태스크 수행 방법
CN107408146A (zh) 监控
EP2763116B1 (en) Fall detection system and method for detecting a fall of a monitored person
JP2020518051A (ja) 顔姿勢検出方法、装置及び記憶媒体
CN105868779B (zh) 一种基于特征增强和决策融合的行为识别方法
JPWO2019240208A1 (ja) ロボットおよびその制御方法、ならびにプログラム
JP2015216518A (ja) 情報処理方法、プログラム及び情報処理装置
JP6557853B2 (ja) 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置
JP6281164B2 (ja) 遊び行動認識システム、遊び行動認識プログラム、遊び行動認識方法および遊び行動認識装置
US11222439B2 (en) Image processing apparatus with learners for detecting orientation and position of feature points of a facial image
Bansal et al. Elderly people fall detection system using skeleton tracking and recognition
Louie et al. A victim identification methodology for rescue robots operating in cluttered USAR environments
KR20230134109A (ko) 청소 로봇 및 그의 태스크 수행 방법
JP6281249B2 (ja) 情報処理装置、情報処理システム、プログラム及び情報処理方法
JP6347347B2 (ja) 通知システム、通知プログラム、通知方法および通知装置
JP2020177557A (ja) 情報処理装置、情報処理方法及びプログラム
JP7342664B2 (ja) ロボット、制御方法、およびプログラム
Najmurrokhman et al. Development of falling notification system for elderly using mpu6050 sensor and short message service
JP6303918B2 (ja) ジェスチャ管理システム、ジェスチャ管理プログラム、ジェスチャ管理方法および指さし認識装置
KR102233157B1 (ko) 딥러닝 기반의 재실자 포즈 분류를 이용한 재실자 활동량 산출 방법 및 시스템
JP6340626B2 (ja) 通知システム、通知プログラム、通知方法および通知装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180702

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190108