JP2022019991A - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2022019991A JP2022019991A JP2021197557A JP2021197557A JP2022019991A JP 2022019991 A JP2022019991 A JP 2022019991A JP 2021197557 A JP2021197557 A JP 2021197557A JP 2021197557 A JP2021197557 A JP 2021197557A JP 2022019991 A JP2022019991 A JP 2022019991A
- Authority
- JP
- Japan
- Prior art keywords
- area
- estimated position
- candidate
- target object
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 82
- 238000003672 processing method Methods 0.000 title 1
- 238000001514 detection method Methods 0.000 claims abstract description 72
- 238000000034 method Methods 0.000 claims description 50
- 230000004044 response Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
<概要>
図1は、本実施形態の情報処理装置2000が行う処理を概念的に示す図である。情報処理装置2000は、カメラ10によって生成された撮像画像20から、対象オブジェクトを表す画像領域であるオブジェクト領域30を検出する。対象オブジェクトは、人の持ち物である。なお、ここでいう「人の持ち物」とは、人が手に持っている物(手提げカバンや杖など)には限定されず、何らかの形で人が所持している物を全般的に含む。例えば、人の持ち物には、人が肩に掛けている物(肩掛けカバンなど)、人が首から提げている物(身分証明書など)、人が背中に背負っている物(リュックサックなど)、人が頭に装着している物(帽子やヘルメットなど)、人が顔に装着している物(眼鏡やサングラスなど)、及び人が手に装着している物(時計など)などが含まれる。
本実施形態の情報処理装置2000によれば、対象オブジェクトの画像特徴に基づいて検出される候補領域22と、人物領域26に基づいて検出される推定位置24とを用いて、対象オブジェクトを表すオブジェクト領域30が特定される。こうすることで、対象オブジェクトの画像特徴に基づいて検出される候補領域22の全てがオブジェクト領域30(対象オブジェクトを表す画像領域)として特定されるわけではなく、人物領域26に基づいて検出される推定位置24によって、オブジェクト領域30として特定される候補領域22が限定される。例えば、対象オブジェクトが存在する蓋然性が低い位置の候補領域22は、オブジェクト領域30として特定されなくなる。このように、対象オブジェクトを表す画像領域を、対象オブジェクトの画像特徴という基準と人物を表す画像領域という基準の2つを利用して特定することにより、対象オブジェクトの画像特徴という1つの基準で特定する場合と比較し、対象オブジェクトを表す画像領域を高い精度で特定することができる。
図2は、実施形態1の情報処理装置2000の機能構成を例示する図である。情報処理装置2000は、候補領域検出部2020、推定位置検出部2040、及び特定部2060を有する。候補領域検出部2020は、検出対象である対象オブジェクトの画像特徴に基づいて、撮像画像20から候補領域22を1つ以上検出する。推定位置検出部2040は、撮像画像20から人物領域26を検出する。さらに推定位置検出部2040は、検出した人物領域26に基づいて、推定位置24を検出する。特定部2060は、候補領域22と推定位置24とに基づいて、オブジェクト領域30を特定する。
情報処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、情報処理装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
カメラ10は、撮像を行い、その結果として画像データを生成する任意の撮像装置である。例えばカメラ10は、監視場所に設置された監視カメラである。
情報処理装置2000は、「カメラによって生成された画像データから所定のオブジェクトを検出する」という処理が有用な任意の場面で利用することができる。例えば情報処理装置2000は、監視カメラによって生成された監視映像の解析に利用される。この場合、カメラ10は監視映像を生成する監視カメラである。また、撮像画像20は監視映像を構成するビデオフレームである。
図4は、実施形態1の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。情報処理装置2000は、撮像画像20を取得する(S102)。候補領域検出部2020は、対象オブジェクトの画像特徴に基づいて、撮像画像20から候補領域22を1つ以上検出する(S104)。推定位置検出部2040は、撮像画像20から人物領域26を検出する(S106)。推定位置検出部2040は、検出した人物領域26に基づいて、推定位置24を検出する(S108)。特定部2060は、候補領域22と推定位置24とに基づいて、オブジェクト領域30を特定する(S110)。
情報処理装置2000は撮像画像20を取得する(S102)。撮像画像20は、カメラ10によって生成された画像データそのものであってもよいし、カメラ10によって生成された画像データに対して何らかの処理(例えば色調補正やトリミングなど)が加えられたものであってもよい。
候補領域検出部2020は、対象オブジェクトの画像特徴に基づいて、撮像画像20から候補領域22を検出する(S104)。ここで、検出対象のオブジェクトの画像特徴に基づいて、画像データからそのオブジェクトを表すと推測される画像領域(すなわち、候補領域22)を検出する技術には、既存の技術を利用することができる。例えば、候補領域22の検出には、対象オブジェクトを表すと推定される画像領域を画像データから検出するように予め学習させた検出器を利用することができる。検出器のモデルには、ニューラルネットワーク(例えば、畳み込みニューラルネットワーク)や SVM(サポートベクトルマシン)などの任意のモデルを採用できる。
推定位置検出部2040は、撮像画像20から人物領域26を検出する(S106)。ここで、画像データから人物を表す画像領域を検出する技術には、既存の技術を利用することができる。例えば、画像データから人物を表す画像領域を検出するように予め学習させた検出器を利用することができる。この検出器のモデルにも、例えば、ニューラルネットワークなどの任意のモデルを利用できる。
推定位置検出部2040は、人物領域26に基づいて推定位置24を検出する。前述した様に、推定位置24は、撮像画像20において対象オブジェクトが存在すると推定される位置である。推定位置24は、撮像画像20上の一点で表されてもよいし、画像領域で表されてもよい。
推定位置検出部2040は、推定位置24の検出を行う画像領域を、候補領域22を利用いて限定してもよい。すなわち、撮像画像20全体からではなく、候補領域22に基づいて限定される一部の画像領域から推定位置24の検出を行う。こうすることで、推定位置24の検出に要する時間や計算機資源を削減することができる。
特定部2060は、候補領域22と推定位置24とに基づいて、オブジェクト領域30を特定する。概念的には、特定部2060は、推定位置24を用いて、対象オブジェクトを含むと推測される画像領域である候補領域22の中から、対象オブジェクトを含む蓋然性が特に高いものを特定し、特定した候補領域22をオブジェクト領域30として特定する。ただし後述するように、オブジェクト領域30は、いずれか1つの候補領域22と完全に一致する必要はなく、候補領域22の一部の画像領域であってもよい。
特定部2060は、推定位置24を含む候補領域22を、オブジェクト領域30として特定する。図5は、推定位置24を含む候補領域22を例示する図である。図5では、撮像画像20から、候補領域22が複数検出されている。また、推定位置24が1つ検出されている。ここで、推定位置24は候補領域22-1に含まれている。そこで特定部2060は、候補領域22-1をオブジェクト領域30として特定する。
ここでは、推定位置24が複数算出されることを前提とする。そして特定部2060は、各候補領域22について、推定位置24を含む度合いを表すスコア(以下、第1スコア)を算出する。特定部2060は、第1スコアに基づいてオブジェクト領域30を特定する。
ここでは、候補領域検出部2020が、各候補領域22について、その候補領域22が対象オブジェクトを表す確率を算出するとする。また、特定部2060は、各候補領域22について、前述した第1スコアを算出するとする。特定部2060は、候補領域22が対象オブジェクトを表す確率と、第1スコアとの積として、第2スコアを算出する。そして特定部2060は、第2スコアに基づいてオブジェクト領域30を特定する。
特定部2060は、候補領域22の代表点と推定位置24との間の距離に基づく第3スコアを算出し、算出した第3スコアに基づいてオブジェクト領域30を特定する。第3スコアに基づいてオブジェクト領域30を特定する方法は様々である。例えば特定部2060は、最も小さい第3スコアが算出された候補領域22を、オブジェクト領域30として特定する。その他にも例えば、特定部2060は、所定値以下の第3スコアが算出された候補領域22を、オブジェクト領域30として特定する。
情報処理装置2000は、オブジェクト領域30を特定する情報(以下、出力情報)を出力する。出力情報を出力する方法は様々である。例えば情報処理装置2000は、出力情報を任意の記憶装置に記憶させる。その他にも例えば、情報処理装置2000は、出力情報をディスプレイ装置に記憶させる。
図8は、実施形態2の情報処理装置2000の機能構成を例示するブロック図である。以下で説明する点を除き、実施形態2の情報処理装置2000は、実施形態1の情報処理装置2000と同様の機能を有する。
実施形態の情報処理装置2000によれば、種類情報によって示されている種類のオブジェクトについて、オブジェクト領域30が特定される。こうすることで、複数の種類のオブジェクトのうち、指定されたオブジェクトを撮像画像20から検出するように、情報処理装置2000を設定できる。そのため、複数の種類のオブジェクトそれぞれを撮像画像20から検出したり、その時々で検出するオブジェクトの種類を変更したりすることができる。そのため、情報処理装置2000の利便性が向上する。
実施形態2の情報処理装置2000を実現する計算機のハードウエア構成は、実施形態1と同様に、例えば図3によって表される。ただし、本実施形態の情報処理装置2000を実現する計算機1000のストレージデバイス1080には、本実施形態の情報処理装置2000の機能を実現するプログラムモジュールがさらに記憶される。
図9は、実施形態2の情報処理装置2000によって実行される処理の流れを例示するフローチャートである。種類情報取得部2080は、種類情報を取得する(S202)。情報処理装置2000は撮像画像20を取得する(S204)。候補領域検出部2020は、種類情報に示される種類のオブジェクトについて、候補領域22を検出する(S206)。推定位置検出部2040は人物領域26を検出する(S208)。推定位置検出部2040は、人物領域26に基づき、種類情報に示される種類のオブジェクトについて、推定位置24を検出する(S210)。特定部2060は、検出された候補領域22及び推定位置24に基づいて、オブジェクト領域30を特定する。
検出対象である対象オブジェクトの画像特徴に基づいて、撮像画像から、前記対象オブジェクトを含む第1画像領域を検出する第1検出部と、
前記撮像画像において、前記撮像画像に映る人物の身体の部位を示す第2画像領域を検出する第2検出部と、
前記第1画像領域と前記第2画像領域に基づいて、複数の前記第2画像領域から前記対象オブジェクトが存在する領域を特定する特定部と、
を有する。
撮像画像において、前記撮像画像に映る人物の身体の部位を示す第2画像領域を検出し、
検出対象である対象オブジェクトの画像特徴に基づいて、前記撮像画像から、前記対象オブジェクトを含む第1画像領域を検出し、
前記第1画像領域と前記第2画像領域に基づいて、複数の前記第2画像領域から前記対象オブジェクトが存在する領域を特定する。
Claims (10)
- 検出対象である対象オブジェクトの画像特徴に基づいて、撮像画像から、前記対象オブジェクトを表すと推定される画像領域である候補領域を1つ以上検出する候補領域検出部と、
前記撮像画像から人物を表す人物領域を検出し、前記人物領域に基づいて、前記撮像画像における前記対象オブジェクトの推定位置を検出する推定位置検出部と、
前記1つ以上の候補領域と前記推定位置に基づいて、前記1つ以上の候補領域の中から、前記対象オブジェクトを表す画像領域であるオブジェクト領域を特定する特定部と、を有する情報処理装置。 - 前記推定位置検出部は、人物領域が入力されたことに応じて前記対象オブジェクトの推定位置を出力するように学習された検出器を用いて、前記撮像画像から前記対象オブジェクトの推定位置を検出する、請求項1に記載の情報処理装置。
- 前記特定部は、前記1つ以上の候補領域のうち、前記推定位置を含む前記候補領域を、前記オブジェクト領域として特定する、請求項1又は2に記載の情報処理装置。
- 前記推定位置検出部は、前記対象オブジェクトの推定位置を複数検出し、
前記特定部は、各前記候補領域について、その候補領域が前記推定位置を含む度合いを表す第1スコアを算出し、前記第1スコアが最も大きい前記候補領域、又は前記第1スコアが所定値以上である候補領域を、前記オブジェクト領域として特定する、請求項1又は2に記載の情報処理装置。 - 前記候補領域検出部は、各候補領域について、その候補領域が前記対象オブジェクトを表す確率を算出し、
前記特定部は、各候補領域について、その候補領域が前記推定位置を含む度合いと、その候補領域が前記対象オブジェクトを表す確率との積に基づく第2スコアを算出し、前記第2スコアが最も大きい前記候補領域、又は前記第2スコアが所定値以上である候補領域を、前記オブジェクト領域として特定する、請求項1又は2に記載の情報処理装置。 - 前記特定部は、前記候補領域の代表点と前記推定位置との間の距離を算出し、前記算出した距離が所定値以下である前記候補領域を前記オブジェクト領域として特定する、請求項1又は2に記載の情報処理装置。
- 前記推定位置検出部は、前記対象オブジェクトが所定値以上の確率で存在する前記撮像画像上の位置を前記推定位置として算出する、請求項1乃至6いずれか一項に記載の情報処理装置。
- 前記推定位置検出部は、前記撮像画像のうち、前記候補領域を含む一部の画像領域から前記推定位置を検出する、請求項1乃至7いずれか一項に記載の情報処理装置。
- コンピュータによって実行される制御方法であって、
検出対象である対象オブジェクトの画像特徴に基づいて、撮像画像から、前記対象オブジェクトを表すと推定される画像領域である候補領域を1つ以上検出する候補領域検出ステップと、
前記撮像画像から人物を表す人物領域を検出し、前記人物領域に基づいて、前記撮像画像における前記対象オブジェクトの推定位置を検出する推定位置検出ステップと、
前記1つ以上の候補領域と前記推定位置に基づいて、前記1つ以上の候補領域の中から、前記対象オブジェクトを表す画像領域であるオブジェクト領域を特定する特定ステップと、を有する制御方法。 - 請求項9に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021197557A JP7331910B2 (ja) | 2018-04-26 | 2021-12-06 | 情報処理装置、情報処理方法、及びプログラム |
JP2023122331A JP7501747B2 (ja) | 2018-04-26 | 2023-07-27 | 情報処理装置、制御方法、及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/017031 WO2019207721A1 (ja) | 2018-04-26 | 2018-04-26 | 情報処理装置、制御方法、及びプログラム |
JP2020515397A JP6992881B2 (ja) | 2018-04-26 | 2018-04-26 | 情報処理装置、制御方法、及びプログラム |
JP2021197557A JP7331910B2 (ja) | 2018-04-26 | 2021-12-06 | 情報処理装置、情報処理方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020515397A Division JP6992881B2 (ja) | 2018-04-26 | 2018-04-26 | 情報処理装置、制御方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023122331A Division JP7501747B2 (ja) | 2018-04-26 | 2023-07-27 | 情報処理装置、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022019991A true JP2022019991A (ja) | 2022-01-27 |
JP7331910B2 JP7331910B2 (ja) | 2023-08-23 |
Family
ID=87852403
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021197557A Active JP7331910B2 (ja) | 2018-04-26 | 2021-12-06 | 情報処理装置、情報処理方法、及びプログラム |
JP2023122331A Active JP7501747B2 (ja) | 2018-04-26 | 2023-07-27 | 情報処理装置、制御方法、及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023122331A Active JP7501747B2 (ja) | 2018-04-26 | 2023-07-27 | 情報処理装置、制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7331910B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7331910B2 (ja) | 2018-04-26 | 2023-08-23 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269182A (ja) * | 2007-04-18 | 2008-11-06 | Fujitsu Ltd | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
JP2017016344A (ja) * | 2015-06-30 | 2017-01-19 | セコム株式会社 | 画像監視装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6286394B2 (ja) | 2015-07-24 | 2018-02-28 | セコム株式会社 | 画像監視システム |
JP7331910B2 (ja) | 2018-04-26 | 2023-08-23 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2021
- 2021-12-06 JP JP2021197557A patent/JP7331910B2/ja active Active
-
2023
- 2023-07-27 JP JP2023122331A patent/JP7501747B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008269182A (ja) * | 2007-04-18 | 2008-11-06 | Fujitsu Ltd | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム |
JP2017016344A (ja) * | 2015-06-30 | 2017-01-19 | セコム株式会社 | 画像監視装置 |
Non-Patent Citations (1)
Title |
---|
浅井 康博,外5名: "複数方向から撮影された人物の手荷物所持判定に関する検討", 情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM) 2015−CVIM−19, JPN6023000923, 2015, JP, ISSN: 0005039181 * |
Also Published As
Publication number | Publication date |
---|---|
JP7331910B2 (ja) | 2023-08-23 |
JP7501747B2 (ja) | 2024-06-18 |
JP2023129657A (ja) | 2023-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6013241B2 (ja) | 人物認識装置、及び方法 | |
US8938092B2 (en) | Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program | |
CN103443804B (zh) | 面部标志检测方法 | |
WO2019033569A1 (zh) | 眼球动作分析方法、装置及存储介质 | |
KR101612605B1 (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
EP2704056A2 (en) | Image processing apparatus, image processing method | |
JP2014093023A (ja) | 物体検出装置、物体検出方法及びプログラム | |
JPWO2018078857A1 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
US20240104769A1 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
JP7501747B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
WO2022009301A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6992900B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
WO2021250808A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7259921B2 (ja) | 情報処理装置、及び制御方法 | |
JP2006293720A (ja) | 顔検出装置、顔検出方法、及び顔検出プログラム | |
CN106406507B (zh) | 图像处理方法以及电子设备 | |
JP2017175466A (ja) | 映像処理装置、映像処理システムおよび制御方法 | |
JP7435781B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
WO2021255846A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2023041181A1 (en) | Electronic device and method for determining human height using neural networks | |
WO2021038840A1 (ja) | 物体数推定装置、制御方法、及びプログラム | |
JP7302741B2 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
WO2021250809A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2022249278A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP7103443B2 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230724 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7331910 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |