JP2020123328A - 検出装置、及び方法、並びに画像処理装置及びシステム - Google Patents
検出装置、及び方法、並びに画像処理装置及びシステム Download PDFInfo
- Publication number
- JP2020123328A JP2020123328A JP2020003058A JP2020003058A JP2020123328A JP 2020123328 A JP2020123328 A JP 2020123328A JP 2020003058 A JP2020003058 A JP 2020003058A JP 2020003058 A JP2020003058 A JP 2020003058A JP 2020123328 A JP2020123328 A JP 2020123328A
- Authority
- JP
- Japan
- Prior art keywords
- person
- detected
- detection
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Alarm Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
(ハードウェア構成)
まず、図1を参照して、以下の技術を実現可能なハードウェア構成について説明する。
(検出装置及び方法)
次に、図2〜図7Cを参照して、本開示に係る検出処理について説明する。
(ニューラルネットワークの生成)
上述のように、本開示の実施形態では、対応する動作が事前に生成されたニューラルネットワーク(例えば、図3に示されるニューラルネットワーク)を使用することによって実行されてもよい。本開示では、人の領域/キーポイント、物体の領域/キーポイント、および人と物体との相互作用関係がマーキングされるトレーニングサンプルに基づいて、ディープラーニング方法(deep learning method)(例えば、ニューラルネットワーク方法)を使用することによって、対応するニューラルネットワークを事前に生成することができる。
(アプリケーション)
また、上述したように、本開示は監視デバイス(例えば、ネットワークカメラ)によって実現することができる。そこで、一アプリケーションとして、本開示をネットワークカメラで実現する場合を例に挙げて、本開示に係る例示的な画像処理装置900の構成を図9に示す。図9に示すように、画像処理装置900は、少なくとも取得デバイス910、記憶デバイス920、およびプロセッサ930、を含む。もちろん、画像処理装置900は、図示しない入力デバイスや出力デバイス等も含んでよい。
Claims (14)
- 画像から特徴を抽出する特徴抽出部と、
前記特徴に基づいて、前記画像中の人を検出する人検出部と、
前記特徴に基づいて前記検出された人の周囲領域内の物体を検出する物体検出部と、
前記特徴、前記検出された人および前記検出された物体、に基づいて、前記画像内の人と物体との相互作用情報を判定する相互作用判定部と
を有することを特徴とする検出装置。 - 前記人検出部および前記物体検出部は、前記人および前記物体の領域を検出するか、または前記人および前記物体のキーポイントを検出するように構成されていることを特徴とする請求項1に記載の検出装置。
- 前記検出された人の少なくとも1つの部分は、検出される物体のタイプに基づいて決定され、前記周囲領域は、前記決定された少なくとも1つの部分を囲む領域であることを特徴とする請求項2に記載の検出装置。
- 前記決定された少なくとも1つの部分は、前記検出された人の下半身であることを特徴とする請求項3に記載の検出装置。
- 前記周囲領域は、前記検出された人の姿勢を判定することによって決定されることを特徴とする請求項3に記載の検出装置。
- 前記周囲領域は、前記人の前記キーポイントが検出された場合には、前記人の前記キーポイントの少なくとも1つを囲む領域であることを特徴とする請求項3に記載の検出装置。
- 前記特徴抽出部、前記人検出部、前記物体検出部、および前記相互作用判定部は、予め生成されたニューラルネットワークを用いて、対応する動作を実行することを特徴とする請求項1に記載の検出装置。
- 画像から特徴を抽出する特徴抽出ステップと、
前記特徴に基づいて、前記画像中の人を検出する人検出ステップと、
前記特徴に基づいて前記検出された人の周囲領域内の物体を検出する物体検出ステップと、
前記特徴と、前記検出された人および前記検出された物体とに基づいて、前記画像内の人と物体との相互作用情報を判定する相互作用判定ステップと
を有することを特徴とする検出方法。 - 前記人検出ステップおよび前記物体検出ステップは、前記人および前記物体の領域を検出するか、または前記人および前記物体のキーポイントを検出するように構成されていることを特徴とする請求項8に記載の検出方法。
- 前記検出された人の少なくとも1つの部分は、検出される物体のタイプに基づいて決定され、前記周囲領域は、前記決定された少なくとも1つの部分を囲む領域であることを特徴とする請求項9に記載の検出方法。
- 前記周囲領域は、前記検出された人の姿勢を判定することによって決定されることを特徴とする請求項10に記載の検出方法。
- 前記周囲領域は、前記人の前記キーポイントが検出された場合には、前記人の前記キーポイントのうちの少なくとも1つを囲む領域であることを特徴とする請求項10に記載の検出方法。
- 画像またはビデオを取得する取得デバイスと、
命令を記憶する記憶デバイスと、
プロセッサが少なくとも請求項8に記載の検出方法を実施するように、前記取得された画像またはビデオに基づいて前記命令を実行する前記プロセッサと
を備えることを特徴とする画像処理装置。 - 画像またはビデオを取得する取得装置と、
前記取得された画像またはビデオから人、物体、および人と物体との相互作用情報を検出する、請求項1に記載の検出装置と、
前記検出された人と物体との相互作用情報に基づいて、後続の画像処理動作を実行する処理装置と
を備え、
前記取得装置、前記検出装置、および前記処理装置は、ネットワークを介して互いに接続されていることを特徴とする画像処理システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910089715.1 | 2019-01-30 | ||
CN201910089715.1A CN111507125A (zh) | 2019-01-30 | 2019-01-30 | 检测装置和方法及图像处理装置和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020123328A true JP2020123328A (ja) | 2020-08-13 |
Family
ID=71732506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020003058A Pending JP2020123328A (ja) | 2019-01-30 | 2020-01-10 | 検出装置、及び方法、並びに画像処理装置及びシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200242345A1 (ja) |
JP (1) | JP2020123328A (ja) |
CN (1) | CN111507125A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022034680A1 (ja) * | 2020-08-14 | 2022-02-17 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11481576B2 (en) * | 2019-03-22 | 2022-10-25 | Qualcomm Technologies, Inc. | Subject-object interaction recognition model |
US12049247B2 (en) * | 2020-05-29 | 2024-07-30 | Scientia Corp. | Automatic braking system for a walker and related walkers and methods |
US20220194762A1 (en) * | 2020-12-18 | 2022-06-23 | Industrial Technology Research Institute | Method and system for controlling a handling machine and non-volatile computer readable recording medium |
CN112784760B (zh) * | 2021-01-25 | 2024-04-12 | 北京百度网讯科技有限公司 | 人体行为识别方法、装置、设备以及存储介质 |
JP2022122364A (ja) * | 2021-02-10 | 2022-08-23 | 日本電気株式会社 | データ生成装置、データ生成方法、及びプログラム |
CN113255820B (zh) * | 2021-06-11 | 2023-05-02 | 成都通甲优博科技有限责任公司 | 落石检测模型训练方法、落石检测方法及相关装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002056251A1 (fr) * | 2000-12-27 | 2002-07-18 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de traitement d'images et ascenseur sur lequel il est monte |
JP2007274234A (ja) * | 2006-03-30 | 2007-10-18 | National Institute Of Advanced Industrial & Technology | ステレオカメラを用いた白杖使用者検出システム |
WO2015133206A1 (ja) * | 2014-03-05 | 2015-09-11 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
WO2018235198A1 (ja) * | 2017-06-21 | 2018-12-27 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
JP2018206321A (ja) * | 2017-06-09 | 2018-12-27 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4476546B2 (ja) * | 2000-12-27 | 2010-06-09 | 三菱電機株式会社 | 画像処理装置及びそれを搭載したエレベータ |
US10198818B2 (en) * | 2016-10-12 | 2019-02-05 | Intel Corporation | Complexity reduction of human interacted object recognition |
CN108734112A (zh) * | 2018-04-26 | 2018-11-02 | 深圳市深晓科技有限公司 | 一种交互行为实时检测方法及装置 |
-
2019
- 2019-01-30 CN CN201910089715.1A patent/CN111507125A/zh active Pending
-
2020
- 2020-01-10 JP JP2020003058A patent/JP2020123328A/ja active Pending
- 2020-01-27 US US16/773,755 patent/US20200242345A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002056251A1 (fr) * | 2000-12-27 | 2002-07-18 | Mitsubishi Denki Kabushiki Kaisha | Dispositif de traitement d'images et ascenseur sur lequel il est monte |
JP2007274234A (ja) * | 2006-03-30 | 2007-10-18 | National Institute Of Advanced Industrial & Technology | ステレオカメラを用いた白杖使用者検出システム |
WO2015133206A1 (ja) * | 2014-03-05 | 2015-09-11 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
JP2018206321A (ja) * | 2017-06-09 | 2018-12-27 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2018235198A1 (ja) * | 2017-06-21 | 2018-12-27 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
Non-Patent Citations (5)
Title |
---|
BANGPENG YAO ET AL.: ""Recognizing Human-Object Interactions in Still Images by Modeling the Mutual Context of Objects and", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 34, no. 9, JPN6021005814, 6 March 2012 (2012-03-06), US, pages 1691 - 1703, XP011490714, ISSN: 0004450723, DOI: 10.1109/TPAMI.2012.67 * |
GEORGIA GKIOXARI ET AL.: ""Detection and Recognizing Human-Object Interactions"", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN6021005810, 18 June 2018 (2018-06-18), US, pages 8359 - 8367, ISSN: 0004508560 * |
三橋 優人、外2名: ""人込みの中での人物と物体のインタラクション開始・終了検出"", 第76回(平成26年)全国大会講演論文集(2), JPN6021005812, 11 March 2014 (2014-03-11), JP, pages 87 - 88, ISSN: 0004450721 * |
三橋 優人、外2名: ""映像の階層的な解析に基づく混雑した状況での人物と物体のインタラクション検出"", 電子情報通信学会技術研究報告, vol. 114, no. 356, JPN6021005811, 4 December 2014 (2014-12-04), JP, pages 69 - 74, ISSN: 0004450720 * |
工藤 康統、外2名: ""Convolutional Neural Networksを用いた人物周辺の環境を考慮した行動認識", 画像ラボ, vol. 28, no. 7, JPN6021005813, 10 July 2017 (2017-07-10), JP, pages 24 - 32, ISSN: 0004450722 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022034680A1 (ja) * | 2020-08-14 | 2022-02-17 | ||
WO2022034680A1 (ja) * | 2020-08-14 | 2022-02-17 | 日本電気株式会社 | 物体認識装置、物体認識方法、及び、記録媒体 |
JP7416261B2 (ja) | 2020-08-14 | 2024-01-17 | 日本電気株式会社 | 物体認識装置、物体認識方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200242345A1 (en) | 2020-07-30 |
CN111507125A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020123328A (ja) | 検出装置、及び方法、並びに画像処理装置及びシステム | |
JP7229174B2 (ja) | 人識別システム及び方法 | |
Asim et al. | Context-aware human activity recognition (CAHAR) in-the-Wild using smartphone accelerometer | |
EP3284016B1 (en) | Authentication of a user of a device | |
US11393186B2 (en) | Apparatus and method for detecting objects using key point sets | |
Chhetri et al. | Deep learning for vision‐based fall detection system: Enhanced optical dynamic flow | |
Fan et al. | Fall detection via human posture representation and support vector machine | |
JP7238902B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20200219269A1 (en) | Image processing apparatus and method, and image processing system | |
Sharma et al. | Study on HGR by Using Machine Learning | |
JP2024045460A (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
Zhong et al. | Hand-hygiene activity recognition in egocentric video | |
Sharif et al. | Human gait recognition using deep learning: A comprehensive review | |
Pandi et al. | AI Based Human Computer Interactions for Specially-Abled | |
Kaur et al. | Real-time video surveillance based human fall detection system using hybrid haar cascade classifier | |
Mobsite et al. | A Deep Learning Dual-Stream Framework for Fall Detection | |
CN110390234B (zh) | 图像处理装置和方法及存储介质 | |
Zhao et al. | Person identification based on static features extracted from kinect skeleton data | |
Lavi et al. | Biometric system based on kinect skeletal, facial and vocal features | |
Yusuf et al. | Individuality and user-specific approach in adaptive emotion recognition model | |
Cho et al. | Vision-based In-room Fall Detection Application | |
JP7480841B2 (ja) | イベントの管理方法、イベント管理装置、システム及びプログラム | |
Wei et al. | Seq2seq model for human action recognition based on skeleton and two-layer bidirectional LSTM | |
Chiang et al. | A framework for fusing video and wearable sensing data by deep learning | |
Suarez et al. | FASENet: A Two-Stream Fall Detection and Activity Monitoring Model Using Pose Keypoints and Squeeze-and-Excitation Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200110 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210427 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210521 |