JP2018036870A - 画像処理装置及びプログラム - Google Patents
画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP2018036870A JP2018036870A JP2016169678A JP2016169678A JP2018036870A JP 2018036870 A JP2018036870 A JP 2018036870A JP 2016169678 A JP2016169678 A JP 2016169678A JP 2016169678 A JP2016169678 A JP 2016169678A JP 2018036870 A JP2018036870 A JP 2018036870A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- person
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 51
- 239000000284 extract Substances 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 15
- 238000000034 method Methods 0.000 description 31
- 238000001514 detection method Methods 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000010561 standard procedure Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
- G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
Description
なお、図3に示すように、動画として連続していないT3のときのフレームF3については別のタイムラインセグメントとして扱う。
図6は、個人識別を用いて複数の人物が撮影された動画38から、特定の人物が撮影されたシーンを抽出する一例を示している。まず、動画38が入力されると、人物検出技術を用いて人物領域を矩形領域として抽出し、重なりの程度から複数のタイムラインセグメント40a,40b,40cを抽出する。タイムラインセグメント40a,40b,40cそれぞれに対して、個人識別技術により個人を識別する。ここでは、事前に登録された人物Aと人物Bの撮影されたシーンの抽出を行っている。個人識別を行うことにより、タイムラインセグメント40a,40bは人物Aに、タイムラインセグメント40cは人物Bにそれぞれ仕分けられる。
認識部48は、顔検出部46により顔検出が成功した場合に、予め登録されている人物に対して付与されているIDごとに人物IDのスコアを計算する。
まずステップS10において、動画を受け付ける。次のステップS12においては、ステップS10で受け付けた動画をフレーム(画像)に分割する。次のステップS14においては、ステップS12で分割したフレームからタイムラインセグメントを形成する。次のステップS16においては、セグメント人物識別処理を実施する。さらに次のステップS18においては、全てのセグメントでの処理が完了したか否かを判定する。このステップS18において、全てのセグメントでの処理が完了したと判定された場合は処理を終了し、全てのセグメントでの処理が完了していないと判定された場合はステップS16へ戻り、全てのセグメントの処理が完了するまで実行される。
まずステップS20において、動画を受け付ける。次のステップS22においては、ステップS20で受け付けた動画をフレーム(画像)に分割する。次のステップS24においては、ステップS22で分割したフレームからタイムラインセグメントを形成する。次のステップS26においては、セグメント間距離を算出する。さらに次のステップS28においては、全てのセグメントでの組み合わせで処理が完了したか否かを判定する。このステップS28において、全てのセグメントでの組み合わせで処理が完了したと判定された場合はステップS30に進み、クラスタリングを実施して処理を終了する。一方、ステップS28において、全てのセグメントでの組み合わせで処理が完了していないと判定された場合はステップS26へ戻り、全てのセグメントでの組み合わせで処理が完了するまで実行される。
14 GPU
16 メモリ
24 ビデオカメラ
26 データ受付部
28 人物領域抽出部
30 タイムラインセグメント形成部
32 複数人物重なり状態判別部
34 タイムラインセグメント比較部
Claims (8)
- 動画を受け付ける受付手段と、
前記受付手段により受け付けられた動画を構成する複数のフレームから対象物画像を抽出する画像抽出手段と、
前記画像抽出手段により抽出された時間を隔てた複数の対象物画像を一つの単位として形成する形成手段と、
前記形成手段により形成された単位毎に比較する比較手段と、
を有する画像処理装置。 - 前記比較手段は、予め登録された対象物画像と比較する請求項1記載の画像処理装置。
- 前記比較手段は、他の単位を構成する対象物画像と比較する請求項1記載の画像処理装置。
- 前記形成手段は、複数の対象物が重なっている場合は、重なっている対象物画像を単位から除く請求項1から3いずれか記載の画像処理装置。
- 前記形成手段は、複数の対象物が重なる手前までの対象物画像を前記単位とする請求項1から3いずれか記載の画像処理装置。
- 前記抽出手段は、対象物として人物を抽出する請求項1から4いずれか記載の画像処理装置。
- 前記抽出手段は、顔認識を含む請求項5記載の画像処理装置。
- 動画を受け付けるステップと、
受け付けられた動画を構成する複数のフレームから対象物画像を抽出するステップと、
抽出された時間を隔てた複数の対象物画像を一つの単位として形成するステップと、
形成された単位毎に比較するステップと、
をコンピュータにより実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016169678A JP2018036870A (ja) | 2016-08-31 | 2016-08-31 | 画像処理装置及びプログラム |
US15/447,788 US20180060647A1 (en) | 2016-08-31 | 2017-03-02 | Image processing apparatus, non-transitory computer readable medium, and image processing method |
CN201710261131.9A CN107798285A (zh) | 2016-08-31 | 2017-04-20 | 图像处理装置和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016169678A JP2018036870A (ja) | 2016-08-31 | 2016-08-31 | 画像処理装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018036870A true JP2018036870A (ja) | 2018-03-08 |
Family
ID=61242935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016169678A Pending JP2018036870A (ja) | 2016-08-31 | 2016-08-31 | 画像処理装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180060647A1 (ja) |
JP (1) | JP2018036870A (ja) |
CN (1) | CN107798285A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021149863A (ja) * | 2020-03-23 | 2021-09-27 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110414294B (zh) | 2018-04-26 | 2023-09-26 | 北京京东尚科信息技术有限公司 | 行人重识别方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007087150A (ja) * | 2005-09-22 | 2007-04-05 | Matsushita Electric Ind Co Ltd | 画像再生方法、画像再生機、画像再生プログラム |
US20080080743A1 (en) * | 2006-09-29 | 2008-04-03 | Pittsburgh Pattern Recognition, Inc. | Video retrieval system for human face content |
JP2013045152A (ja) * | 2011-08-22 | 2013-03-04 | Dainippon Printing Co Ltd | 動体追跡装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002342762A (ja) * | 2001-05-22 | 2002-11-29 | Matsushita Electric Ind Co Ltd | 物体追跡方法 |
GB2395852B (en) * | 2002-11-29 | 2006-04-19 | Sony Uk Ltd | Media handling system |
JP4297501B2 (ja) * | 2004-08-11 | 2009-07-15 | 国立大学法人東京工業大学 | 移動体周辺監視装置 |
US8325981B2 (en) * | 2009-04-21 | 2012-12-04 | Nec Soft, Ltd. | Human tracking apparatus, human tracking method, and human tracking processing program |
GB2489674A (en) * | 2011-03-29 | 2012-10-10 | Sony Corp | 3D image generation |
US9158996B2 (en) * | 2013-09-12 | 2015-10-13 | Kabushiki Kaisha Toshiba | Learning image collection apparatus, learning apparatus, and target object detection apparatus |
CN105243395B (zh) * | 2015-11-04 | 2018-10-19 | 东方网力科技股份有限公司 | 一种人体图像比对方法和装置 |
-
2016
- 2016-08-31 JP JP2016169678A patent/JP2018036870A/ja active Pending
-
2017
- 2017-03-02 US US15/447,788 patent/US20180060647A1/en not_active Abandoned
- 2017-04-20 CN CN201710261131.9A patent/CN107798285A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007087150A (ja) * | 2005-09-22 | 2007-04-05 | Matsushita Electric Ind Co Ltd | 画像再生方法、画像再生機、画像再生プログラム |
US20080080743A1 (en) * | 2006-09-29 | 2008-04-03 | Pittsburgh Pattern Recognition, Inc. | Video retrieval system for human face content |
JP2013045152A (ja) * | 2011-08-22 | 2013-03-04 | Dainippon Printing Co Ltd | 動体追跡装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021149863A (ja) * | 2020-03-23 | 2021-09-27 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
JP7115502B2 (ja) | 2020-03-23 | 2022-08-09 | トヨタ自動車株式会社 | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107798285A (zh) | 2018-03-13 |
US20180060647A1 (en) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022252799B2 (en) | System and method for appearance search | |
CN107423690B (zh) | 一种人脸识别方法及装置 | |
US11188783B2 (en) | Reverse neural network for object re-identification | |
CN106557726B (zh) | 一种带静默式活体检测的人脸身份认证系统及其方法 | |
CN108229297B (zh) | 人脸识别方法和装置、电子设备、计算机存储介质 | |
JP5010905B2 (ja) | 顔認証装置 | |
US20180157892A1 (en) | Eye detection method and apparatus | |
JP6921694B2 (ja) | 監視システム | |
CN112016353B (zh) | 一种基于视频的人脸图像进行身份识别方法及装置 | |
CN110569731A (zh) | 一种人脸识别方法、装置及电子设备 | |
US20100111375A1 (en) | Method for Determining Atributes of Faces in Images | |
US10311287B2 (en) | Face recognition system and method | |
KR102286571B1 (ko) | 영상에서 다수의 객체를 인식하는 방법 | |
JP2018124689A (ja) | 移動物体検出装置、移動物体検出システム、及び移動物体検出方法 | |
Barbu | An automatic face detection system for RGB images | |
JP2018088049A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2018036870A (ja) | 画像処理装置及びプログラム | |
JP6338781B2 (ja) | 学習装置および学習識別システム | |
Geetha et al. | 3D face recognition using Hadoop | |
KR102380426B1 (ko) | 얼굴 인증 방법 및 장치 | |
KR102112033B1 (ko) | 얼굴 군집화 기법을 이용한 영상 추출 장치 | |
Wijaya et al. | Phonographic image recognition using fusion of scale invariant descriptor | |
Bingöl et al. | Facial action unit intensity estimation using rotation invariant features and regression analysis | |
US20240152549A1 (en) | Image processing apparatus for search of an image, image processing method and storage medium | |
JP2015158745A (ja) | 行動識別器生成装置、行動認識装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200907 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20201102 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201208 |