JP2011505601A - 映像処理方法および映像処理装置 - Google Patents
映像処理方法および映像処理装置 Download PDFInfo
- Publication number
- JP2011505601A JP2011505601A JP2009514296A JP2009514296A JP2011505601A JP 2011505601 A JP2011505601 A JP 2011505601A JP 2009514296 A JP2009514296 A JP 2009514296A JP 2009514296 A JP2009514296 A JP 2009514296A JP 2011505601 A JP2011505601 A JP 2011505601A
- Authority
- JP
- Japan
- Prior art keywords
- shot
- face area
- face
- group
- same
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【解決手段】類似ショットの集合であるショット群から顔領域が含まれるとともに所定の基準を満足するショット群を選択し、同一ショット群に含まれる顔領域を特徴量に従って分類し、分類された同一ショット群に含まれる顔領域群を同一の人物と推定して、主要な登場人物の顔領域群として選択する。これにより、映像を構成するショットの類似性と顔領域検出とを組み合わせて主要な登場人物の選択を行うことにより、一部のショット区間において顔を検出できない人物が含まれる映像であっても、登場人物の順位付け・選択が可能となり、テレビ番組において従来技術よりも実際の番組内容に即した主要人物の顔を選択することができる。
【選択図】図12
Description
11 顔領域検出手段
12 顔領域追跡手段
13 特徴量抽出手段
14 カット検出手段
15 類似ショット検出手段
16 ショット選択手段
17 顔領域選択手段
18 顔領域除去手段
Claims (13)
- 映像処理装置で実行される映像処理方法であって、前記映像処理装置は、制御部と記憶部を備え、前記制御部において実行される、
特徴量抽出手段が、映像の構成要素となるフレームの特徴量を抽出するステップと、
カット検出手段が、時間的に連続する前記フレーム間での画面の切り替わりであるカット点を、前記特徴量を用いて検出するステップと、
類似ショット検出手段が、前記フレーム間における各特徴量の差が所定の誤差範囲内にある場合に、前記各フレームを取り出した元となっているものであって前記カット点によって分割される時間区間の前記フレームの集合体であるショットについて、同一のショット属性値を付与した類似ショットとして検出するステップと、
ショット選択手段が、前記類似ショットの集合であるショット群から所定の基準を満足するショット群を選択するステップと、
顔領域検出手段が、選択された前記ショット群に含まれる1つ以上のショット内から人物の顔と推定される画像領域である顔領域を検出するステップと、
顔領域追跡手段が、連続する前記フレーム間の前記顔領域の座標群が同一と看做される場合、同一と看做される前記各顔領域に対して同一の顔属性値を付与するステップと、
顔領域選択手段が、前記顔領域追跡手段から同一の顔属性を付与された前記顔領域の座標群を受け取り、同一ショット群に含まれる前記顔領域を特徴量に従って分類し、分類された同一ショット群に含まれる前記顔領域群を同一の人物と推定して、主要な登場人物の顔領域群として選択するステップと、
を含むことを特徴とする映像処理方法。 - 映像処理装置で実行される映像処理方法であって、前記映像処理装置は、制御部と記憶部を備え、前記制御部において実行される、
顔領域検出手段が、映像の構成要素となるフレームから人物の顔と推定される画像領域である顔領域を検出するステップと、
顔領域追跡手段が、連続する前記フレーム間の前記顔領域の座標群が同一と看做される場合、同一と看做される前記各顔領域に対して同一の顔属性値を付与するステップと、
特徴量抽出手段が、前記フレームの特徴量を抽出するステップと、
カット検出手段が、時間的に連続する前記フレーム間での画面の切り替わりであるカット点を、前記特徴量を用いて検出するステップと、
類似ショット検出手段が、前記フレーム間における各特徴量の差が所定の誤差範囲内にある場合に、前記各フレームを取り出した元となっているものであって前記カット点によって分割される時間区間の前記フレームの集合体であるショットについて、同一のショット属性値を付与した類似ショットとして検出するステップと、
ショット選択手段が、前記顔領域検出手段から前記顔領域が検出された前記フレームを示す情報を受け取るとともに、前記類似ショット検出手段から前記類似ショットの情報を受け取り、前記類似ショットの集合であるショット群から前記顔領域が含まれるとともに所定の基準を満足するショット群を選択するステップと、
顔領域選択手段が、前記顔領域追跡手段から同一の顔属性を付与された前記顔領域の座標群を受け取るとともに、前記ショット選択手段から前記顔領域が含まれるショット群を受け取り、同一ショット群に含まれる前記顔領域を特徴量に従って分類し、分類された同一ショット群に含まれる前記顔領域群を同一の人物と推定して、主要な登場人物の顔領域群として選択するステップと、
を含むことを特徴とする映像処理方法。 - 前記ショット選択手段は、前記ショット群に含まれるショットの数と前記ショット群に含まれるショットの合計時間の長さとの少なくとも何れか一方が予め与えられた閾値を超えることを基準とする、
ことを特徴とする請求項1に記載の映像処理方法。 - 前記ショット選択手段は、予め全ての前記ショット群について、前記ショット群に含まれるショットの数と前記ショット群に含まれるショットの合計時間の長さとの少なくとも何れか一方を基準にして並び替え、上位から所定の位置に位置することを基準とする、
ことを特徴とする請求項1に記載の映像処理方法。 - 前記ショット選択手段は、前記ショット群と既に選択されている前記ショット群との特徴量の類似度が予め与えられた閾値を下回るか否かを基準とする、
ことを特徴とする請求項1に記載の映像処理方法。 - 前記ショット選択手段は、選択された全ての前記ショット群の相互の特徴量の類似度の総和が最小、あるいは所定の誤差範囲内でそれに準じるようになることを基準とする、
ことを特徴とする請求項1に記載の映像処理方法。 - 前記顔領域選択手段は、前記ショット群の順位に従って、前記ショット群ごとに同一の属性が付与された前記顔領域群の集合を並び替えて、上位のものを選択する、
ことを特徴とする請求項1に記載の映像処理方法。 - 前記顔領域選択手段は、前記ショット選択手段によって選択された前記ショット群の順位に従う、
ことを特徴とする請求項7に記載の映像処理方法。 - 前記顔領域選択手段は、前記ショット選択手段によって選択された全ての前記ショット群に含まれる前記顔領域群の集合を並び替えて、上位のものを選択する、
ことを特徴とする請求項1に記載の映像処理方法。 - 前記顔領域選択手段は、前記顔領域群の集合に含まれる前記顔領域の数が多いものから降順に、前記顔領域群の集合を並び替える、
ことを特徴とする請求項9に記載の映像処理方法。 - 前記顔領域選択手段は、分類された同一ショット群に複数の前記顔領域が存在する場合には、前記ショット間で最も中心座標の距離が近い位置にある前記顔領域を同一の人物として推定する、
ことを特徴とする請求項1に記載の映像処理方法。 - 前記類似ショット検出手段では前記類似ショットとしては検出されていないが顔領域近傍の画像が類似することで同一人物と推定される複数の前記顔領域群について、一の前記顔領域群のみを残し、他の前記画像領域群を前記顔領域選択手段で選択された前記顔領域群から除去する顔領域除去手段をさらに備える、
ことを特徴とする請求項1に記載の映像処理方法。 - 映像の構成要素となるフレームの特徴量を抽出する特徴量抽出手段と、
時間的に連続する前記フレーム間での画面の切り替わりであるカット点を、前記特徴量を用いて検出するカット検出手段と、
前記フレーム間における各特徴量の差が所定の誤差範囲内にある場合に、前記各フレームを取り出した元となっているものであって前記カット点によって分割される時間区間の前記フレームの集合体であるショットについて、同一のショット属性値を付与した類似ショットとして検出する類似ショット検出手段と、
前記類似ショットの集合であるショット群から所定の基準を満足するショット群を選択するショット選択手段と、
選択された前記ショット群に含まれる1つ以上のショット内から人物の顔と推定される画像領域である顔領域を検出する顔領域検出手段と、
連続する前記フレーム間の前記顔領域の座標群が同一と看做される場合、同一と看做される前記各顔領域に対して同一の顔属性値を付与する顔領域追跡手段と、
前記顔領域追跡手段から同一の顔属性を付与された前記顔領域の座標群を受け取り、同一ショット群に含まれる前記顔領域を特徴量に従って分類し、分類された同一ショット群に含まれる前記顔領域群を同一の人物と推定して、主要な登場人物の顔領域群として選択する顔領域選択手段と、
を備えることを特徴とする映像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009514296A JP5166409B2 (ja) | 2007-11-29 | 2008-11-28 | 映像処理方法および映像処理装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007308687 | 2007-11-29 | ||
JP2007308687 | 2007-11-29 | ||
PCT/JP2008/072108 WO2009069831A1 (en) | 2007-11-29 | 2008-11-28 | Picture processing method and picture processing apparatus |
JP2009514296A JP5166409B2 (ja) | 2007-11-29 | 2008-11-28 | 映像処理方法および映像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011505601A true JP2011505601A (ja) | 2011-02-24 |
JP5166409B2 JP5166409B2 (ja) | 2013-03-21 |
Family
ID=40678712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009514296A Expired - Fee Related JP5166409B2 (ja) | 2007-11-29 | 2008-11-28 | 映像処理方法および映像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20100272365A1 (ja) |
JP (1) | JP5166409B2 (ja) |
WO (1) | WO2009069831A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012230501A (ja) * | 2011-04-25 | 2012-11-22 | Canon Inc | 画像処理装置、画像処理方法 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4560805B2 (ja) * | 2008-02-29 | 2010-10-13 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
KR101268520B1 (ko) | 2009-12-14 | 2013-06-04 | 한국전자통신연구원 | 영상 인식 장치 및 방법 |
CN102111535B (zh) * | 2009-12-23 | 2012-11-21 | 华晶科技股份有限公司 | 提高人脸辨识率的方法 |
JP5576384B2 (ja) * | 2010-01-29 | 2014-08-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | データ処理装置 |
US8811747B2 (en) | 2011-10-28 | 2014-08-19 | Intellectual Ventures Fund 83 Llc | Image recomposition from face detection and facial features |
US9025836B2 (en) | 2011-10-28 | 2015-05-05 | Intellectual Ventures Fund 83 Llc | Image recomposition from face detection and facial features |
US20130108119A1 (en) * | 2011-10-28 | 2013-05-02 | Raymond William Ptucha | Image Recomposition From Face Detection And Facial Features |
US8938100B2 (en) | 2011-10-28 | 2015-01-20 | Intellectual Ventures Fund 83 Llc | Image recomposition from face detection and facial features |
US9008436B2 (en) | 2011-10-28 | 2015-04-14 | Intellectual Ventures Fund 83 Llc | Image recomposition from face detection and facial features |
US9025835B2 (en) | 2011-10-28 | 2015-05-05 | Intellectual Ventures Fund 83 Llc | Image recomposition from face detection and facial features |
JP2013164834A (ja) * | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5959923B2 (ja) * | 2012-04-26 | 2016-08-02 | キヤノン株式会社 | 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 |
US10150028B2 (en) * | 2012-06-04 | 2018-12-11 | Sony Interactive Entertainment Inc. | Managing controller pairing in a multiplayer game |
JP2014067333A (ja) * | 2012-09-27 | 2014-04-17 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
KR102065362B1 (ko) * | 2013-05-14 | 2020-01-13 | 삼성전자주식회사 | 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법 |
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
JP7172224B2 (ja) | 2018-07-19 | 2022-11-16 | 昭和電工マテリアルズ株式会社 | 導体形成用組成物、及び、導体層を有する物品の製造方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09270006A (ja) * | 1996-04-03 | 1997-10-14 | Toshiba Corp | 動画像処理方法 |
JPH10234004A (ja) * | 1997-02-18 | 1998-09-02 | Toshiba Corp | 動画像表示装置および表示方法 |
JP2007213170A (ja) * | 2006-02-07 | 2007-08-23 | Omron Corp | 画像処理装置および方法、並びにプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7080392B1 (en) * | 1991-12-02 | 2006-07-18 | David Michael Geshwind | Process and device for multi-level television program abstraction |
US6195497B1 (en) * | 1993-10-25 | 2001-02-27 | Hitachi, Ltd. | Associated image retrieving apparatus and method |
KR100636910B1 (ko) * | 1998-07-28 | 2007-01-31 | 엘지전자 주식회사 | 동영상검색시스템 |
JP4154400B2 (ja) * | 2004-04-01 | 2008-09-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
JP4618166B2 (ja) * | 2006-03-07 | 2011-01-26 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US7668867B2 (en) * | 2006-03-17 | 2010-02-23 | Microsoft Corporation | Array-based discovery of media items |
US7916971B2 (en) * | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
-
2008
- 2008-11-28 WO PCT/JP2008/072108 patent/WO2009069831A1/en active Application Filing
- 2008-11-28 US US12/734,698 patent/US20100272365A1/en not_active Abandoned
- 2008-11-28 JP JP2009514296A patent/JP5166409B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09270006A (ja) * | 1996-04-03 | 1997-10-14 | Toshiba Corp | 動画像処理方法 |
JPH10234004A (ja) * | 1997-02-18 | 1998-09-02 | Toshiba Corp | 動画像表示装置および表示方法 |
JP2007213170A (ja) * | 2006-02-07 | 2007-08-23 | Omron Corp | 画像処理装置および方法、並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012230501A (ja) * | 2011-04-25 | 2012-11-22 | Canon Inc | 画像処理装置、画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2009069831A1 (en) | 2009-06-04 |
JP5166409B2 (ja) | 2013-03-21 |
US20100272365A1 (en) | 2010-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5166409B2 (ja) | 映像処理方法および映像処理装置 | |
JP4909840B2 (ja) | 映像処理装置、プログラムおよび方法 | |
US20090052783A1 (en) | Similar shot detecting apparatus, computer program product, and similar shot detecting method | |
US11386284B2 (en) | System and method for improving speed of similarity based searches | |
US10452893B2 (en) | Method, terminal, and storage medium for tracking facial critical area | |
Cotsaces et al. | Video shot detection and condensed representation. a review | |
CN106663196B (zh) | 用于识别主体的方法、系统和计算机可读存储介质 | |
US9047376B2 (en) | Augmenting video with facial recognition | |
JP5106271B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
CN106446015A (zh) | 一种基于用户行为偏好的视频内容访问预测与推荐方法 | |
WO2016085667A1 (en) | Fast object tracking framework for sports video recognition | |
Sreeja et al. | Towards genre-specific frameworks for video summarisation: A survey | |
CN113766330A (zh) | 基于视频生成推荐信息的方法和装置 | |
Obeso et al. | Comparative study of visual saliency maps in the problem of classification of architectural images with Deep CNNs | |
WO1999005865A1 (en) | Content-based video access | |
e Souza et al. | Survey on visual rhythms: A spatio-temporal representation for video sequences | |
Wei et al. | Omni-face detection for video/image content description | |
Barhoumi | Detection of highly articulated moving objects by using co-segmentation with application to athletic video sequences | |
Arbués-Sangüesa et al. | Multi-Person tracking by multi-scale detection in Basketball scenarios | |
Dhamecha et al. | Video summarization using feature vector clustering | |
Li et al. | Ultra high definition video saliency database | |
WO2004068414A1 (ja) | 注目物体の出現位置表示装置 | |
Mariappan et al. | A study of low-complexity tools for semantic classification of mobile video | |
Merler | Multimodal Indexing of Presentation Videos | |
Yang | Automatic video categorization for massively large corpora: A paradigm shift for applications in lane tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121220 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |