JP2020072349A - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP2020072349A JP2020072349A JP2018204345A JP2018204345A JP2020072349A JP 2020072349 A JP2020072349 A JP 2020072349A JP 2018204345 A JP2018204345 A JP 2018204345A JP 2018204345 A JP2018204345 A JP 2018204345A JP 2020072349 A JP2020072349 A JP 2020072349A
- Authority
- JP
- Japan
- Prior art keywords
- section
- motion
- image
- frame
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本実施形態に係る画像処理装置は、動画像において、該動画像の撮影者の動作と関連するフレーム区間を動き区間として特定し、該特定した動き区間のうちハイライトとして使用する動き区間(ハイライト区間)を決定する。そして画像処理装置は、該ハイライト区間を繋げた動画像を生成して出力する。先ず、本実施形態に係る画像処理装置のハードウェア構成例について、図1のブロック図を用いて説明する。
第1の実施形態では、各ハイライト区間のフレーム群を連結したハイライト動画像を生成したが、各ハイライト区間のフレーム群をどのように使用しても構わない。例えば、各ハイライト区間における任意のフレームの画像を使用してフォトブックなど他のコンテンツを作成しても良い。
本実施形態を含む以下の各実施形態や各変形例では、第1の実施形態との差分について説明し、以下で特に触れない限りは、第1の実施形態と同様であるものとする。第1の実施形態では、動き区間の一例として撮影者の歩行区間を検出し、検出した動き区間に対して被写体を検出したフレームの割合を取得していた。
ステップS1107にて使用した閾値は0.7に限らず、この閾値を調整してハイライト区間として選択する動き区間の数を調整するようにしても良い。この閾値を調整することで、ハイライト区間の量(長さ、時間)が限られている場合に、区間スコアの高い動き区間、すなわち、撮影者が意図して撮影した区間から優先的にハイライト区間として出力することができる。
第2の実施形態では、ハイライト区間の候補となる区間に対して区間スコアを付与し、区間スコアの値の大小に応じてハイライト区間を決定していた。しかし、区間スコアが高い区間であっても画質的には良くない区間がハイライト区間として選択される可能性がある。
第1の実施形態では、動き区間の一例として撮像装置の向きを変えながら被写体を追い続けるフォローパンの例を挙げた。しかしながら、撮像装置の向きを変えるパンであっても、撮像装置の向きを変える速度が速く、被写体を変更するスナップパンの場合、パン中の映像が確認し難い可能性がある。この場合は、パンを行っている区間の映像よりも、その前後の区間(被写体を撮影している区間)の方が意図を持って撮影している区間である可能性が高い。よって本実施形態では、スナップパンであると検出された区間の前後区間から、被写体の検出フレーム数の割合に基づいてハイライト区間を特定する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (15)
- 動画像において、該動画像の撮影者の動作と関連するフレーム区間を動き区間として特定する特定手段と、
前記動き区間内で被写体が検出されたフレームの割合を取得する取得手段と、
前記特定手段が前記動画像から特定したそれぞれの動き区間のうち使用する動き区間を、該それぞれの動き区間について前記取得手段が取得した割合に基づいて決定する決定手段と
を備えることを特徴とする画像処理装置。 - 前記決定手段は、前記特定手段が前記動画像から特定したそれぞれの動き区間のうち、前記取得手段が取得した割合が閾値以上となる動き区間を、使用する動き区間として決定することを特徴とする請求項1に記載の画像処理装置。
- 前記特定手段は、前記動画像における各フレームの画像の撮像時におけるピッチ方向の角速度に基づいて前記動き区間を特定することを特徴とする請求項1または2に記載の画像処理装置。
- 前記特定手段は、前記動画像におけるフレーム間の動きベクトルに基づいて前記動き区間を特定することを特徴とする請求項1または2に記載の画像処理装置。
- 前記取得手段は、前記動き区間内で特定の種別の被写体が検出されたフレームの割合を取得することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記取得手段は、前記動き区間内で規定範囲の画像座標に位置している被写体が検出されたフレームの割合を取得することを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
- 前記取得手段は、前記動き区間内で規定範囲のサイズの被写体が検出されたフレームの割合を取得することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
- 前記決定手段は、
前記特定手段が前記動画像から特定したそれぞれの動き区間のうち、前記取得手段が取得した割合が閾値以上となる動き区間に第1のスコアを設定し、
前記特定手段が前記動画像から特定したそれぞれの動き区間において、被写体が検出されたフレームが集中している区間と判断された集中区間に第2のスコアを設定し、
前記取得手段が取得した割合が閾値以上となる動き区間、前記集中区間のうち使用する動き区間を、前記第1のスコアおよび前記第1のスコアに基づいて決定することを特徴とする請求項1に記載の画像処理装置。 - 前記第1のスコアは前記第2のスコアよりも大きいことを特徴とする請求項8に記載の画像処理装置。
- 前記第1のスコアは、前記取得手段が取得した割合が閾値以上となる動き区間の画質に応じたスコアを含み、前記第2のスコアは、前記集中区間の画質に応じたスコアを含むことを特徴とする請求項8または9に記載の画像処理装置。
- 前記動き区間は、前記動画像においてスナップパンの区間の前後の区間を含むことを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。
- 更に、
使用する動き区間として前記決定手段が決定したそれぞれの動き区間内のフレーム群を連結した動画像を生成して出力する手段を備えることを特徴とする請求項1乃至11の何れか1項に記載の画像処理装置。 - 更に、
使用する動き区間として前記決定手段が決定したそれぞれの動き区間内におけるフレームを使用してフォトブックを生成して出力する手段を備えることを特徴とする請求項1乃至11の何れか1項に記載の画像処理装置。 - 画像処理装置が行う画像処理方法であって、
前記画像処理装置の特定手段が、動画像において、該動画像の撮影者の動作と関連するフレーム区間を動き区間として特定する特定工程と、
前記画像処理装置の取得手段が、前記動き区間内で被写体が検出されたフレームの割合を取得する取得工程と、
前記画像処理装置の決定手段が、前記特定工程で前記動画像から特定したそれぞれの動き区間のうち使用する動き区間を、該それぞれの動き区間について前記取得工程で取得した割合に基づいて決定する決定工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至13の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018204345A JP7198043B2 (ja) | 2018-10-30 | 2018-10-30 | 画像処理装置、画像処理方法 |
US16/667,320 US20200134840A1 (en) | 2018-10-30 | 2019-10-29 | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018204345A JP7198043B2 (ja) | 2018-10-30 | 2018-10-30 | 画像処理装置、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020072349A true JP2020072349A (ja) | 2020-05-07 |
JP7198043B2 JP7198043B2 (ja) | 2022-12-28 |
Family
ID=70325507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018204345A Active JP7198043B2 (ja) | 2018-10-30 | 2018-10-30 | 画像処理装置、画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20200134840A1 (ja) |
JP (1) | JP7198043B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021071766A (ja) | 2019-10-29 | 2021-05-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
WO2010113929A1 (ja) * | 2009-03-31 | 2010-10-07 | 日本電気株式会社 | 追尾対象判定装置、追尾対象判定方法、および追尾対象判定プログラム |
JP2015215553A (ja) * | 2014-05-13 | 2015-12-03 | オリンパス株式会社 | 撮像装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5520071B2 (ja) * | 2010-02-05 | 2014-06-11 | キヤノン株式会社 | 像振れ補正装置および像振れ補正装置を備えた光学機器、撮像装置、像振れ補正装置の制御方法 |
US20110280438A1 (en) * | 2010-05-14 | 2011-11-17 | Yong Zhang | Image processing method, integrated circuit for image processing and image processing system |
US9070020B2 (en) * | 2012-08-21 | 2015-06-30 | International Business Machines Corporation | Determination of train presence and motion state in railway environments |
JP5655112B2 (ja) * | 2012-09-14 | 2015-01-14 | 富士フイルム株式会社 | 合成画像作成システム、画像処理装置および画像処理方法 |
JP6205073B2 (ja) * | 2014-09-10 | 2017-09-27 | 富士フイルム株式会社 | 撮像装置、撮像方法、及びプログラム |
JP6577852B2 (ja) * | 2015-12-03 | 2019-09-18 | キヤノン株式会社 | 動きベクトル検出装置およびその制御方法 |
US10754351B2 (en) * | 2017-02-28 | 2020-08-25 | Toyota Jidosha Kabushiki Kaisha | Observability grid-based autonomous environment search |
-
2018
- 2018-10-30 JP JP2018204345A patent/JP7198043B2/ja active Active
-
2019
- 2019-10-29 US US16/667,320 patent/US20200134840A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191411A (ja) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | シーン判別方法および代表画像記録・表示装置 |
WO2010113929A1 (ja) * | 2009-03-31 | 2010-10-07 | 日本電気株式会社 | 追尾対象判定装置、追尾対象判定方法、および追尾対象判定プログラム |
JP2015215553A (ja) * | 2014-05-13 | 2015-12-03 | オリンパス株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7198043B2 (ja) | 2022-12-28 |
US20200134840A1 (en) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11012614B2 (en) | Image processing device, image processing method, and program | |
CN104583902B (zh) | 改进的手势的识别 | |
JP4840426B2 (ja) | 電子機器、ぼけ画像選別方法及びプログラム | |
JP5159515B2 (ja) | 画像処理装置およびその制御方法 | |
US9865064B2 (en) | Image processing apparatus, image processing method, and storage medium | |
CN104811660A (zh) | 控制装置及控制方法 | |
JP5187035B2 (ja) | 撮像装置および画像処理装置、並びに画像処理プログラム | |
CN105095853B (zh) | 图像处理装置及图像处理方法 | |
JP2014128002A (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
US20190295300A1 (en) | Method and Apparatus for Generating Image by Using Multi-Sticker | |
TW201330611A (zh) | 影像處理裝置、影像處理方法、程式 | |
JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
JP2004334269A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP7198043B2 (ja) | 画像処理装置、画像処理方法 | |
JP2016189544A (ja) | 画像撮影装置、画像撮影方法、プログラムおよび記録媒体 | |
TWI637323B (zh) | 基於影像的物件追蹤方法及其系統與電腦可讀取儲存媒體 | |
JP6410427B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR101468347B1 (ko) | 이미지 내 가상 시각 정보를 식별하는 방법 및 장치 | |
JP2018097490A (ja) | 情報処理装置、方法およびプログラム | |
CN115205921A (zh) | 电子设备以及控制方法 | |
JP2011193066A (ja) | 撮像装置 | |
JP2019067129A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
JP7182893B2 (ja) | 画像処理装置、撮影装置、画像処理方法、およびプログラム | |
JP2011135227A (ja) | 被写体追跡装置及びその制御方法 | |
JP2021105850A (ja) | 画像処理装置及び方法、及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221216 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7198043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |