JP2019097066A - 動画像圧縮装置及び動画像圧縮方法 - Google Patents
動画像圧縮装置及び動画像圧縮方法 Download PDFInfo
- Publication number
- JP2019097066A JP2019097066A JP2017225931A JP2017225931A JP2019097066A JP 2019097066 A JP2019097066 A JP 2019097066A JP 2017225931 A JP2017225931 A JP 2017225931A JP 2017225931 A JP2017225931 A JP 2017225931A JP 2019097066 A JP2019097066 A JP 2019097066A
- Authority
- JP
- Japan
- Prior art keywords
- stage
- layer
- outputs
- moving image
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層であってもよい。
図1は、動画像を圧縮する処理の概要を説明するための図である。動画像圧縮装置1は、例えばPC(Personal Computer)である。動画像圧縮装置1は、機械学習モデルMを用いて基準フレーム画像に基づいて、特定用フレーム画像に写っている被写体が移動するベクトルを推定することにより、動画像を圧縮する装置である。基準フレーム画像は、動画像に含まれる複数のフレーム画像から選択された一のフレーム画像である。特定用フレーム画像は、基準フレーム画像以外のフレーム画像であって、基準フレーム画像の前後にある一以上のフレーム画像である。ベクトルは、基準フレーム画像に基づいて、被写体が移動する向き及び移動量を示す動きベクトルである。
以下、動画像圧縮装置1の詳細について説明する。
図3は、動画像圧縮装置1の構成を示す図である。動画像圧縮装置1は、操作部11、記憶部12、及び制御部13を有する。
記憶部12は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等の記憶媒体である。記憶部12は、制御部13が実行する各種のプログラムを記憶する。記憶部12は、動画像を記憶する。
動画像取得部131は、記憶部12に記憶されている撮像装置で生成された動画像を取得する。動画像取得部131は、取得した動画像を、伝搬制御部132に入力する。
続いて、抽出部133が行う抽出処理について説明する。上述のとおり、抽出部133は、後段抽出部134及び前段抽出部135を有する。後段抽出部134は、特定用フレーム画像が複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段特定用出力、及び基準フレーム画像が前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段基準出力から、共通に活性化している一以上の後段特定用出力及び一以上の後段基準出力を抽出する。
続いて、動画像圧縮装置1が行う処理の流れを説明する。図10は、動画像圧縮装置1が行う処理の流れを示すフローチャートである。本フローチャートは、動画像圧縮装置1が、記憶部12に動画像が格納され、ユーザによる動画像を圧縮する処理を実行する操作を受け付けたことを契機として開始する。
以上説明したとおり、動画像圧縮装置1は、取得した動画像に含まれる特定用フレーム画像及び基準フレーム画像のそれぞれに、機械学習モデルMに含まれる複数の処理層を伝搬させる。動画像圧縮装置1は、伝搬させた順とは逆の順序で後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の特定用出力及び一以上の基準出力を、処理層ごとに抽出し、対応関係にある特定用特徴点及び基準特徴点をそれぞれ検出する。そして、動画像圧縮装置1は、誤検出した対応関係を除去した一以上の特定用特徴点と一以上の基準特徴点とを比較することにより、被写体の動きベクトルを推定し、推定した動きベクトルに基づいて、動画像を圧縮した圧縮動画像を生成する。
11 操作部
12 記憶部
13 制御部
131 動画像取得部
132 伝搬制御部
133 抽出部
134 後段抽出部
135 前段抽出部
136 指示受付部
137 特徴点検出部
138 選択部
139 ベクトル推定部
140 圧縮部
Claims (15)
- 撮像装置で生成された動画像を取得する動画像取得部と、
前記動画像に含まれるフレーム画像である基準フレーム画像及び前記動画像に含まれる前記基準フレーム画像以外のフレーム画像である特定用フレーム画像のそれぞれに、入力された動画像に基づいて当該動画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部と、
前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記特定用フレーム画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の特定用出力と前記基準フレーム画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の基準出力とを抽出する抽出部と、
前記一以上の特定用出力に基づいて一以上の特定用特徴点を検出し、かつ前記一以上の基準出力に基づいて一以上の基準特徴点を検出する特徴点検出部と、
前記一以上の特定用特徴点と前記一以上の基準特徴点とを比較することにより、前記フレーム画像間で被写体が移動するベクトルを推定するベクトル推定部と、
前記ベクトル推定部が推定した結果に基づいて、前記動画像を圧縮した圧縮動画像を生成する圧縮部と、
を有する動画像圧縮装置。 - 前記抽出部は、
前記特定用フレーム画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段特定用出力、及び前記基準フレーム画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段基準出力から、共通に活性化している一以上の後段特定用出力及び一以上の後段基準出力を抽出する後段抽出部と、
前記一以上の後段特定用出力及び前記一以上の後段基準出力を活性化させる要因となった前記前段処理層から出力された複数の前段特定用出力、及び前記前段処理層から出力された複数の前段基準出力のうち、共通に活性化している一以上の前段特定用出力及び一以上の前段基準出力を抽出する前段抽出部と、
を有する、
請求項1に記載の動画像圧縮装置。 - 前記前段抽出部は、前記複数の前段特定用出力及び前記複数の前段基準出力のうち、活性化している大きさに基づいて、前記一以上の前段特定用出力及び前記一以上の前段基準出力を抽出する、
請求項2に記載の動画像圧縮装置。 - 前記機械学習モデルは、畳み込みニューラルネットワークを含み、
前記後段処理層は、出力層、全結合層、正規化層、プーリング層、及び畳み込み層のうちのいずれかの層である、
請求項2又は3に記載の動画像圧縮装置。 - 前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層である、
請求項4に記載の動画像圧縮装置。 - 前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の特定用出力及び前記一以上の基準出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の特定用出力及び前記一以上の基準出力を抽出する、
請求項1又は5に記載の動画像圧縮装置。 - 前記特徴点検出部が特定した前記一以上の特定用特徴点及び前記一以上の基準特徴点から、相互の対応関係に基づいて一部の特定用特徴点及び一部の基準特徴点を選択する選択部をさらに有し、
前記ベクトル推定部は、前記一部の特定用特徴点と前記一部の基準特徴点とを比較することにより、前記被写体が移動するベクトルを推定する、
請求項1から6のいずれか一項に記載の動画像圧縮装置。 - 前記選択部は、前記ベクトル推定部が、前記被写体に含まれる前記一部の特定用特徴点それぞれが移動するベクトルを推定した場合において、一の特定用特徴点と当該一の特定用特徴点の周囲にある特定用特徴点との移動するベクトルが所定の範囲を超える場合に、前記一の特定用特徴点及び前記一の特定用特徴点に対応する基準特徴点を、前記一部の特定用特徴点及び前記一部の基準特徴点から除去する、
請求項7に記載の動画像圧縮装置。 - 前記ベクトル推定部は、前記特定用フレーム画像における前記一部の特定用特徴点の位置と、前記基準フレーム画像における前記一部の基準特徴点の位置との関係に基づいて、前記ベクトルを推定する、
請求項8に記載の動画像圧縮装置。 - 前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、
前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用する、
請求項1から9のいずれか一項に記載の動画像圧縮装置。 - 前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の特定用出力及び前記一以上の基準出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の特定用出力及び前記一以上の基準出力を抽出する、
請求項1から10のいずれか一項に記載の動画像圧縮装置。 - 撮像装置で生成された動画像を取得するステップと、
前記動画像に含まれるフレーム画像である基準フレーム画像及び前記動画像に含まれる前記基準フレーム画像以外のフレーム画像である特定用フレーム画像のそれぞれに、入力された動画像に基づいて当該動画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させるステップと、
前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記特定用フレーム画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の特定用出力と前記基準フレーム画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の基準出力とを抽出するステップと、
前記一以上の特定用出力に基づいて一以上の特定用特徴点を検出し、かつ前記一以上の基準出力に基づいて一以上の基準特徴点を検出するステップと、
前記一以上の特定用特徴点と前記一以上の基準特徴点とを比較することにより、前記フレーム画像間で被写体が移動するベクトルを推定するステップと、
前記被写体が移動するベクトルを推定するステップにおいて推定した結果に基づいて、前記動画像を圧縮した圧縮動画像を生成するステップと、
を有する動画像圧縮方法。 - 前記抽出するステップは、
前記特定用フレーム画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段特定用出力、及び前記基準フレーム画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段基準出力から、共通に活性化している一以上の後段特定用出力及び一以上の後段基準出力を抽出する前段抽出ステップと、
前記一以上の後段特定用出力及び前記一以上の後段基準出力を活性化させる要因となった前記前段処理層から出力された複数の前段特定用出力、及び前記前段処理層から出力された複数の前段基準出力のうち、共通に活性化している一以上の前段特定用出力及び一以上の前段基準出力を抽出する後段抽出ステップと、
を有する、請求項12に記載の動画像圧縮方法。 - 前記前段抽出ステップを実行した後に、前記一以上の前段特定用出力及び前記一以上の前段基準出力を、前記複数の後段特定用出力及び前記複数の後段基準出力として、前記後段抽出ステップを実行する、
請求項13に記載の動画像圧縮方法。 - 前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行する、
請求項13又は14に記載の動画像圧縮方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017225931A JP6889653B2 (ja) | 2017-11-24 | 2017-11-24 | 動画像圧縮装置及び動画像圧縮方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017225931A JP6889653B2 (ja) | 2017-11-24 | 2017-11-24 | 動画像圧縮装置及び動画像圧縮方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019097066A true JP2019097066A (ja) | 2019-06-20 |
JP6889653B2 JP6889653B2 (ja) | 2021-06-18 |
Family
ID=66972114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017225931A Active JP6889653B2 (ja) | 2017-11-24 | 2017-11-24 | 動画像圧縮装置及び動画像圧縮方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6889653B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05307605A (ja) * | 1991-09-12 | 1993-11-19 | Fuji Photo Film Co Ltd | 被写体抽出方法 |
JPH06162197A (ja) * | 1991-12-12 | 1994-06-10 | Nippon Hoso Kyokai <Nhk> | ニューラルネットワークを用いた動画像処理装置 |
JPH08241294A (ja) * | 1994-08-18 | 1996-09-17 | Nikon Syst:Kk | カオスニューラルネットワークを用いた運動制御方法及びカオス計算機と群運動制御方法。 |
WO2016199330A1 (ja) * | 2015-06-12 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
JP2017191608A (ja) * | 2016-04-15 | 2017-10-19 | 株式会社リコー | 対象識別方法、対象識別装置、及び分類器訓練方法 |
-
2017
- 2017-11-24 JP JP2017225931A patent/JP6889653B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05307605A (ja) * | 1991-09-12 | 1993-11-19 | Fuji Photo Film Co Ltd | 被写体抽出方法 |
JPH06162197A (ja) * | 1991-12-12 | 1994-06-10 | Nippon Hoso Kyokai <Nhk> | ニューラルネットワークを用いた動画像処理装置 |
JPH08241294A (ja) * | 1994-08-18 | 1996-09-17 | Nikon Syst:Kk | カオスニューラルネットワークを用いた運動制御方法及びカオス計算機と群運動制御方法。 |
WO2016199330A1 (ja) * | 2015-06-12 | 2016-12-15 | パナソニックIpマネジメント株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
JP2017191608A (ja) * | 2016-04-15 | 2017-10-19 | 株式会社リコー | 対象識別方法、対象識別装置、及び分類器訓練方法 |
Non-Patent Citations (2)
Title |
---|
三井 政明 他: "ニューラルネットワークの学習による画像の動き場推定法 A Method for Estimation of Motion Fields by Neu", 電子情報通信学会技術研究報告, vol. 96, no. 584, JPN6020042178, 18 March 1997 (1997-03-18), JP, pages 283 - 290, ISSN: 0004380285 * |
久保 博紀 他: "画像からの曲面推定問題におけるネットワークインバージョンの適用 Curved Shape Estimation From Single-E", 電子情報通信学会技術研究報告, vol. 97, no. 624, JPN6020042174, 20 March 1998 (1998-03-20), JP, pages 233 - 240, ISSN: 0004380284 * |
Also Published As
Publication number | Publication date |
---|---|
JP6889653B2 (ja) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4766495B2 (ja) | 対象物追跡装置および対象物追跡方法 | |
US10872262B2 (en) | Information processing apparatus and information processing method for detecting position of object | |
US20140177944A1 (en) | Method and System for Modeling Subjects from a Depth Map | |
US9734612B2 (en) | Region detection device, region detection method, image processing apparatus, image processing method, program, and recording medium | |
US10146992B2 (en) | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type | |
JP2019071050A5 (ja) | ||
JP6946231B2 (ja) | 物体追跡装置及び物体追跡方法 | |
JP2017162409A (ja) | 顔の表情と動作の認識装置及び方法 | |
Urabe et al. | Cooking activities recognition in egocentric videos using combining 2DCNN and 3DCNN | |
JP2012073971A (ja) | 動画オブジェクト検出装置、方法、及びプログラム | |
CN111079567B (zh) | 采样方法、模型生成方法、视频行为识别方法及装置 | |
Makris et al. | Robust 3d human pose estimation guided by filtered subsets of body keypoints | |
Rodrigues et al. | A simple approach for biometrics: Finger-knuckle prints recognition based on a Sobel filter and similarity measures | |
JP2019097066A (ja) | 動画像圧縮装置及び動画像圧縮方法 | |
JP6924128B2 (ja) | モーフィング画像生成装置及びモーフィング画像生成方法 | |
US20220207261A1 (en) | Method and apparatus for detecting associated objects | |
JP7010780B2 (ja) | 物体領域抽出装置及び物体領域抽出方法 | |
KR20160000533A (ko) | 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템 | |
JP6603123B2 (ja) | 動物体の検出装置、検出方法及びプログラム | |
CN108121963B (zh) | 视频数据的处理方法、装置及计算设备 | |
JP6783742B2 (ja) | パラメータ特定装置及びパラメータ特定方法 | |
CN111353334A (zh) | 烟雾检测方法和装置 | |
Kim et al. | A fast and accurate face tracking scheme by using depth information in addition to texture information | |
Talu et al. | A novel object recognition method based on improved edge tracing for binary images | |
Shih et al. | Hand segmentation with skin color fine-tuning using kinect depth sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210511 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210521 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6889653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |