JP2017187954A - 画像合成装置、プログラム及びデータ構造 - Google Patents
画像合成装置、プログラム及びデータ構造 Download PDFInfo
- Publication number
- JP2017187954A JP2017187954A JP2016076792A JP2016076792A JP2017187954A JP 2017187954 A JP2017187954 A JP 2017187954A JP 2016076792 A JP2016076792 A JP 2016076792A JP 2016076792 A JP2016076792 A JP 2016076792A JP 2017187954 A JP2017187954 A JP 2017187954A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion information
- frames
- video signal
- color space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
色空間変換部11において第1の色空間から第2の色空間へと変換する手法は、以下に説明するように既存の手法を利用することができる。以下、説明のための例として第1の色空間をRGBとするが、その他の色空間を採用してもよい。
Y=0.299×R+0.587×G+0.114×B (式1)
Cb=-0.168736×R -0.331264×G+0.5×B (式2)
Cr=0.5×R-0.418688×G -0.081312×B (式3)
U=0.872×Cb (式4)
V=1.23×Cr (式5)
X=0.3933R+0.3651G+ 0.1903B
Y=0.2123R+0.7010G+ 0.0858B (式6)
Z= 0.0182R+0.1117G+0.9570B
さらに、XYZ値から、CIELABすなわちL*a*b*値へ変換するときの変換式は例えば、以下の一連の(式7)を用いればよい。
L*=116(Y/Yn)1/3-16
a*=500[(X/Xn)1/3-(Y/Yn)1/3] (式7)
b*=200[(Y/Yn)1/3-(Z/Zn)1/3]
H=定義不能 (MAX=MINの場合)
H=60×(G-R)/(MAX-MIN)+60 (MIN=Bの場合)
H=60×(B-G)/(MAX-MIN)+180 (MIN=Rの場合)
H=60×(R-B)/(MAX-MIN)+300 (MIN=Gの場合)
V=MAX (式8)
S=MAX-MIN (円錐モデルの場合)
S=(MAX-MIN)/MAX (円柱モデルの場合)
動き情報算出部12では、一実施形態として、オプティカルフローを処理単位の変換された第2の色空間の所定チャネル信号(例えばYUV空間におけるYチャネル信号)の各フレーム間において算出することができる。オプティカルフローの算出に関しては、前掲の非特許文献4に開示されている通り、以下のようにすればよい。非特許文献4では、基本前提として、画像の小さい領域の中に任意のピクセルのY成分(動き情報の算出対象はYUV信号のY成分であるものとして説明する。)が以下の(式9)のように2次形式(quadratic polynomial basis)で表現できるものとする。
f1(x)=xTA1x+b1 Tx+c1 (式9)
ここで、xは第1フレーム(動き算出対象の片方のフレーム)のY成分の対象ピクセルの位置座標であり、A1,b1,c1はその領域で算出する係数(A1は行列係数、b1,c1はベクトル係数)であり、f1(x)は対象ピクセルのY成分である。Tは転置演算である。
f2(x)= f1(x-d)=(x-d)TA1(x-d)+b1 T(x-d)+c1
= xTA1x+(b1-2A1d)Tx+dTA1d-b1 Td+c1
= xTA2x+b2 Tx+c2 (式10)
ここで、dは対象ピクセルxのオプティカルフロー(位置座標の差分)であり、A2、b2、c2はその領域で算出する係数(A2は行列係数、b2,c2はベクトル係数)である。
d=(-1/2)A1 -1(b2-b1) (式11)
1,2フレーム目Y1,Y2間のオプティカルフローd2(x成分OX2,y成分OY2)
2,3フレーム目Y2,Y3間のオプティカルフローd3(x成分OX3,y成分OY3)
3,4フレーム目Y3,Y4間のオプティカルフローd4(x成分OX4,y成分OY4)
解像度変換部13では、動き情報算出部12で得られた動き情報の解像度を変換して、画像合成部14へと出力する。ここで、解像度変換の処理は画像処理において用いられている周知の所定のものを利用すればよく、所定割合だけ解像度を落とすように変換することができる。なお、動き情報は画像のピクセル位置(x,y)毎に得られていることから画像の一種とみなすことができるため、解像度変換処理を適用することが可能である。
(1) 周囲の4点を平均する。
(2) 周囲の4点から最大値を選ぶ。
(3) 偶数の行列を間引く。
(4) 奇数の行列を間引く。
・0次補間(最近傍補間、最近傍点補間)
・線形補間(直線補間、1次補間)
・放物線補間(2次補間)
・キュービック補間(3次補間)
・キュービックコンボリューション
・ラグランジュ補間
・スプライン補間
・Sinc関数
・Lanczos-n補間(ランツォシュ補間)
・クリギング
(1) S''(x0)=S''(xn)=0 …(自然境界:natural boundary)
(2) S'(x0)=f'(x0), S'(xn)=f'(xn) …(固定境界:clamped boundary)
…(式12)
なお、自然境界のとき、自然スプラインといい、そのグラフは境界点(x0,f(x0))と(xn,f(xn))とで曲点となる。一般に、固定境界条件は関数に関して条件が多いので、良い近似を与えることが多い。しかし,固定境界条件を満たすためには、境界における微分係数かその近似を得ることができなければならない。
画像合成部14では、以上の各部11〜13により処理単位ごとに得られた空間情報(例えば第2の色空間として変換されたYUV信号のうち所定フレーム位置及び所定チャネルのもの)と動き情報(例えばオプティカルフロー)とを所定配置で組み合わせて合成画像を生成する。この際、以上説明したように、YUV信号の場合であればY信号と比べて情報量の少ないUV信号と、オプティカルフロー等の動き情報と、に関しては解像度を落としておいたうえで合成画像に埋め込むことで、次段の認識部15の処理の高速化を図ることができる。
H(d2(x))<TH1
H(d3(x))<TH1
H(d4(x))<TH1
H(d2(y))<TH1 (式14)
H(d3(y))<TH1
H(d4(y))<TH1
H(U)<TH2
H(V)<TH2 (式15)
H(U)>TH3
H(V)>TH3 (式16)
(1)合成画像により色空間の冗長性と映像信号の時間相関を利用しながら、計算量とメモリー消費を低減させる。
(2)処理単位を短くするため、リアルタイム処理が可能である。
11…色空間変換部、12…動き情報算出部、13…解像度変換部、14…画像合成部、15…認識部
Claims (13)
- 映像信号における所定数の継続したフレームごとに、当該フレーム内より抽出される空間情報と、当該フレーム間より抽出される動き情報と、を組み合わせた合成画像を生成する画像合成部を備えることを特徴とする画像合成装置。
- 前記画像合成部では、前記合成画像を、前記映像信号における所定数の継続したフレームごとに、当該映像信号における空間情報及び動き情報を考慮した認識を行うための入力データとして生成することを特徴とする請求項1に記載の画像合成装置。
- 前記認識が深層畳み込みニューラルネットワークによって行われることを特徴とする請求項2に記載の画像合成装置。
- 前記映像信号は第1の色空間で構成されており、
前記映像信号における所定数の継続したフレームごとに、前記第1の色空間から冗長性の削減された第2の色空間への変換を行う色空間変換部をさらに備え、
前記画像合成部では、前記色空間変換部により前記第2の色空間へと変換された所定数の継続したフレームを対象として、前記合成画像を生成することを特徴とする請求項1ないし3のいずれかに記載の画像合成装置。 - 前記映像信号における所定数の継続したフレームごとに、当該フレーム間のオプティカルフローを算出する動き情報算出部をさらに備え、前記画像合成部では、前記算出されたオプティカルフローより前記動き情報を抽出して前記合成画像を生成することを特徴とする請求項1ないし4のいずれかに記載の画像合成装置。
- 前記画像合成部では、前記所定数の継続したフレーム内の所定フレームに対し、色空間変換及び/又は解像度変換を施したものとして前記空間情報を抽出することにより、前記合成画像を生成することを特徴とする請求項1ないし5のいずれかに記載の画像合成装置。
- 前記画像合成部では、前記所定数の継続したフレーム間において動き情報のマップを抽出したうえでさらに当該マップに解像度変換を施したものとして、前記動き情報を抽出することにより、前記合成画像を生成することを特徴とする請求項1ないし6のいずれかに記載の画像合成装置。
- 前記合成画像を生成する際の前記空間情報のサイズ及び前記動き情報のサイズの設定には複数の所定候補が存在し、
前記画像合成部では、前記複数の所定候補の中から、前記合成画像を生成する対象となる前記映像信号における所定数の継続したフレームの内容に応じて特定候補を選択したうえで、前記合成画像を生成することを特徴とする請求項1ないし7のいずれかに記載の画像合成装置。 - 前記画像合成部では、前記合成画像を生成する対象となる前記映像信号における所定数の継続したフレームにおける空間情報の複雑度及び動き情報の複雑度に応じて、前記特定候補を選択することを特徴とする請求項8に記載の画像合成装置。
- 前記画像合成部では、前記空間情報の複雑度及び前記動き情報の複雑度を、当該各情報の値の分布のヒストグラムから算出されるエントロピーに基づいて評価することを特徴とする請求項9に記載の画像合成装置。
- 前記画像合成部では、前記抽出した空間情報の取る値の範囲と前記抽出した動き情報の取る値の範囲との間で規格化を行ったうえで、前記合成画像を生成することを特徴とする請求項1ないし10のいずれかに記載の画像合成装置。
- コンピュータを請求項1ないし11のいずれかに記載の画像合成装置として機能させることを特徴とするプログラム。
- 映像信号における所定数の継続したフレームごとに、当該フレーム内より抽出される空間情報と、当該フレーム間より抽出される動き情報と、を組み合わせた合成画像のデータ構造であって、
前記合成画像が、前記映像信号における所定数の継続したフレームごとに、当該映像信号における空間情報及び動き情報を考慮した認識を行うための入力データとして生成されることを特徴とするデータ構造。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016076792A JP6609505B2 (ja) | 2016-04-06 | 2016-04-06 | 画像合成装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016076792A JP6609505B2 (ja) | 2016-04-06 | 2016-04-06 | 画像合成装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017187954A true JP2017187954A (ja) | 2017-10-12 |
JP6609505B2 JP6609505B2 (ja) | 2019-11-20 |
Family
ID=60046423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016076792A Expired - Fee Related JP6609505B2 (ja) | 2016-04-06 | 2016-04-06 | 画像合成装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6609505B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108833925A (zh) * | 2018-07-19 | 2018-11-16 | 哈尔滨工业大学 | 一种混合视频编解码系统中基于深度神经网络的帧间预测方法 |
WO2019026890A1 (ja) * | 2017-07-31 | 2019-02-07 | 株式会社エクォス・リサーチ | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム |
JP2019028985A (ja) * | 2017-07-31 | 2019-02-21 | 株式会社エクォス・リサーチ | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム |
JP2019102082A (ja) * | 2017-11-28 | 2019-06-24 | 南京地平綫机器人技術有限公司 | 折り畳まれた特徴データに対して畳み込み演算を実行するための方法および装置 |
WO2019167303A1 (ja) * | 2018-02-28 | 2019-09-06 | 株式会社エクォス・リサーチ | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム |
KR20200036093A (ko) * | 2018-09-21 | 2020-04-07 | 네이버웹툰 주식회사 | 비디오 영상 내의 행동 인식 방법 및 장치 |
JP2020512647A (ja) * | 2017-12-13 | 2020-04-23 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | ビデオ識別及びトレーニング方法、装置、電子デバイス及び媒体 |
JP2020080096A (ja) * | 2018-11-14 | 2020-05-28 | Kddi株式会社 | オブジェクト識別装置、識別システムおよび識別方法 |
JP2021111236A (ja) * | 2020-01-14 | 2021-08-02 | Kddi株式会社 | 動きボケ除去装置及びプログラム |
JP2021519051A (ja) * | 2019-01-31 | 2021-08-05 | ベイジン センスタイム テクノロジー デベロップメント カンパニー リミテッド | ビデオ修復方法および装置、電子機器、ならびに記憶媒体 |
US11677918B2 (en) | 2020-12-03 | 2023-06-13 | Samsung Electronics Co., Ltd. | Method and apparatus for color space conversion |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527881A (ja) * | 2003-06-17 | 2006-12-07 | 三菱電機株式会社 | ビデオの時間的な画像シーケンス中の移動オブジェクトを検出する方法 |
JP2011018199A (ja) * | 2009-07-09 | 2011-01-27 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2011091510A (ja) * | 2009-10-20 | 2011-05-06 | Canon Inc | 画像処理装置およびその制御方法 |
JP2011215968A (ja) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び物体認識システム |
JP2012022370A (ja) * | 2010-07-12 | 2012-02-02 | Hitachi Kokusai Electric Inc | 監視システムおよび監視方法 |
WO2014069103A1 (ja) * | 2012-10-29 | 2014-05-08 | 株式会社日立国際電気 | 画像処理装置 |
JP2014524630A (ja) * | 2011-08-25 | 2014-09-22 | コーネル ユニヴァーシティー | 機械視覚のための網膜符号化器 |
JP2015070401A (ja) * | 2013-09-27 | 2015-04-13 | 日本電気株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
JP2015210562A (ja) * | 2014-04-24 | 2015-11-24 | 株式会社東芝 | 動きベクトル検出装置、距離検出装置および動きベクトル検出方法 |
JP2015225393A (ja) * | 2014-05-26 | 2015-12-14 | Hoya株式会社 | 画像強調処理システムおよび電子内視鏡システム |
-
2016
- 2016-04-06 JP JP2016076792A patent/JP6609505B2/ja not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006527881A (ja) * | 2003-06-17 | 2006-12-07 | 三菱電機株式会社 | ビデオの時間的な画像シーケンス中の移動オブジェクトを検出する方法 |
JP2011018199A (ja) * | 2009-07-09 | 2011-01-27 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2011091510A (ja) * | 2009-10-20 | 2011-05-06 | Canon Inc | 画像処理装置およびその制御方法 |
JP2011215968A (ja) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び物体認識システム |
JP2012022370A (ja) * | 2010-07-12 | 2012-02-02 | Hitachi Kokusai Electric Inc | 監視システムおよび監視方法 |
JP2014524630A (ja) * | 2011-08-25 | 2014-09-22 | コーネル ユニヴァーシティー | 機械視覚のための網膜符号化器 |
WO2014069103A1 (ja) * | 2012-10-29 | 2014-05-08 | 株式会社日立国際電気 | 画像処理装置 |
JP2015070401A (ja) * | 2013-09-27 | 2015-04-13 | 日本電気株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
JP2015210562A (ja) * | 2014-04-24 | 2015-11-24 | 株式会社東芝 | 動きベクトル検出装置、距離検出装置および動きベクトル検出方法 |
JP2015225393A (ja) * | 2014-05-26 | 2015-12-14 | Hoya株式会社 | 画像強調処理システムおよび電子内視鏡システム |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019026890A1 (ja) * | 2017-07-31 | 2019-02-07 | 株式会社エクォス・リサーチ | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム |
JP2019028985A (ja) * | 2017-07-31 | 2019-02-21 | 株式会社エクォス・リサーチ | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム |
JP7002729B2 (ja) | 2017-07-31 | 2022-01-20 | 株式会社アイシン | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム |
US11157724B2 (en) | 2017-07-31 | 2021-10-26 | Equos Research Co., Ltd. | Image data generation device, image recognition device, image data generation program, and image recognition program |
JP2019102082A (ja) * | 2017-11-28 | 2019-06-24 | 南京地平綫机器人技術有限公司 | 折り畳まれた特徴データに対して畳み込み演算を実行するための方法および装置 |
US10909380B2 (en) | 2017-12-13 | 2021-02-02 | Beijing Sensetime Technology Development Co., Ltd | Methods and apparatuses for recognizing video and training, electronic device and medium |
JP2020512647A (ja) * | 2017-12-13 | 2020-04-23 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | ビデオ識別及びトレーニング方法、装置、電子デバイス及び媒体 |
WO2019167303A1 (ja) * | 2018-02-28 | 2019-09-06 | 株式会社エクォス・リサーチ | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム |
CN108833925B (zh) * | 2018-07-19 | 2020-09-11 | 哈尔滨工业大学 | 一种基于深度神经网络的帧间预测方法 |
CN108833925A (zh) * | 2018-07-19 | 2018-11-16 | 哈尔滨工业大学 | 一种混合视频编解码系统中基于深度神经网络的帧间预测方法 |
KR102198912B1 (ko) * | 2018-09-21 | 2021-01-06 | 네이버웹툰 유한회사 | 비디오 영상 내의 행동 인식 방법 및 장치 |
KR20200036093A (ko) * | 2018-09-21 | 2020-04-07 | 네이버웹툰 주식회사 | 비디오 영상 내의 행동 인식 방법 및 장치 |
JP2020080096A (ja) * | 2018-11-14 | 2020-05-28 | Kddi株式会社 | オブジェクト識別装置、識別システムおよび識別方法 |
JP7012631B2 (ja) | 2018-11-14 | 2022-02-14 | Kddi株式会社 | オブジェクト識別装置、識別システムおよび識別方法 |
JP2021519051A (ja) * | 2019-01-31 | 2021-08-05 | ベイジン センスタイム テクノロジー デベロップメント カンパニー リミテッド | ビデオ修復方法および装置、電子機器、ならびに記憶媒体 |
JP7125541B2 (ja) | 2019-01-31 | 2022-08-24 | ベイジン センスタイム テクノロジー デベロップメント カンパニー リミテッド | ビデオ修復方法および装置、電子機器、ならびに記憶媒体 |
JP2021111236A (ja) * | 2020-01-14 | 2021-08-02 | Kddi株式会社 | 動きボケ除去装置及びプログラム |
JP7219727B2 (ja) | 2020-01-14 | 2023-02-08 | Kddi株式会社 | 動きボケ除去装置及びプログラム |
US11677918B2 (en) | 2020-12-03 | 2023-06-13 | Samsung Electronics Co., Ltd. | Method and apparatus for color space conversion |
Also Published As
Publication number | Publication date |
---|---|
JP6609505B2 (ja) | 2019-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6609505B2 (ja) | 画像合成装置及びプログラム | |
Alata et al. | Choice of a pertinent color space for color texture characterization using parametric spectral analysis | |
CN108629783B (zh) | 基于图像特征密度峰值搜索的图像分割方法、系统及介质 | |
US6289110B1 (en) | Object extracting method using motion picture | |
JP2015197816A (ja) | 画像処理装置、画像処理方法 | |
CN112614060A (zh) | 人脸图像头发渲染方法、装置、电子设备和介质 | |
JP2011211628A (ja) | 画像処理装置および方法、並びにプログラム | |
US9025868B2 (en) | Method and system for image processing to determine a region of interest | |
KR101624801B1 (ko) | 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치 | |
CN107646112B (zh) | 使用机器学习对眼睛图像进行校正的方法以及机器学习的方法 | |
Bugeau et al. | Patch-based image colorization | |
US20140099023A1 (en) | Search method for video clip | |
KR102342526B1 (ko) | 비디오 컬러화 방법 및 장치 | |
JP2020017082A (ja) | 画像オブジェクト抽出装置及びプログラム | |
JP2006133990A (ja) | 画像処理装置 | |
KR20210026618A (ko) | 컴퓨팅 장치 및 그 동작 방법 | |
Zhang et al. | A skin color model based on modified GLHS space for face detection | |
WO2018151043A1 (ja) | 画像処理方法、及びコンピュータプログラム | |
JP2012014535A (ja) | 物体領域抽出システム、方法、及び、プログラム | |
KR101592087B1 (ko) | 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체 | |
KR20200071866A (ko) | 기계학습을 이용한 고해상도 영상의 처리 방법 및 장치 | |
CN111062862A (zh) | 基于颜色的数据增强方法和系统及计算机设备和存储介质 | |
CN111191518A (zh) | 一种双光谱目标检测框坐标同步及掩膜层绘制方法 | |
JP2001331803A (ja) | 画像中の文字領域抽出方法 | |
JP7445109B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191028 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6609505 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |