JP2012100129A - 画像処理方法及び画像処理装置 - Google Patents
画像処理方法及び画像処理装置 Download PDFInfo
- Publication number
- JP2012100129A JP2012100129A JP2010247031A JP2010247031A JP2012100129A JP 2012100129 A JP2012100129 A JP 2012100129A JP 2010247031 A JP2010247031 A JP 2010247031A JP 2010247031 A JP2010247031 A JP 2010247031A JP 2012100129 A JP2012100129 A JP 2012100129A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- interpolation
- resolution
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】水平方向又は垂直方向に1/2サイズに圧縮された2つの画像からなる一組のステレオ画像に対して、フレーム間統合型高解像度化処理に比べて簡単な動き推定に基づく高解像度化処理を行って高画質で本来のサイズのステレオ画像を得る。
【解決手段】垂直輪郭判定部11は、入力SBS画像の被高解像度化画像に垂直輪郭が存在するかどうかを判定する。垂直輪郭が存在しないときは、y_r照合探索部13は、入力SBS画像の被高解像度化画像の画素から生成した中間画素から構成したブロックを用いて、参照画像上でパターンの一致する場所をベクトル探索する。y_r候補値決定部14は、y_r照合探索部13の探索結果に基づいて、対応する参照画像の画素の画素値を中間画素y_rの候補に決定する。y_r補間処理部15は、中間画素y_rの画素値に基づいて、入力SBS画像を復号したステレオペア画像を生成する。
【選択図】図1
【解決手段】垂直輪郭判定部11は、入力SBS画像の被高解像度化画像に垂直輪郭が存在するかどうかを判定する。垂直輪郭が存在しないときは、y_r照合探索部13は、入力SBS画像の被高解像度化画像の画素から生成した中間画素から構成したブロックを用いて、参照画像上でパターンの一致する場所をベクトル探索する。y_r候補値決定部14は、y_r照合探索部13の探索結果に基づいて、対応する参照画像の画素の画素値を中間画素y_rの候補に決定する。y_r補間処理部15は、中間画素y_rの画素値に基づいて、入力SBS画像を復号したステレオペア画像を生成する。
【選択図】図1
Description
本発明は画像処理方法及び画像処理装置に係り、特にステレオ映像規格の画像の復号のための画像処理を行う画像処理方法及び画像処理装置に関する。
近年の立体映像(3D映像)への関心の高まりに伴い、ステレオ映像の伝送・記録のための規格に関する議論が盛んになっている。中でもサイドバイサイド(Side-by-Side;SBS)方式とアバブビロー(Above-Below;AB)方式とは、2つの画面をそれぞれ水平・垂直に圧縮したものを1画面として伝送するものであるため、従来の伝送系をそのまま使える上に左右チャネルの同期を考慮する心配がないという特長を有する。特にSBS方式は放送・配信系の3Dコンテンツの標準規格の一つになりそうな情勢にある。
また、近年の表示装置の大型化・高精細化に伴い、映像コンテンツに関しても高解像度化が望まれている。そのため旧来の非高解像度で制作されているコンテンツを高解像度化された形で視聴する手段を“超解像”技術と呼び、多くのテレビ装置等において採用されつつある。低解像度画像から高解像度画像を生成する試みは古くから行われており、中でも複数フレームの位置ずれを有する低解像度画像を統合して、高解像度画像を生成する手法については極めて幅広く検討されている。特許文献1〜4は、低解像度動画から高精細動画を作成する手法について開示している。
SBS方式とAB方式は2つの画面をそれぞれ水平・垂直に圧縮するプロセスで水平・垂直画素数が半分になっているので、一般的なバイリニア方式やバイキュービック方式で本来のサイズに復号された2枚の画像について、それぞれ水平・垂直方向の解像度が低くなってしまうことが課題である。
一方、上記特許文献1〜4記載の発明はそれぞれ、画質向上・処理効率向上のためのフレーム間統合型の高解像度化の工夫をしている。しかし、このようなフレーム間統合型の高解像度化全般の問題として、フレーム間に対応部分が存在しない場合は画質改善がなされないという課題がある。さらにフレーム間統合型の高解像度化において、新たに追加する標本点毎の詳細な動き推定を広範囲に精密に行う場合には、探索のために多大な計算コストを要するという課題がある。
本発明は以上の点に鑑みなされたもので、水平方向又は垂直方向に1/2サイズに圧縮された2つの画像からなる一組のステレオ画像に対して、フレーム間統合型高解像度化処理に比べて簡単な動き推定に基づく高解像度化処理を行って高画質で本来のサイズのステレオ画像を得る画像処理方法及び画像処理装置を提供することを目的とする。
上記の目的を達成するため、本発明の画像処理方法は、一組のステレオ画像をそれぞれ水平方向に1/2サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、探索ステップにより探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、候補値決定ステップにより決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理ステップとを含むことを特徴とする。
ここで、上記の探索ステップは、被高解像度化画像のブロック内の水平方向に隣接する2画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する2画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で1/2画素ピッチの探索を行うことを特徴とする。
また、上記の目的を達成するため、本発明の画像処理方法は、一組のステレオ画像をそれぞれ垂直方向に1/2サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、探索ステップにより探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、候補値決定ステップにより決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理ステップとを含むことを特徴とする。
ここで、上記の探索ステップは、被高解像度化画像のブロック内の垂直方向に隣接する2画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する2画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で1/2画素ピッチの探索を行うことを特徴とする。
また、上記の目的を達成するため、本発明の画像処理装置は、一組のステレオ画像をそれぞれ水平方向に1/2サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索手段と、探索手段により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、候補値決定手段により決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理手段とを有することを特徴とする。
ここで、上記の探索手段は、被高解像度化画像のブロック内の水平方向に隣接する2画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する2画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で1/2画素ピッチの探索を行うことを特徴とする。
また、上記の目的を達成するため、本発明の画像処理装置は、一組のステレオ画像をそれぞれ垂直方向に1/2サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索手段と、探索手段により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、候補値決定手段により決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理手段とを有することを特徴とする。
ここで、上記の探索手段は、被高解像度化画像のブロック内の垂直方向に隣接する2画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する2画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で1/2画素ピッチの探索を行うことを特徴とする。
本発明は、水平方向又は垂直方向に1/2サイズに圧縮された2つの画像からなる一組のステレオ画像に対して、フレーム間統合型高解像度化処理に比べて簡単な動き推定に基づく高解像度化処理を行って高画質で本来のサイズのステレオ画像を得ることができる。
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
(第1の実施の形態)
図1は、本発明になる画像処理装置の第1の実施の形態のブロック図、図2は、本発明になる画像処理方法の第1の実施の形態のフローチャートを示す。
図1は、本発明になる画像処理装置の第1の実施の形態のブロック図、図2は、本発明になる画像処理方法の第1の実施の形態のフローチャートを示す。
図1に示すように、本実施の形態の画像処理装置10は、垂直輪郭判定部11と、y_rバイキュービック補間値計算部12と、y_r照合探索部13と、y_r候補値決定部14と、y_r補間処理部15とから構成され、入力される低解像度のSBS(side-By-Side)方式の画像(以下、SBS画像という)に対して、高解像度処理を行って2枚の本来のサイズのステレオ画像(ステレオペア画像)を復号する。
ここで、SBS画像は、図3に示す1フレームの左目用画像1L及び1フレームの右目用画像1Rの2フレーム(すなわち、一組のステレオ画像)を、それぞれ水平方向に1/2サイズに圧縮して得られた、図4に示す圧縮左目用画像2L及び圧縮右目用画像2Rをそれぞれ水平方向に並べて1フレームとして伝送される画像である。また、上記のy_rは、入力SBS画像を左右に半分に分割した各分割領域のそれぞれにおいて、各画素をy[i,j]としたとき、図5に示すように水平方向に隣接する2つの画素y[i,j]と画素y[i+1,j]との中間の標本点の画素(以下、中間画素という)である。
画像処理装置10は、入力SBS画像から上記の中間画素y_rを決定する画像処理を行う。ここでは、画像処理は輝度についてのみ行うものとして説明するが、色差や原色系に適用することも可能である。また、画像処理装置10は、入力SBS画像の左チャネル相当部分(SBS画像を左右に半分に分割したときの左側分割領域の画像)を画素補間による解像度向上処理が施される被高解像度化画像としているときには右チャネル相当部分(SBS画像を左右に半分に分割したときの右側分割領域の画像)を解像度向上のために使用する参照画像として処理し、右チャネル相当部分を被高解像度化画像としているときには左チャネル相当部分を参照画像として処理するものとする。
ここで、画像処理装置10は、1枚のSBS画像を通常のラスタースキャン順で処理していくうえで、左側分割領域の画像及び右側分割領域の画像の一方が被高解像度化画像のときには他方が参照画像となるという形で交互に入れ替わり補間処理を行う。
垂直輪郭判定部11は、入力SBS画像の被高解像度化画像に垂直輪郭が存在するかどうかを判定する。垂直輪郭は例えば隣接する水平方向の2つの画素の画素値が所定値以上の差(絶対値)があるとき垂直輪郭ありと判定する。y_rバイキュービック補間値計算部12は、入力SBS画像の被高解像度化画像に対して公知のバイキュービック補間を行って中間画素の画素値を生成する。
y_r照合探索部13は、入力SBS画像の被高解像度化画像における補間対象位置周辺の所定数の中間画素から構成したブロック毎に参照画像においてパターンマッチングし、参照画像上でパターンの一致する参照ブロックを探索する。y_r候補値決定部14は、y_r照合探索部13により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値をそのまま中間画素y_rの候補(すなわち、補間画素候補値)として決定する。y_r補間処理部15は、y_rバイキュービック補間値計算部12とy_r候補値決定部14とによりそれぞれ得られた中間画素y_rの画素値に基づいて、入力SBS画像を復号したステレオペア画像を生成する。
次に、本実施の形態の画像処理装置10の動作について、図2のフローチャートを併せ参照して説明する。
まず、画像処理装置10は、垂直輪郭判定部11により入力SBS画像の被高解像度化画像に明快な垂直輪郭が存在しないか否かを判定する(ステップS1)。具体的には水平方向に隣接する画素y[i+1,j]と画素y[i,j]の両画素値の差の絶対値が実画像における評価で決定する閾値を超えるか否かで決定する。垂直輪郭判定部11は、上記の両画素値の差の絶対値が上記の閾値を超えているときは明快な垂直輪郭が存在すると判定し、上記の閾値以下のときには明快な垂直輪郭が存在しないと判定する。
y_rバイキュービック補間値計算部12は、垂直輪郭判定部11において明快な垂直輪郭が存在すると判定されたときに、後述するベクトル探索による補間ではエラーが生じたときに輪郭が乱れるケースがあるので、公知のバイキュービック補間を行って、画素y[i+1,j]と画素y[i,j]との中間画素y_rの画素値を計算する(ステップS2)。
一方、y_r照合探索部13は、垂直輪郭判定部11において明快な垂直輪郭が存在しないと判定されたときに、被高解像度化画像の複数の画素をもとに構成したブロックを用いて、参照画像上でパターンの一致する場所(すなわち、パターンマッチする参照ブロック)を探索する(ステップS3)。このブロックは図6に丸印で示すような垂直方向6画素、水平方向6画素からなる計36画素の構成であるものとする。なお、図6中の矢印は、処理対象画素である標本点[i, j]である。
y_r照合探索部13は、ステップS3のy_r探索を、被高解像度化画像における上記ブロックの水平方向に隣接する2画素毎に、図7に△印で示すようにそれら2画素の中心に中間画素を配した後、その中間画素の垂直方向5画素、水平方向5画素からなる計25画素のブロックで1画素ピッチの探索を行う。なお、上記の図7に△印で示す中間画素の画素値は、その画素の左右両側に隣接する丸印で示す2画素の平均値である。このy_r探索は、水平方向(整数+0.5)画素、垂直方向整数画素のずれを検出することになる。
y_r候補値決定部14は、このy_r探索によりベストマッチの場合に、中心の△に対応する参照画像の画素値を中間画素y_rの候補値とする(ステップS4)。
このベストマッチについて更に詳細に説明する。いま、上記の25個の中間画素からなるブロックの中心の画素の画素値を便宜上yh[i,j]とすると、そのブロック全体の画素値はyh[i+s,j+t](ただし、s,tは−2〜+2の整数)と表すことができる。上記の画素値yh[i,j]の画素を用いて参照画像(画素値g[i,j]:便宜上座標系は被高解像度化画像と統一する)への探索を行ったとき、下記の(1)式
これによって、被高解像度化画像における新たに設けた中間画素y_rの位置に、フィルタリングされていない生(高域が減衰していない)の画素値(すなわち、ベストマッチした参照画像における中間画素y_rの位置の画素の画素値)を補間値としてあてはめることができたことになる。なお、探索範囲については、水平方向はSBS画像の視差の範囲、垂直方向は撮影精度他によるずれの範囲で行うものとする。これらは実画像において目視で決定できる。
y_r補間処理部15は、y_rバイキュービック補間値計算部12及びy_r候補値決定部14でそれぞれ生成された補間値を、被高解像度化画像の元の画素値と統合する補間処理を行う(ステップS5)。これにより、y_r補間処理部15は、入力SBS画像よりも高精細な2枚の画像(ステレオペア画像)を出力する。
このように、本実施の形態の画像処理装置10によれば、入力されるSBS画像を構成する図4に示した2つの圧縮左目用画像2L及び圧縮右目用画像2Rは、元々ステレオペア画像であるため、充分に似通った画像内容であり、多くの場合に対応の存在が保証される上、y_r候補値を得るための動き予測の探索範囲も狭い範囲に限定される。このため、本実施の形態の画像処理装置10によれば、フレーム間統合型の高解像度化の問題点を解消でき、その結果、SBS画像の原画像の解像度に近い高画質なステレオペア画像(デコードした画像)を得ることができる。更に、本実施の形態の画像処理装置10によれば、参照画像の実画素を補間画素にできるので、従来の画素の直線補間等による帯域制限によって生じる鮮鋭度の低下を抑制することができる。
(第2の実施の形態)
図8は、本発明になる画像処理装置の第2の実施の形態のブロック図、図9は、本発明になる画像処理方法の第2の実施の形態のフローチャートを示す。
図8は、本発明になる画像処理装置の第2の実施の形態のブロック図、図9は、本発明になる画像処理方法の第2の実施の形態のフローチャートを示す。
図8に示すように、本実施の形態の画像処理装置20は、水平輪郭判定部21と、y_bバイキュービック補間値計算部22と、y_b照合探索部23と、y_b候補値決定部24と、y_b補間処理部25とから構成され、入力される低解像度のAB(Above-Below)方式の画像(以下、AB画像という)に対して、高解像度処理を行って2枚の本来のサイズのステレオ画像(ステレオペア画像)を復号する。
ここで、AB画像は、図3に示した1フレームの左目用画像1L及び1フレームの右目用画像1Rの2フレーム(すなわち、一組のステレオ画像)を、それぞれ垂直方向に1/2サイズに圧縮して得られた、図10に示す圧縮左目用画像3A及び圧縮右目用画像3Bをそれぞれ垂直方向に並べて1フレームとして伝送される画像である。また、上記のy_bは、入力AB画像を上下に半分に分割した各分割領域のそれぞれにおいて、各画素をy[i,j]としたとき、図11に示すように垂直方向に隣接する2つの画素y[i,j]と画素y[i,j+1]との中間の標本点の画素(すなわち、中間画素)である。
画像処理装置20は、入力AB画像から上記の中間画素y_bを決定する画像処理を行う。ここでは、画像処理は輝度についてのみ行うものとして説明するが、色差や原色系に適用することも可能である。また、画像処理装置20は、入力AB画像の左チャネル相当部分(AB画像を上下に半分に分割したときの上側分割領域の画像)を画素補間による解像度向上処理が施される被高解像度化画像としているときには右チャネル相当部分(AB画像を上下に半分に分割したときの下側分割領域の画像)を解像度向上のために使用する参照画像として処理し、右チャネル相当部分を被高解像度化画像としているときには左チャネル相当部分を参照画像として処理するものとする。
ここで、画像処理装置20は、1枚のAB画像を通常のラスタースキャン順で処理していくうえで、上側分割領域の画像及び下側分割領域の画像の一方が被高解像度化画像のときには他方が参照画像となるという形で交互に入れ替わり補間処理を行う。
水平輪郭判定部21は、入力AB画像の被高解像度化画像に水平輪郭が存在するかどうかを判定する。水平輪郭は例えば隣接する垂直方向の2つの画素の画素値が所定値以上の差(絶対値)があるとき水平輪郭ありと判定する。y_bバイキュービック補間値計算部22は、入力AB画像の被高解像度化画像に対して公知のバイキュービック補間を行って中間画素の画素値を生成する。
y_b照合探索部23は、入力AB画像の被高解像度化画像における補間対象位置周辺の所定数の中間画素から構成したブロック毎に参照画像においてパターンマッチングし、参照画像上でパターンの一致する参照ブロックを探索する。y_b候補値決定部24は、y_b照合探索部23により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値をそのまま中間画素y_bの候補(すなわち、補間画素候補値)として決定する。y_b補間処理部25は、y_bバイキュービック補間値計算部22とy_b候補値決定部24とによりそれぞれ得られた中間画素y_bの画素値に基づいて、入力AB画像を復号したステレオペア画像を生成する。
次に、本実施の形態の画像処理装置20の動作について、図9のフローチャートを併せ参照して説明する。まず、水平輪郭判定部21は、入力AB画像の被高解像度化画像において新たな標本点に明快な水平輪郭が存在しないかどうかを検出する(ステップS11)。具体的には垂直方向に隣接する画素y[i,j]と画素y[i,j+1]の両画素値の差の絶対値が実画像における評価で決定する閾値を超えるか否かで決定する。水平輪郭判定部21は、上記の両画素値の差の絶対値が上記の閾値を超えているときは明快な水平輪郭が存在すると判定し、上記の閾値以下のときには明快な水平輪郭が存在しないと判定する。
y_bバイキュービック補間値計算部22は、水平輪郭判定部21において明快な水平輪郭が存在すると判定されたときに、後述するベクトル探索による補間ではエラーが生じたときに輪郭が乱れるケースがあるので、公知のバイキュービック補間を行って、画素y[i,j]と画素y[i,j+1]との中間画素y_bの画素値を計算する(ステップS12)。
一方、y_b照合探索部23は、水平輪郭判定部21において明快な水平輪郭が存在しないと判定されたときに、被高解像度化画像の複数の画素をもとに構成したブロックを用いて、参照画像上でパターンの一致する場所(すなわち、パターンマッチする参照ブロック)を探索する(ステップS13)。このブロックは図6に丸印で示すような垂直方向6画素、水平方向6画素からなる計36画素の構成であるものとする。なお、図6中の矢印は、処理対象画素である標本点[i, j]である。
y_b照合探索部23は、ステップS13のy_b探索を、被高解像度化画像における上記ブロックの垂直方向に隣接する2画素毎に、図12に△印で示すようにそれら2画素の中心に中間画素を配した後、その中間画素の垂直方向5画素、水平方向5画素からなる計25画素のブロックで1画素ピッチの探索を行う。なお、上記の図12に△印で示す中間画素の画素値は、その画素の上下両側に隣接する丸印で示す2画素の平均値である。このy_b探索は、垂直方向(整数+0.5)画素、水平方向整数画素のずれを検出することになる。
y_b候補値決定部24は、このy_b探索によりベストマッチの場合に、中心の△に対応する参照画像の画素値を中間画素y_bの候補値とする(ステップS14)。
このベストマッチについて更に詳細に説明する。いま、上記の25個の中間画素からなるブロックの中心の画素の画素値を便宜上yh[i,j]とすると、そのブロック全体の画素値はyh[i+s,j+t](ただし、s,tは−2〜+2の整数)と表すことができる。上記の画素値yh[i,j]の画素を用いて参照画像(画素値g[i,j]:便宜上座標系は被高解像度化画像と統一する)への探索を行ったとき、前記(1)式を最小にする[p,q]を探し出すことが、ベストマッチとなるベクトルを探索することになる。なお、上記の画素値g[i,j]は、画像の垂直方向画素数をvとしたとき、被高解像度化画像が入力AB画像の上側の左チャネル相当部分で参照画像が下側の右チャネル相当部分のときは、y[i,j+(v/2)]であり、被高解像度化画像が入力AB画像の下側の右チャネル相当部分で参照画像が上側の左チャネル相当部分のときは、y[i,j-(v/2)]である。
これによって、被高解像度化画像における新たに設けた中間画素y_bの位置に、フィルタリングされていない生(高域が減衰していない)の画素値(すなわち、ベストマッチした参照画像における中間画素y_bの位置の画素の画素値)を補間値としてあてはめることができたことになる。なお、探索範囲については、水平方向はAB画像の視差の範囲、垂直方向は撮影精度他によるずれの範囲で行うものとする。これらは実画像において目視で決定できる。
y_b補間処理部25は、y_bバイキュービック補間値計算部22及びy_b候補値決定部24でそれぞれ生成された補間値を、被高解像度化画像の元の画素値と統合する補間処理を行う(ステップS15)。これにより、y_b補間処理部25は、入力AB画像よりも高精細な2枚の画像(ステレオペア画像)を出力する。
このように、本実施の形態の画像処理装置20によれば、入力されるAB画像を構成する図10に示した2つの圧縮左目用画像3A及び圧縮右目用画像3Bは、元々ステレオペア画像であるため、充分に似通った画像内容であり、多くの場合に対応の存在が保証される上、y_b候補値を得るための動き予測の探索範囲も狭い範囲に限定される。このため、本実施の形態の画像処理装置20によれば、フレーム間統合型の高解像度化の問題点を解消でき、その結果、AB画像の原画像の解像度に近い高画質なステレオペア画像(デコードした画像)を得ることができる。更に、本実施の形態の画像処理装置20によれば、参照画像の実画素を補間画素にできるので、従来の画素の直線補間等による帯域制限によって生じる鮮鋭度の低下を抑制することができる。
なお、本発明は、上記の実施の形態のようなハードウェアによるステレオ映像規格の映像の復号処理を行う画像処理装置10、20に限定されるものでなく、図2、図9のフローチャートの各ステップの処理をコンピュータにより実行させる画像処理プログラムも包含する。この場合、画像処理プログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
10、20 画像処理装置
11 垂直輪郭判定部
12 y_rバイキュービック補間値計算部
13 y_r照合探索部
14 y_r候補値決定部
15 y_r補間処理部
21 水平輪郭判定部
22 y_bバイキュービック補間値計算部
23 y_b照合探索部
14 y_b候補値決定部
15 y_b補間処理部
11 垂直輪郭判定部
12 y_rバイキュービック補間値計算部
13 y_r照合探索部
14 y_r候補値決定部
15 y_r補間処理部
21 水平輪郭判定部
22 y_bバイキュービック補間値計算部
23 y_b照合探索部
14 y_b候補値決定部
15 y_b補間処理部
Claims (8)
- 一組のステレオ画像をそれぞれ水平方向に1/2サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、
前記探索ステップにより探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、
前記候補値決定ステップにより決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理ステップと
を含むことを特徴とする画像処理方法。 - 前記探索ステップは、前記被高解像度化画像の前記ブロック内の水平方向に隣接する2画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する2画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で1/2画素ピッチの探索を行うことを特徴とする請求項1記載の画像処理方法。
- 一組のステレオ画像をそれぞれ垂直方向に1/2サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、
前記探索ステップにより探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、
前記候補値決定ステップにより決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理ステップと
を含むことを特徴とする画像処理方法。 - 前記探索ステップは、前記被高解像度化画像の前記ブロック内の垂直方向に隣接する2画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する2画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で1/2画素ピッチの探索を行うことを特徴とする請求項3記載の画像処理方法。
- 一組のステレオ画像をそれぞれ水平方向に1/2サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索手段と、
前記探索手段により探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、
前記候補値決定手段により決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理手段と
を有することを特徴とする画像処理装置。 - 前記探索手段は、前記被高解像度化画像の前記ブロック内の水平方向に隣接する2画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する2画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で1/2画素ピッチの探索を行うことを特徴とする請求項5記載の画像処理装置。
- 一組のステレオ画像をそれぞれ垂直方向に1/2サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索手段と、
前記探索手段により探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、
前記候補値決定手段により決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理手段と
を有することを特徴とする画像処理装置。 - 前記探索手段は、前記被高解像度化画像の前記ブロック内の垂直方向に隣接する2画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する2画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で1/2画素ピッチの探索を行うことを特徴とする請求項7記載の画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010247031A JP2012100129A (ja) | 2010-11-04 | 2010-11-04 | 画像処理方法及び画像処理装置 |
US13/285,129 US20120113221A1 (en) | 2010-11-04 | 2011-10-31 | Image processing apparatus and method |
CN2011103453688A CN102457753A (zh) | 2010-11-04 | 2011-11-04 | 图像处理方法及图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010247031A JP2012100129A (ja) | 2010-11-04 | 2010-11-04 | 画像処理方法及び画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012100129A true JP2012100129A (ja) | 2012-05-24 |
Family
ID=46019254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010247031A Pending JP2012100129A (ja) | 2010-11-04 | 2010-11-04 | 画像処理方法及び画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120113221A1 (ja) |
JP (1) | JP2012100129A (ja) |
CN (1) | CN102457753A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014132754A1 (ja) * | 2013-02-26 | 2014-09-04 | コニカミノルタ株式会社 | 画像処理装置および画像処理方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013201557A (ja) * | 2012-03-23 | 2013-10-03 | Toshiba Corp | 画像処理装置、画像処理方法および画像処理システム |
WO2015177845A1 (ja) * | 2014-05-19 | 2015-11-26 | 株式会社島津製作所 | 画像処理装置 |
WO2019008692A1 (ja) | 2017-07-05 | 2019-01-10 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体 |
CN111164959B (zh) * | 2017-11-10 | 2021-08-03 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及记录介质 |
JP7159486B2 (ja) | 2019-12-04 | 2022-10-24 | オリンパス株式会社 | 撮像装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007324789A (ja) * | 2006-05-31 | 2007-12-13 | Hitachi Ltd | 画像信号処理装置、及び画像信号を高解像度化するための方法、及びそれを実行するためのプログラム |
WO2009096520A1 (ja) * | 2008-02-01 | 2009-08-06 | Konica Minolta Holdings, Inc. | 対応点探索装置および対応点探索方法 |
JP2010049607A (ja) * | 2008-08-25 | 2010-03-04 | Mitsubishi Electric Corp | コンテンツ再生装置および方法 |
JP2010108207A (ja) * | 2008-10-30 | 2010-05-13 | Hitachi Ltd | 映像表示装置 |
JP2010218271A (ja) * | 2009-03-17 | 2010-09-30 | Tokyo Institute Of Technology | パラメータ制御処理装置及び画像処理装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6128416A (en) * | 1993-09-10 | 2000-10-03 | Olympus Optical Co., Ltd. | Image composing technique for optimally composing a single image from a plurality of digital images |
EP0896301A1 (en) * | 1997-08-06 | 1999-02-10 | Victor Company Of Japan, Limited | Stereoscopic image interpolating apparatus and method |
US6714672B1 (en) * | 1999-10-27 | 2004-03-30 | Canon Kabushiki Kaisha | Automated stereo fundus evaluation |
JP2004061446A (ja) * | 2002-07-31 | 2004-02-26 | Fujitsu Ten Ltd | パターンマッチング処理方法及び画像処理装置 |
JP2006260527A (ja) * | 2005-02-16 | 2006-09-28 | Toshiba Corp | 画像マッチング方法およびこれを用いた画像補間方法 |
EP1889171A4 (en) * | 2005-04-07 | 2012-11-28 | Visionsense Ltd | METHOD FOR RECONSTRUCTING A THREE-DIMENSIONAL SURFACE OF AN OBJECT |
WO2006114898A1 (en) * | 2005-04-25 | 2006-11-02 | Yappa Corporation | 3d image generation and display system |
US7720282B2 (en) * | 2005-08-02 | 2010-05-18 | Microsoft Corporation | Stereo image segmentation |
JP2007180981A (ja) * | 2005-12-28 | 2007-07-12 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法、及び画像符号化プログラム |
JP4873004B2 (ja) * | 2006-03-17 | 2012-02-08 | 日本電気株式会社 | 3次元データ処理システム |
JP4481280B2 (ja) * | 2006-08-30 | 2010-06-16 | 富士フイルム株式会社 | 画像処理装置、及び画像処理方法 |
EP2072098A4 (en) * | 2006-10-13 | 2014-07-23 | Sega Kk Dba Sega Corp | ELECTRONIC GAME DEVICE, CONTROL METHOD FOR ELECTRONIC GAME DEVICE, AND GAME PROGRAM |
KR20090065040A (ko) * | 2007-12-17 | 2009-06-22 | 삼성전자주식회사 | 동작과 터치를 이용한 이중 포인팅 장치 및 방법 |
JPWO2009099022A1 (ja) * | 2008-02-04 | 2011-05-26 | コニカミノルタホールディングス株式会社 | 周辺監視装置及び周辺監視方法 |
US20110304618A1 (en) * | 2010-06-14 | 2011-12-15 | Qualcomm Incorporated | Calculating disparity for three-dimensional images |
CN101888567B (zh) * | 2010-07-07 | 2011-10-05 | 深圳超多维光电子有限公司 | 立体图像处理方法和立体显示装置 |
-
2010
- 2010-11-04 JP JP2010247031A patent/JP2012100129A/ja active Pending
-
2011
- 2011-10-31 US US13/285,129 patent/US20120113221A1/en not_active Abandoned
- 2011-11-04 CN CN2011103453688A patent/CN102457753A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007324789A (ja) * | 2006-05-31 | 2007-12-13 | Hitachi Ltd | 画像信号処理装置、及び画像信号を高解像度化するための方法、及びそれを実行するためのプログラム |
WO2009096520A1 (ja) * | 2008-02-01 | 2009-08-06 | Konica Minolta Holdings, Inc. | 対応点探索装置および対応点探索方法 |
JP2010049607A (ja) * | 2008-08-25 | 2010-03-04 | Mitsubishi Electric Corp | コンテンツ再生装置および方法 |
JP2010108207A (ja) * | 2008-10-30 | 2010-05-13 | Hitachi Ltd | 映像表示装置 |
JP2010218271A (ja) * | 2009-03-17 | 2010-09-30 | Tokyo Institute Of Technology | パラメータ制御処理装置及び画像処理装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014132754A1 (ja) * | 2013-02-26 | 2014-09-04 | コニカミノルタ株式会社 | 画像処理装置および画像処理方法 |
US20160005158A1 (en) * | 2013-02-26 | 2016-01-07 | Konica Minolta, Inc. | Image processing device and image processing method |
Also Published As
Publication number | Publication date |
---|---|
CN102457753A (zh) | 2012-05-16 |
US20120113221A1 (en) | 2012-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5970609B2 (ja) | 3dビデオ符号化における統一された視差ベクトル導出の方法と装置 | |
EP2974262B1 (en) | Creating details in an image with frequency lifting | |
KR102169480B1 (ko) | 이미지에서 적응적인 주파수 강도 컨트롤 변환으로 디테일 생성 | |
KR102169053B1 (ko) | 이미지 특징들에 의한 주파수 리프팅 초해상도의 제어 | |
KR102167570B1 (ko) | 적응적 주파수 리프팅으로 이미지에서 디테일 생성 | |
US20150245062A1 (en) | Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program and recording medium | |
JP2012100129A (ja) | 画像処理方法及び画像処理装置 | |
KR20150017350A (ko) | 폐색 맵의 이용에 기초한 3차원 비디오 스트림의 생성 및 복원 방법, 및 그 대응 생성 및 복원 디바이스 | |
CN105744275A (zh) | 一种视频数据输入、输出方法和装置 | |
US8958642B2 (en) | Method and device for image processing by image division | |
US20120007951A1 (en) | System and format for encoding data and three-dimensional rendering | |
EP2373046A2 (en) | Super resolution based n-view + n-depth multiview video coding | |
US20120170841A1 (en) | Image processing apparatus and method | |
EP1418754A2 (en) | Progressive conversion of interlaced video based on coded bitstream analysis | |
de Albuquerque Azevedo et al. | Real-time depth-image-based rendering for 3dtv using opencl | |
JP4243095B2 (ja) | 立体画像処理方法及びプログラム及び記録媒体 | |
JP5327176B2 (ja) | 画像処理方法及び画像処理装置 | |
JP4293945B2 (ja) | 画像生成方法 | |
US8526714B2 (en) | Method and system for reconstructing a stereoscopic image stream from quincunx sampled frames | |
JP2012151754A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2013183391A (ja) | 画像処理装置および画像処理方法、電子機器、並びにプログラム | |
JP2005321987A (ja) | 画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121211 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130416 |