JP2020038730A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2020038730A JP2020038730A JP2019224688A JP2019224688A JP2020038730A JP 2020038730 A JP2020038730 A JP 2020038730A JP 2019224688 A JP2019224688 A JP 2019224688A JP 2019224688 A JP2019224688 A JP 2019224688A JP 2020038730 A JP2020038730 A JP 2020038730A
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- conversion
- linear
- linear conversion
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims 3
- 238000006243 chemical reaction Methods 0.000 claims abstract description 228
- 230000009466 transformation Effects 0.000 claims description 120
- 238000000034 method Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 38
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 8
- 238000003786 synthesis reaction Methods 0.000 abstract description 8
- 238000012937 correction Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 15
- 238000000844 transformation Methods 0.000 description 10
- 238000000354 decomposition reaction Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
(画像処理部の構成)
図1は本実施形態における画像処理部100の構成例を示す図である。本実施形態において、メモリ上の入力画像に対して幾何変換後の画像をストリーミング出力する例を説明する。本実施形態では、幾何変換後の画像における各画素の座標から幾何変換前の画像における座標を算出し、算出した幾何変換前の画像の座標に対応する画素値を、入力画像から算出する。
本実施形態では、幾何変換の具体例としてパースペクティブ補正(あおり補正)の例を説明する。図2は、パースペクティブ補正を示す図である。図2(a)がパースペクティブ補正前の四角形を示しており、図2(b)がパースペクティブ補正後の四角形を示している。パースペクティブ補正前の四角形210は台形状であり、四頂点の座標をそれぞれ(0,0),(1600,200),(1600,1000),(0,1200)とする。パースペクティブ補正後の四角形220は長方形であり、四頂点の座標はそれぞれ(0,0),(1600,0),(1600,1200),(0,1200)とする。デジタルカメラなどの撮影装置が、被写体に対して光軸を傾けて撮影すると、得られる撮影画像は、図2(a)に示すように被写体が歪んだ画像になってしまう。そこで撮影画像に対してパースペクティブ補正をすることで、図2(b)に示すように被写体を正面から平行に撮影した画像に変換する。補正対象の撮影画像自体は、各画素に画素値が格納されたデータであり四角形であるが、撮影画像に含まれる一部領域である図2(a)のような四角形を、図2(b)に示す四角形に変換することで、歪みを低減した画像を得られる。処理対象の撮影画像に対して、どのようなパースペクティブ補正を実行するかは、撮影時の撮影装置のモードやユーザによる指定によって決定される。
図3は、本実施形態において、座標変換を線形変換と非線形変換とにより実現する方法を説明するための図である。制御部180は、座標変換を線形変換と非線形変換に分解するために、まず図3に示すように、中間データとしてP0’、P1’、P2’、P3’によって定義される四角形310(以降、中間四角形と呼ぶ)を設定する。制御部180は、点P0,P1、P2、P3によって定義されるパースペクティブ補正前の四角形210と、点Q0,Q1,Q2、Q3によって定義されるパースペクティブ補正後の四角形320に基づいて、中間四角形310を決定する。線形変換処理によりパースペクティブ補正後の四角形から中間四角形までの変換を行い、非線形変換処理により、中間四角形からパースペクティブ補正前の四角形までの変換を行うことになる。線形変換処理により主な変換処理を行い、非線形変換処理の演算を少なくさせることが望ましい。そこで制御部180は、第1の座標で構成される四角形220から線形変換の範囲内であり、かつ第2の座標で構成される四角形210(P0/P1/P2/P3)の形状に近い四角形として、中間四角形を算出する。中間四角形310は座標線形変換部110の線形変換結果で構成される。
制御部180は、取得した四頂点座標に基づいて座標変換処理を線形変換と非線形変換に分解する。図9(a)は、制御部180は実行する処理のフローチャートである。制御部180はCPUであり、ROM(不図示)から図9に示すフローチャートを実現できるプログラムを読み出すことにより、ソフトウェアによって以降の処理は実現する。まずステップS901において制御部180は、パースペクティブ補正前の四角形を定義する4頂点と、パースペクティブ補正後の四角形を定義する4頂点を取得する。ここでは、補正対象の画像のうち、主な被写体である建造物を検出し、建造物の4頂点が歪みのない画像になるように生成するとする。そこで制御部180は、被写体である建造物の4頂点の座標を、パースペクティブ補正前の四角形を定義する4頂点として取得する。また、パースペクティブ補正後の4頂点は、撮影時のモードやユーザ指定、補正対象の画像などにより予め決定される。
次にこれら座標変換処理を実現する演算リソースについて説明する.一般に、非線形変換を単体で実現すると、非線形変換は除算など複雑な演算を含むため、高精度にするには回路規模が大きくなる。本実施形態の構成では、非線形変換の精度を落としても影響が少ないため、比較的小さい回路規模で実現できる。なお本実施形態では、座標線形変換部110、座標非線形変換部120、座標合成部130、画像入出力部140それぞれを回路により実現する場合を例に説明した。しかしながらハードウェア化せずにプログラムとして実行する場合でも、同様に演算することで効果を得られる。座標変換のために複雑な演算を高精度に行う演算コストが高い場合、演算の遅延時間増大や消費電力の増大など好ましくない状況を招く。そこで、本実施形態の適用によって演算コストを低減し、上記状況を改善することができる。
上記実施形態1では、メモリ上の入力画像に対して幾何変換後の画像をストリーミング出力する例を説明したが、これに限られない。例えば逆にストリーミング入力の画像に対して幾何変換後の画像をメモリ上に書き込むようにしても良い。一般に、入力画像・出力画像のいずれかがストリーミング(ラスタ順)で、もう一方がランダムアクセスになる場合、ストリーミング側の座標を座標入力ポート150から入力し、その座標を変換した結果を基にランダムアクセスする構成とすれば良い。
実施形態1では、候補となる中間四角形の全てについて、パースペクティブ補正前の4頂点との差分し、差分が最小となる候補を中間四角形として決定した。実施形態2では、パースペクティブ補正前の4頂点のうち3頂点を用いて、非線形変換結果の座標(Gx,Gy)の絶対値が小さくなるよう座標変換処理を分解する方法について説明する。図5(a)は、本実施形態における座標変換処理の分解方法を説明するための図である。一般に線形変換の範囲内で任意の3点を合わせる座標変換処理が可能である。そこで制御部180は、第2の座標で構成される四角形210の四頂点のうち3点(P0,P1,P3)に合わせるように線形変換した結果得られる四角形を中間四角形として算出する。従って実施形態2では、第1の座標で構成される四角形220の四頂点のうち3点(Q0,Q1,Q3)は、第2の座標で構成される四角形210の四頂点のうち3点(P0,P1,P3)に合わせた中間四角形510に線形変換される。中間四角形510の四頂点はP0,P1,P2’,P3となる。
上記実施形態1では、座標線形変換部110はアフィン変換、座標非線形変換部120はUV値をバイリニア補間でマッピングすることとしたが、他の演算でも良い。例えば、座標線形変換部110は単純な拡大縮小のみを行うとしても良い。この時、線形変換として、式(4)を実行することとなる。
上記実施形態1では座標合成部130にて、線形変換結果(Fx,Fy)と非線形変換結果(Gx,Gy)の加算を実行したが、他の演算を実行しても良く、例えば乗算や比較(大きい方を選択など)を実行可能な構成としても良い。この場合の座標合成部130の構成例を図6に示す。図6に示したように、入力である線形変換結果(Fx,Fy)と非線形変換結果(Gx,Gy)に対して加算、乗算、比較のいずれかの結果を出力する構成となっている。演算の選択は制御部180から制御する。このような構成とすることでより多様な座標変換を実現できる。
本実施形態では、上記実施形態で説明した幾何変換を画像合成処理に適用する例を示す。図8は本実施形態における画像合成部800の構成例を示す図である。画像幾何変換部810は、動画を構成する複数の画像(フレーム)をメモリ(図示せず)から読み出して、所定の幾何変換処理を実行した後、合成部830に順次供給する。属性データ幾何変換部820は属性マップをメモリ(図示せず)から読み出して、所定の幾何変換処理を実行した後、合成部830に順次供給する。ここで属性マップとは、画像の分割領域ごとに解析処理で算出した属性データ(メタデータ)を分割領域の2次元座標位置に応じて記録するものであり,例えばフレーム間の動き量などを記録するデータである。合成部830では、画素ごとに順次合成処理し、合成結果を出力する。合成処理の際に、属性データに応じて適応的に処理パラメータを切り替える。画像合成処理は、例えばHDR合成処理であり、同じシーンを撮影した露光時間の違う複数の画像に対して、動き量(属性データ)を基に合成割合を決定し、ブレンド処理する。
一方、属性マップは例えば画像(幾何変換前の画像)の64×64領域ごとに1つの動き量が算出された結果であるとすれば、属性マップは画像に比べ解像度が1/64ということになる。すなわち合成部830へ画素に対応した属性データを入力するには、属性データ幾何変換部820では、上記ブレ補正に相当する幾何変換に加えて64倍の拡大(画像と属性マップの解像度の違いを吸収する処理)となる変換を実行すれば良い。
上記実施形態1では、変換パラメータを変換前後の四頂点座標に基づいて決定したが、これに限らない。例えば画像撮影機器に距離センサ等が具備されており、被写体までの距離情報が利用可能な場合、距離情報を基に変換パラメータを求めても良い。例として、建物などの平面状の被写体に対して、正面から上方にあおり撮影をする場合に関して図10を用いて説明する。図10(a)に図示したように、カメラの視野の下端P1までの距離をd1、カメラの視野の上端P2までの距離をd2とする。この時、撮影画像は図10(b)のように上端にいくにしたがって水平方向に縮小されたような画像となる。図中の点線は補助線であり、鉛直方向を示している。これを図10(c)のように補正する。すなわち画像下端P1では水平方向に等倍であり、画像上端P2では水平方向にd2/d1倍するような処理となる。以降ではR=d2/d1として説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
120 座標非線形変換部
130 座標合成部
180 制御部
810 画像幾何変換部
820 属性データ幾何変換部
830 合成部
Claims (15)
- 2次元座標位置に応じて記録されたデータに幾何変換を行う画像処理装置であって、
第1の座標から第2の座標への変換処理を線形変換と非線形変換とに分解する制御手段であって、前記線形変換及び前記非線形変換の変換パラメータを決定する制御手段と、
前記第1の座標に対し前記線形変換を行って、第3の座標を算出する線形変換手段と、
前記第1の座標に対し前記非線形変換を行って、第4の座標を算出する非線形変換手段と、
前記第3の座標と前記第4の座標を合成して、前記第2の座標を算出する合成手段と
を有し、前記制御手段は、前記第3の座標で構成される第3の四角形が前記第2の四角形に近い四角形となるように、前記変換パラメータを決定し、前記線形変換手段および前記非線形変換手段それぞれに前記変換パラメータを設定することを特徴とする画像処理装置。 - 前記制御手段は、前記第1の座標で構成される第1の四角形の四頂点座標及び前記第2の座標で構成される第2の四角形の四頂点座標を取得し、取得した四頂点座標に基づいて前記変換パラメータを決定することを特徴とする請求項1に記載の画像処理装置。
- 前記制御手段は、前記第3の四角形の四頂点のうちの3点が前記第2の四角形の四頂点のうちの3点と一致するように、前記変換パラメータを決定することを特徴とする請求項2に記載の画像処理装置。
- 前記制御手段は、前記第3の四角形の四頂点と前記第2の四角形の四頂点との距離の絶対値和が最小となるように、前記変換パラメータを決定することを特徴とする請求項2に記載の画像処理装置。
- 前記制御手段は、前記第3の四角形の面積のうち前記第2の四角形の面積と重複する領域の面積の割合が最大となるように、前記変換パラメータを決定することを特徴とする請求項2に記載の画像処理装置。
- 前記制御手段は、前記変換処理を前記線形変換と前記非線形変換の加算に分解し、前記合成手段は前記第3の座標と前記第4の座標を加算して前記第2の座標を算出することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記制御手段は、前記変換処理を前記線形変換と前記非線形変換の乗算に分解し、前記合成手段は前記第3の座標と前記第4の座標を乗算して前記第2の座標を算出することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
- 前記線形変換はアフィン変換で表現可能な変換であり、前記非線形変換はアフィン変換で表現不可能な変換であることを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記非線形変換の演算精度は、前記線形変換の演算精度よりも低いことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
- 前記非線形変換の演算結果の絶対値は、前記線形変換の演算結果の絶対値よりも小さいことを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記2次元座標位置に応じて記録されたデータは画像データであり、前記変換処理は前記幾何変換後の画像の座標から前記幾何変換前の画像の座標への変換処理であり、前記幾何変換前の画像の座標に従って前記データを外部メモリから読み取る手段をさらに有することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- 前記2次元座標位置に応じて記録されたデータは画像データであり、前記変換処理は前記幾何変換前の画像の座標から前記幾何変換後の画像の座標への変換処理であり、前記幾何変換後の画像の座標に従って前記データを外部メモリに書き込む手段をさらに有することを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- 複数の画像データを合成する画像処理装置であって、
複数の画像データを幾何変換する画像幾何変換手段と、
属性データを幾何変換する属性データ幾何変換手段と、
前記属性データ幾何変換手段で幾何変換された前記属性データに基づき、前記画像幾何変換手段で幾何変換された前記複数の画像データを合成する画像合成手段と
を有し、
前記属性データ幾何変換手段は、
第1の座標から第2の座標への変換処理を線形変換と非線形変換とに分解する制御手段であって、前記線形変換及び前記非線形変換の変換パラメータを決定する制御手段と、
前記第1の座標に対し前記線形変換を行って、第3の座標を算出する線形変換手段と、
前記第1の座標に対し前記非線形変換を行って、第4の座標を算出する非線形変換手段と、
前記第3の座標と前記第4の座標を合成して、前記第2の座標を算出する合成手段と
を有し、前記制御手段は、前記第3の座標で構成される第3の四角形が前記第2の四角形に近い四角形となるように、前記変換パラメータを決定し、前記線形変換手段および前記非線形変換手段それぞれに前記変換パラメータを設定することを特徴とする画像処理装置。 - 2次元座標位置に応じて記録されたデータに幾何変換を行う画像処理方法であって、
第1の座標から第2の座標への変換処理を線形変換と非線形変換とに分解する制御工程であって、前記線形変換及び前記非線形変換の変換パラメータを決定する制御工程と、
前記第1の座標に対し、前記制御工程で決定された前記線形変換の前記変換パラメータに従って前記線形変換を行うことで、第3の座標を算出する線形変換工程と、
前記第1の座標に対し、前記制御工程で決定された前記非線形変換の前記変換パラメータに従って前記非線形変換を行うことで、第4の座標を算出する非線形変換工程と、
前記第3の座標と前記第4の座標を合成して、前記第2の座標を算出する合成工程と
を有し、前記制御工程は、前記第3の座標で構成される第3の四角形が前記第2の四角形に近い四角形となるように、前記変換パラメータを決定することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至13に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019224688A JP6972089B2 (ja) | 2016-03-10 | 2019-12-12 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016047605A JP6632434B2 (ja) | 2016-03-10 | 2016-03-10 | 画像処理装置、画像処理方法、及びプログラム |
JP2019224688A JP6972089B2 (ja) | 2016-03-10 | 2019-12-12 | 画像処理装置、画像処理方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016047605A Division JP6632434B2 (ja) | 2016-03-10 | 2016-03-10 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020038730A true JP2020038730A (ja) | 2020-03-12 |
JP2020038730A5 JP2020038730A5 (ja) | 2020-04-23 |
JP6972089B2 JP6972089B2 (ja) | 2021-11-24 |
Family
ID=69738568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019224688A Active JP6972089B2 (ja) | 2016-03-10 | 2019-12-12 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6972089B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06131452A (ja) * | 1991-10-23 | 1994-05-13 | Nippon Steel Corp | 画像データの位置歪み補正方法 |
JP2005269449A (ja) * | 2004-03-19 | 2005-09-29 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
-
2019
- 2019-12-12 JP JP2019224688A patent/JP6972089B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06131452A (ja) * | 1991-10-23 | 1994-05-13 | Nippon Steel Corp | 画像データの位置歪み補正方法 |
JP2005269449A (ja) * | 2004-03-19 | 2005-09-29 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6972089B2 (ja) | 2021-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5914045B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5997645B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
US9609181B2 (en) | Image signal processor and method for synthesizing super-resolution images from non-linear distorted images | |
JP4832878B2 (ja) | 画像合成処理装置及び方法 | |
CN108028900B (zh) | 投影设备、投影方法和程序存储介质 | |
JP2009134509A (ja) | モザイク画像生成装置及びモザイク画像生成方法 | |
JP6266131B2 (ja) | 画像処理装置及び方法、並びに撮像装置、並びにプログラム及び記録媒体 | |
JP6041651B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20040070565A (ko) | 영상 워핑 방법 및 장치 | |
JP2016015037A (ja) | 情報処理装置及びその制御方法、並びに、ビデオカメラ | |
JP2017191572A (ja) | 画像処理装置及びその方法、プログラム | |
JP2009075646A (ja) | 映像表示システム及び該システムのパラメータ生成方法 | |
JP6581359B2 (ja) | 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ | |
JP6632434B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2006350852A (ja) | 画像生成システム | |
JP6972089B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5787637B2 (ja) | 画像処理装置、画像処理方法 | |
JP5387289B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
JP2006238188A (ja) | 補間フィルタおよび映像信号処理装置 | |
JP5387288B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
JP6278716B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6273881B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5085589B2 (ja) | 画像処理装置および方法 | |
JP2019517688A (ja) | 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両 | |
JP2004227470A (ja) | 画像変換方法及び画像変換用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211102 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6972089 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |