JP2020160221A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2020160221A JP2020160221A JP2019058469A JP2019058469A JP2020160221A JP 2020160221 A JP2020160221 A JP 2020160221A JP 2019058469 A JP2019058469 A JP 2019058469A JP 2019058469 A JP2019058469 A JP 2019058469A JP 2020160221 A JP2020160221 A JP 2020160221A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- captured
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Abstract
Description
本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.
投影面に含まれる画像に投影用画像を重畳する際の位置ずれを容易に調整できる技術技術として、例えば、特許文献1に開示がある。
For example,
特許文献1では、「投影面に画像を投影する投影手段と、前記投影面に含まれる画像の色に関する情報を取得する取得手段と、前記取得手段により取得した情報から投影面に含まれる画像と前記投影面に投影された画像との位置ずれを調整するための位置合わせ用画像を生成する生成手段と、前記位置合わせ用画像を前記投影面の画像に重ねて投影するように前記投影手段を制御する制御手段と、を有し、前記生成手段は、前記取得手段により取得した情報に基づいて、前記投影面に含まれる画像の色に対して所定の関係を有し、前記投影面に投影された画像との位置ずれ量を示す位置合わせ用画像を生成することを特徴とする投影装置」が開示されている。特許文献1に開示された技術では、撮影画像から対象を検出し、位置ズレが最小になるように画像の形状を補正できる。
In
表示部を含む製品の試験評価として、表示部に表示される画像をカメラで撮像して製品設計時の画像と一致するか照合し判定する方法がある。この場合、撮像画像から照合される対象である表示部分を検出し、照合する画像との位置ズレを求めて画像を変形させる必要がある。 As a test evaluation of a product including a display unit, there is a method of capturing an image displayed on the display unit with a camera and collating and determining whether the image matches the image at the time of product design. In this case, it is necessary to detect the display portion to be collated from the captured image, obtain the positional deviation from the collated image, and deform the image.
しかしながら、特許文献1には、照合される対象の一部が覆われているときに、その覆われている対象を検出する手法については開示されていない。このため、特許文献1に開示された技術では、表示部の周縁部が筐体によって覆われるような製品であった場合、撮像画像には表示部の周縁部が撮像されず、表示部分を正確に検出し画像変形することができなかった。
However,
本発明は、上記事情に鑑みなされたものであり、その目的は、撮像画像に含まれない表示画像の撮像位置を推定することが可能な画像処理装置および画像処理方法を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image processing apparatus and an image processing method capable of estimating an imaging position of a display image not included in an captured image.
上記目的を達成するため、第1の観点に係る画像処理装置は、表示画像を撮像させる撮像制御部と、前記表示画像が撮像された撮像画像の特徴点の位置情報を解析する画像解析部と、前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する推定部とを備える。 In order to achieve the above object, the image processing apparatus according to the first aspect includes an imaging control unit that captures a display image and an image analysis unit that analyzes position information of feature points of the captured image in which the display image is captured. It is provided with an estimation unit that estimates the imaging position of the display image that is not included in the captured image based on the position information of the feature points of the captured image.
本発明によれば、撮像画像に含まれない表示画像の撮像位置を推定することができる。 According to the present invention, it is possible to estimate the imaging position of the display image that is not included in the captured image.
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素およびその組み合わせの全てが発明の解決手段に必須であるとは限らない。 The embodiment will be described with reference to the drawings. It should be noted that the embodiments described below do not limit the invention according to the claims, and all of the elements and combinations thereof described in the embodiments are essential for the means for solving the invention. Not necessarily.
図1は、実施形態に係る画像処理装置の構成を示すブロック図である。
図1において、画像処理装置100は、画像入力部101、撮像制御部102、画像解析部103、補間推定部104、画像出力部105および画像変形部106を備える。画像入力部101、撮像制御部102、画像解析部103、補間推定部104、画像出力部105および画像変形部106は、バス107を介して接続されている。このとき、バス107は、バス107に接続されている各処理部で扱われる画像データ、制御情報および解析情報を仲介する。
FIG. 1 is a block diagram showing a configuration of an image processing device according to an embodiment.
In FIG. 1, the
画像処理装置100は、バス107を介して表示装置110および撮像装置120に接続されている。画像処理装置100は、表示装置110および撮像装置120入と有線接続されてもよいし、無線接続されてもよい。なお、図1では、表示装置110および撮像装置120は、画像処理装置100の外部に設けた例で示したが、画像処理装置100に内蔵されていてもよい。
The
画像入力部101は、PC(Personal Computer)などの外部接続機器から入力される入力画像の処理を行う。例えば、画像入力部101は、入力画像がアナログ画像であった場合にはデコード処理によりアナログ画像を量子化し、以降の処理で扱われるデジタル画像に変換する。以降、画像入力部101により入力した入力画像を期待値画像と呼ぶ。期待値画像は、例えば、撮像装置120で撮像された撮像画像との照合対象である設計画像である。 The image input unit 101 processes an input image input from an externally connected device such as a PC (Personal Computer). For example, when the input image is an analog image, the image input unit 101 quantizes the analog image by decoding processing and converts it into a digital image to be handled in the subsequent processing. Hereinafter, the input image input by the image input unit 101 is referred to as an expected value image. The expected value image is, for example, a design image to be collated with the captured image captured by the imaging device 120.
撮像制御部102は、画像解析部103による画像解析用の撮像を撮像装置120に行わせる。このとき、撮像制御部102は、画像解析部103による画像解析が好適になされるように、撮像装置120の露光条件及びホワイトバランスを設定することができる。また、撮像制御部102は、表示装置110により表示される表示画像の切り替えに合わせて、表示画像の撮像を制御する。例えば、撮像制御部102は、表示装置110に表示された表示画像を撮像装置120に撮像させるときに、撮像画像の階調情報が潰れない撮像条件を設定し、以降の撮像において同一の露光条件およびホワイトバランスを設定する。
The image
画像解析部103は、表示装置110により表示された表示画像が撮像された撮像画像に含まれる形状情報および色情報を解析する。画像解析部103は、撮像画像内で特定の特徴を持つ特徴点の座標情報を求め、補間推定部104による補間推定に必要な情報を生成したり、画像変形部106による画像変形に必要な情報を生成する。画像解析部103は、表示画像の撮像される範囲および撮像されない範囲を切り出すことができる。特徴点の座標情報を求める方法の例は、画像のエッジ検出やパターンマッチングなどの特徴量抽出方法等である。
The image analysis unit 103 analyzes the shape information and the color information included in the captured image captured by the display image displayed by the
補間推定部104は、表示装置110により表示された解析用画像の情報および画像解析部103で解析された撮像画像の特徴点の位置情報に基づいて、撮像装置120により撮像できない表示画像の撮像位置を推定し、画像変形部106による変形に必要な情報を生成する。撮像装置120により撮像できない表示画像の撮像位置は、例えば、表示画像を表示する表示部の周縁部が筐体枠で覆われた状態で撮像されたときの筐体枠に隠れた部分の位置である。
The
このとき、補間推定部104は、例えば、撮像装置120により撮像された表示画像の位置情報に基づいて、撮像装置120により撮像できない表示画像の撮像位置を外挿し、撮像装置120により撮像できない表示画像の撮像位置を推定することができる。
At this time, the
画像出力部105は、画像変形部106により画像変形された画像をPCなどの外部接続機器に出力する。
The image output unit 105 outputs the image transformed by the
画像変形部106は、撮像装置120から入力される撮像画像に対して、画像解析部103および補間推定部104により得られた情報に基づき画像変形を行う。このとき、画像変形部106は、撮像装置120により撮像できない表示画像の撮像位置が補間推定された補間推定画像に基づいて画像変形を行う。例えば、画像変形部106は、撮像装置120により撮像された撮像画像の補間推定画像の形状が、画像入力部101より入力された期待値画像の形状と一致するように、アフィン変換または射影変換または複数の変換の組合せにより画像変形を行うことができる。このとき、画像変形部106は、補間推定画像の透視変換およびN(Nは2以上の整数)領域分割自由変形の組合せにより画像変形を行うようにしてもよい。以降、画像変形部106により画像変形された画像を幾何補正後画像と呼ぶ。
The
表示装置110は、解析用の表示画像または画像入力部101により入力された期待値画像を表示する。なお、表示装置110は、液晶表示装置であってもよいし、有機EL(Electro Luminescence)ディスプレイまたはブラウン管を用いた表示部であってもよい。また、表示装置110は、カーナビゲーションシステム、スマートフォンまたはタブレット端末などの表示部を有する情報処理装置であってもよい。
The
撮像装置120は、表示装置110により表示される表示画像を撮像する。撮像装置120は、表示装置110により表示される表示画像を撮像するように設置され、または撮像範囲が設定される。なお、撮像装置120は、可視光を撮像するカメラであってもよいし、赤外光を撮像するカメラであってもよい。
The image pickup device 120 captures a display image displayed by the
以下、画像処理装置100の動作について、表示装置110の周縁部が筐体枠により覆われ、撮像装置120により表示画像の周縁部が撮像できない場合を例にとって説明する。
Hereinafter, the operation of the
図2は、実施形態に係る画像処理装置が適用される画像表示システムの構成を示す斜視図である。
図2において、画像表示システムは、画像処理装置100、表示装置110および撮像装置120を備える。表示装置110は、表示画像を表示する表示部201を備える。表示部201は、その周縁部が筐体枠202で覆われ、表示部201に表示された表示画像のうち、筐体枠202で覆われた部分は撮像装置120から撮像できない。
FIG. 2 is a perspective view showing a configuration of an image display system to which the image processing apparatus according to the embodiment is applied.
In FIG. 2, the image display system includes an
画像処理装置100は、表示装置110に表示画像を表示させ、撮像装置120により表示画像を撮像させる。このとき、表示部201の周縁部は筐体枠202で覆われているため、撮像装置120により撮像された撮像画像は、表示部201に表示された表示画像のうち、筐体枠202で覆われた部分を含まない。
The
図3(a)は、期待値画像の一例を示す図、図3(b)は、周縁部が筐体枠で覆われていない場合の図3(a)の期待値画像の表示例を示す図、図3(c)は、周縁部が筐体枠で覆われている場合の図3(a)の期待値画像の表示例を示す図、図3(d)は、図3(b)の表示画像の撮像例を示す図、図3(e)は、図3(c)の表示画像の撮像例を示す図である。 FIG. 3A shows an example of an expected value image, and FIG. 3B shows a display example of the expected value image of FIG. 3A when the peripheral edge portion is not covered with the housing frame. FIG. 3 (c) is a diagram showing a display example of the expected value image of FIG. 3 (a) when the peripheral edge portion is covered with a housing frame, and FIG. 3 (d) is a diagram of FIG. 3 (b). 3 (e) is a diagram showing an imaging example of the display image of FIG. 3 (c), and is a diagram showing an imaging example of the display image of FIG. 3 (c).
図3(a)において、例えば、期待値画像としてチェッカー画像301が画像処理装置110に入力されたものとする。このとき、画像処理装置110は、図3(b)および図3(c)に示すように、そのチェッカー画像301を表示部201に表示させる。そして、画像処理装置110は、図3(d)および図3(e)に示すように、表示部201に表示された表示画像を撮像装置120に撮像させる。
In FIG. 3A, for example, it is assumed that the checker image 301 is input to the
ここで、図3(b)に示すように、図2の表示部201の周縁部が筐体枠202で覆われていない場合、画像処理装置100から入力した図3(a)のチェッカー画像301は、欠落なく表示部201に表示される。
Here, as shown in FIG. 3B, when the peripheral edge of the
このため、図3(b)の表示部201に表示された表示画像が撮像装置120にて撮像されると、図3(d)に示すように、チェッカー画像301の外縁203の部分に対応した周縁部302の欠落がない撮像画像301aが得られる。
Therefore, when the display image displayed on the
一方、図3(c)に示すように、図2の表示部201の周縁部が筐体枠202で覆われている場合、表示部201に表示された表示画像の外縁203の部分は見えない。このため、画像処理装置100から入力した図3(a)のチェッカー画像301は、外縁203の部分が欠落した状態で表示部201に表示される。
On the other hand, as shown in FIG. 3C, when the peripheral edge of the
このため、図3(c)の表示部201に表示された表示画像が撮像装置120にて撮像されると、図3(e)に示すように、チェッカー画像301の外縁203の部分に対応した周縁部302が欠落した撮像画像301bが得られる。
Therefore, when the display image displayed on the
図4(a)は、黒枠パターンが付加されていない解析用画像の16分割時の境界座標の一例を示す図、図4(b)は、16分割画像の生成に用いられる5個のパターン画像の例を示す図、図4(c)は、周縁部が筐体枠で覆われていない場合の図4(b)のパターン画像の撮像例を示す図、図4(d)は、周縁部が筐体枠で覆われている場合の図4(b)のパターン画像の撮像例を示す図である。 FIG. 4A is a diagram showing an example of the boundary coordinates at the time of 16 division of the analysis image to which the black frame pattern is not added, and FIG. 4B is a figure of 5 pattern images used for generating the 16 division image. 4 (c) shows an example of capturing a pattern image of FIG. 4 (b) when the peripheral edge is not covered with a housing frame, and FIG. 4 (d) shows a peripheral edge. It is a figure which shows the imaging example of the pattern image of FIG. 4 (b) when is covered with a housing frame.
図4(a)において、表示部201を水平方向および垂直方向にそれぞれ4分割する。そして、水平方向および垂直方向にそれぞれ4分割された16個の分割領域の境界座標が既知である解析用画像400を想定する。これら16個の分割領域の境界座標は、各分割領域の四隅の座標(x0、y0)〜(x4、y4)とすることができる。
In FIG. 4A, the
ここで、これら16個の分割領域に対応した撮像画像を得るために、図4(b)に示すように、5個のパターン画像401〜405を用いる。パターン画像401〜405は、期待値画像を示す。パターン画像401は、白画像が全面に設定される。パターン画像402は、垂直方向に2分割され、白画像および黒画像が各分割領域に設定される。パターン画像403は、垂直方向に4分割され、白画像および黒画像が各分割領域に交互に設定される。パターン画像404は、水平方向に2分割され、白画像および黒画像が各分割領域に設定される。パターン画像405は、水平方向に4分割され、白画像および黒画像が各分割領域に交互に設定される。
Here, in order to obtain captured images corresponding to these 16 divided regions, five
パターン画像401〜405が画像処理装置110に順次入力されたものとする。このとき、画像処理装置110は、そのパターン画像401〜405を表示部201に順次表示させる。そして、画像処理装置110は、図4(c)および図4(d)に示すように、表示部201に表示された表示画像を撮像装置120に順次撮像させる。
It is assumed that the
ここで、周縁部が筐体枠202で覆われていない場合、図4(c)の5個の撮像画像401a〜405aが得られる。画像処理装置110は、これら5個の撮像画像401a〜405aの論理積演算に基づいて、解析用画像400についての16個の分割領域の撮像画像を抽出する。
Here, when the peripheral edge portion is not covered with the
一方、周縁部が筐体枠202で覆われている場合、図4(d)の5個の撮像画像401b〜405bが得られる。画像処理装置110は、これら5個の撮像画像401b〜405bの論理積演算に基づいて、解析用画像400についての16個の分割領域の撮像画像を抽出する。
On the other hand, when the peripheral edge portion is covered with the
そして、画像処理装置110は、16個の分割領域の撮像画像の特徴点の座標値に基づいて幾何補正を実施する。このとき、画像処理装置110は、次のような手順にて空間コードを利用した幾何補正を実施することができる。
Then, the
例えば、画像処理装置110は、黒と白のように色情報が変化する特徴点の座標値が既知であるパターン画像を表示部201またはプロジェクタに表示させる。
For example, the
次に、画像処理装置110は、撮像装置120により表示映像もしくはプロジェクタ投影像を撮像させ、撮像画像から特徴点を検出して、その特徴点の座標値を求める。そして、画像処理装置110は、パターン画像の特徴点の座標値と、撮像画像の特徴点の座標値の対応関係を得る。
Next, the
次に、画像処理装置110は、特徴点の座標値が異なるパターン画像を表示させ、撮像装置120により表示映像もしくはプロジェクタ投影像を撮像させる。そして、画像処理装置110は、撮像画像から特徴点を検出し、その特徴点の座標値を求め、パターン画像の特徴点の座標値と、撮像画像の特徴点の座標値の対応関係を複数得る。
Next, the
次に、画像処理装置110は、パターン画像の特徴点の座標値と、撮像画像の特徴点の座標値の対応関係に基づいて、アフィン変換または射影変換または複数の変換の組合せにより、画像を変形させる。図4では、表示および撮像する5枚のパターン画像401〜405を用いた例を示し、水平方向でx0〜x4の5点、垂直方向でy0〜y4の5点について、座標値の対応関係が得られる。
Next, the
このとき、これらの座標値の対応関係の個数が多いほど、より小さな領域ごとに画像変形を実行することができ、光学歪みによる撮像画像401a〜405aの不均一な変形歪みに対する幾何補正の精度を向上させることができる。 At this time, the larger the number of correspondences of these coordinate values, the more the image deformation can be executed for each smaller area, and the accuracy of the geometric correction for the non-uniform deformation distortion of the captured images 401a to 405a due to the optical distortion can be improved. Can be improved.
一方、撮像画像401b〜405bのように表示画像の一部が欠けて撮像されると、検出される特徴点の座標値にズレが発生する。このため、画像変形の結果である幾何補正後画像が崩れ、幾何補正後画像と期待値画像の照合精度が低下する。 On the other hand, when a part of the displayed image is missing and captured as in the captured images 401b to 405b, the coordinate values of the detected feature points are deviated. Therefore, the image after geometric correction, which is the result of image deformation, is distorted, and the matching accuracy between the image after geometric correction and the expected value image is lowered.
このとき、画像処理装置110は、幾何補正後画像と期待値画像の照合精度を向上させるため、表示画像の一部が欠けて撮像された撮像画像の特徴点の位置情報に基づいて、撮像装置120により撮像できない表示画像の撮像位置を推定し、画像変形部106による変形に必要な情報を生成する。
At this time, in order to improve the collation accuracy between the geometrically corrected image and the expected value image, the
図5(a)は、黒枠パターンが付加された解析用画像の16分割時の境界座標の一例を示す図、図5(b)は、周縁部が筐体枠で覆われている場合の黒枠パターンが図4(a)のパターン画像に付加された5個のパターン画像の例を示す図、図5(c)は、周縁部が筐体枠で覆われていない場合の図5(b)のパターン画像の撮像例を示す図、図5(d)は、周縁部が筐体枠で覆われている場合の図5(b)のパターン画像の撮像例を示す図である。 FIG. 5A is a diagram showing an example of boundary coordinates at the time of 16 division of an analysis image to which a black frame pattern is added, and FIG. 5B is a black frame when the peripheral portion is covered with a housing frame. FIG. 5 (c) shows an example of five pattern images in which the pattern is added to the pattern image of FIG. 4 (a), and FIG. 5 (c) shows the case where the peripheral portion is not covered with the housing frame. 5 (d) is a diagram showing an imaging example of the pattern image of FIG. 5 (b), and is a diagram showing an imaging example of the pattern image of FIG. 5 (b) when the peripheral edge portion is covered with the housing frame.
図5(a)において、幅mとする周縁部の内側で表示部201が水平方向および垂直方向にそれぞれ4分割されている。そして、水平方向および垂直方向にそれぞれ4分割された16個の分割領域の境界座標と、周縁部の幅mが既知である解析用画像600を想定する。これらの分割領域の境界座標は、各分割領域の四隅の座標(x0、y0)〜(x4、y4)とすることができる。幅mとする周縁部の四隅の座標は、(0、0)、(x5、0)、(0、y5)、(x5、y5)とすることができる。
In FIG. 5A, the
ここで、幅mとする周縁部が補間推定された16個の分割領域の撮像画像を得るために、図5(b)に示すように、5個のパターン画像601〜605を用いる。各パターン画像601〜605は、図4(b)の各パターン画像401〜405の周囲に黒枠パターンK1〜K5が付加されている。黒枠パターンK1〜K5は、図2の表示部201が筐体枠202で覆われている場合においても、黒枠パターンK1〜K5の内側の四隅が撮像される位置に配置される。このとき、黒枠パターンK1〜K5は、補間推定のための特徴点の位置情報を撮像画像から検出する参照パターンとして用いることができる。なお、参照パターンは、必ずしも黒枠パターンK1〜K5に限定されることなく、補間推定のための特徴点の位置情報を撮像画像から検出できれば、任意のパターンを用いることができる。
Here, as shown in FIG. 5B, five pattern images 601 to 605 are used in order to obtain an image of 16 divided regions whose peripheral edge portion having a width m is estimated by interpolation. In each pattern image 601 to 605, black frame patterns K1 to K5 are added around each
パターン画像601〜605が画像処理装置110に順次入力されたものとする。このとき、画像処理装置110は、それらのパターン画像601〜605を表示部201に順次表示させる。そして、画像処理装置110は、図5(c)に示すように、表示部201に表示された表示画像を撮像装置120に順次撮像させ、撮像画像601a〜605aを取得する。
It is assumed that the pattern images 601 to 605 are sequentially input to the
撮像画像601a〜605aでは、表示部201に表示された黒枠パターンK1〜K5の撮像パターンZ1〜Z5は、図5(d)に示すように、図2の筐体枠202の撮像位置PKの内側に配置される。このため、撮像画像601a〜605aには、表示部201が筐体枠202で覆われている場合においても、黒枠パターンK1〜K5に対応した撮像パターンZ1〜Z5が含まれる。
In the captured images 601a to 605a, the imaging patterns Z1 to Z5 of the black frame patterns K1 to K5 displayed on the
そして、画像処理装置110は、撮像パターンZ1〜Z5の境界座標と、解析用画像600に設定された幅mとする周縁部の境界座標に基づいて、筐体枠202で覆われていないときの撮像画像601a〜605aにおける表示部201の外縁座標を推定する。
Then, the
画像処理装置110は、表示部201の外縁部の撮像位置が補間推定された撮像画像601a〜605aの論理積演算に基づいて、解析用画像600についての16個の分割領域の撮像画像を抽出する。そして、画像処理装置110は、これら16個の分割領域の撮像画像の特徴点の座標値に基づいて、照合される対象である撮像画像の幾何補正を実施する。
The
なお、解析用画像600における幅mの周縁部は、表示部201が筐体枠202により覆われる領域よりも大きければよく、パターン画像の上下左右で異なる幅を設けるようにしてもよい。
The peripheral edge of the width m in the
図6(a)は、図5(c)の撮像画像の2値画像を示す図、図6(b)は、図6(a)の2値画像を反転させた反転画像を示す図である。
図6(a)において、画像解析部103は、図5(c)の撮像画像601a〜605aより2値画像701〜705を求める。例えば、撮像画像601a〜605aがRGB3チャンネルそれぞれ256階調の濃淡を持っている場合であれば、画像解析部103は、RGBの画素値からYCbCrのうち輝度Yを求めた後に2値化する。
6 (a) is a diagram showing a binary image of the captured image of FIG. 5 (c), and FIG. 6 (b) is a diagram showing an inverted image obtained by reversing the binary image of FIG. 6 (a). ..
In FIG. 6A, the image analysis unit 103 obtains binary images 701 to 705 from the captured images 601a to 605a in FIG. 5C. For example, when the captured images 601a to 605a have 256 gradations of shades in each of the RGB3 channels, the image analysis unit 103 binarizes the YCbCr after obtaining the brightness Y from the RGB pixel values.
さらに、画像解析部103は、図6(b)に示すように、2値画像702〜705より、白と黒とを反転させた反転画像712〜715を求める。次に、画像解析部103は、2値画像701〜705および反転画像712〜715の論理積により、図5の解析用画像600の16個の分割領域に対応する撮像領域を抽出する。
Further, as shown in FIG. 6B, the image analysis unit 103 obtains an inverted image 712 to 715 in which white and black are inverted from the
図7は、図6(a)の2値画像および図6(b)の反転画像に基づいて16分割画像を生成する場合の論理積演算方法を示す図である。
図7において、図1の画像解析部103は、2値画像701〜705および反転画像712〜715を16通りに組み合わせた論理積演算#1〜#16に基づいて、16個の16分割画像802を生成する。
FIG. 7 is a diagram showing a logical product calculation method when a 16-divided image is generated based on the binary image of FIG. 6A and the inverted image of FIG. 6B.
In FIG. 7, the image analysis unit 103 of FIG. 1 has 16 16-divided
例えば、論理積演算#1では、図6の2値画像701と反転画像712、713、714、715の論理積を求める。このとき、論理積で用いた画像全てにおいて、画素値が白である部分のみが白として抽出される。例えば、論理積演算#1では、16分割領域のうち、最も左上の領域のみが抽出される。論理積に与える画像を異ならせることにより、異なる領域を抽出する。
For example, in the logical
ここで、撮像装置120により16分割画像802を直接生成する場合には、撮像を16回繰り返す必要がある。一方、図5(c)の撮像画像601a〜605aに基づく論理積演算により、16分割画像802を生成する場合には、16分割画像802を生成するのに必要な撮像を5回で済ませることができる。このため、16分割画像802を生成するのに必要な撮像条件を安定化させることができ、16分割画像802から抽出される特徴点の位置精度を向上させることができる。
Here, when the 16-
図8は、撮像画像から解析された16分割画像の特徴点の座標を示す図である。
図8において、図1の画像解析部103は、図7の16個の16分割画像802に基づいて、計25点の特徴点P00〜P44を抽出した解析後画像901を生成する。
FIG. 8 is a diagram showing the coordinates of the feature points of the 16-divided image analyzed from the captured image.
In FIG. 8, the image analysis unit 103 of FIG. 1 generates an analyzed
図9は、撮像画像から解析された16分割画像の特徴点に基づいて推定された周縁部の座標値を示す図である。
図9において、図1の補間推定部104は、計16点の外挿点E00〜E44を付加した補間推定画像1001を生成する。
FIG. 9 is a diagram showing the coordinate values of the peripheral portion estimated based on the feature points of the 16-divided image analyzed from the captured image.
In FIG. 9, the
以下、撮像画像における表示部201の周縁部の座標値の補間推定方法について説明する。
Hereinafter, a method for estimating the coordinate values of the peripheral portion of the
例えば、外挿点E10は、図8の特徴点P10と特徴点P11を結ぶ線上にあると近似することができる。また、図5の解析用画像600より、周縁部と特徴点P10の距離および特徴点P10と特徴点P11の距離の比は、x0:x1−x0である。よって、外挿点E10の座標値(xE10,yE10)は、座標値P10(x10,y10)、P11(x11,y11)を用いて以下の計算式で求めることができる。
For example, the extrapolation point E 10 can be approximated to be on the line connecting the feature point P 10 and the feature point P 11 in FIG. Further, from the
同様にして、他の外挿点の座標値も求めることができる。 Similarly, the coordinate values of other extrapolation points can be obtained.
撮像画像およびパターン画像について、特徴点4点で囲まれた面に対して、撮像画像(x,y)から期待値画像(x’,y’)に射影変換する一般式は、以下のようにして得られる。8つの変数a1〜a8は、特徴点4点それぞれのx座標値およびy座標値により求めることができる。 For the captured image and the pattern image, the general formula for projective conversion from the captured image (x, y) to the expected value image (x', y') on the surface surrounded by four feature points is as follows. Can be obtained. The eight variables a 1 to a 8 can be obtained from the x-coordinate value and the y-coordinate value of each of the four feature points.
図10は、実施形態に係る画像処理方法を示すフローチャートである。
図10において、S501では、図1の撮像制御部102は、図2の筐体枠202により覆われる周縁部よりも内側にパターン画像601〜605を表示装置110に表示させ、撮像装置120により撮像させる。
FIG. 10 is a flowchart showing an image processing method according to the embodiment.
In FIG. 10, in S501, the image
次に、S502では、画像解析部103は、撮像装置120により撮像された撮像画像601a〜605aの論理積演算に基づいて、図7の16個の16分割画像802を抽出する。
Next, in S502, the image analysis unit 103 extracts the 16 16-divided
次に、S503では、画像解析部103は、16分割画像802から16個の矩形領域の4隅を特徴点として検出し、その特徴点の座標値を取得する。このとき、画像解析部103は、エッジ検出や線分検出などの手法にて矩形領域の4辺を抽出し、各辺の交点である矩形領域の4隅の座標値を求める。16分割画像802の16個の矩形領域の特徴点の座標値を全て取得すると、図8に示すように、計25点の特徴点P00〜P44の座標値P00(x00,y00)〜P44(x44,y44)が得られる。
Next, in S503, the image analysis unit 103 detects the four corners of the 16 rectangular regions from the 16-divided
次に、S504では、補間推定部104は、S503で求めた25点の特徴点の座標値とパターン画像の特徴点の座標値に基づいて、撮像画像における表示部201の周縁部の座標値を補間して求める。このとき、撮像画像における表示部201の周縁部の座標値として、図9に示すように、計16点の外挿点E00〜E44の座標値(xE00,yE44)が得られる。
Next, in S504, the
次に、S505では、画像変形部106は、S503で検出した座標値およびS504で補間推定した座標値を用いて、画像変形用のパラメータを算出する。
Next, in S505, the
以上説明したように、上述した実施形態によれば、撮像画像に含まれない表示画像の撮像位置を推定補間した上、画像変形用のパラメータを算出することができる。このため、照合される対象の一部が撮像画像に含まれない場合においても、照合される対象の撮像画像の画像変形の精度を向上させることができる。 As described above, according to the above-described embodiment, it is possible to estimate and interpolate the imaging position of the display image not included in the captured image, and then calculate the parameter for image deformation. Therefore, even when a part of the collated target is not included in the captured image, the accuracy of image deformation of the captured image of the collated target can be improved.
なお、図1の画像処理装置100は、撮像画像が画像変形された幾何補正後画像に基づいて、撮像されない表示画像の撮像位置を推定するようにしてもよい。このとき、画像処理装置100は、図2の筐体枠202で覆われた撮像画像の位置を推定することができ、撮像画像の照合時に、図2の筐体枠202で覆われた部分を除外することができる。
The
図11は、図1の画像処理装置のハードウェア構成例を示すブロック図である。
図11において、画像処理装置100は、プロセッサ11、通信制御デバイス12、通信インタフェース13、主記憶デバイス14および外部記憶デバイス15を備える。プロセッサ11、通信制御デバイス12、通信インタフェース13、主記憶デバイス14および外部記憶デバイス15は、内部バス16を介して相互に接続されている。主記憶デバイス14および外部記憶デバイス15は、プロセッサ11からアクセス可能である。
FIG. 11 is a block diagram showing a hardware configuration example of the image processing device of FIG.
In FIG. 11, the
また、画像処理装置100の外部には、入力装置20および出力装置21が設けられている。入力装置20および出力装置21は、入出力インタフェース17を介して内部バス16に接続されている。入力装置20は、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置、撮像装置、スキャナ等である。出力装置21は、例えば、画面表示装置(液晶モニタ、有機EL(Electro Luminescence)ディスプレイ、グラフィックカード等)、音声出力装置(スピーカ等)、印字装置等である。
Further, an
プロセッサ11は、画像処理装置100全体の動作制御を司るハードウェアである。プロセッサ11は、CPU(Central Processing Unit)であってもよいし、GPU(Graphics Processing Unit)であってもよい。プロセッサ11は、シングルコアロセッサであってもよいし、マルチコアロセッサであってもよい。プロセッサ11は、処理の一部または全部を行うハードウェア回路(例えば、FPGA(Field−Programmable Gate Array)またはASIC(Application Specific Integrated Circuit))を備えていてもよい。プロセッサ11は、ニューラルネットワークを備えていてもよい。
The
主記憶デバイス14は、例えば、SRAMまたはDRAMなどの半導体メモリから構成することができる。主記憶デバイス14には、プロセッサ11が実行中のプログラムを格納したり、プロセッサ11がプログラムを実行するためのワークエリアを設けたりすることができる。
The
外部記憶デバイス15は、大容量の記憶容量を備える記憶デバイスであり、例えば、ハードディスク装置またはSSD(Solid State Drive)である。外部記憶デバイス15は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。外部記憶デバイス15には、画像処理プログラム15Aを格納することができる。画像処理プログラム15Aは、画像処理装置100にインストール可能なソフトウェアであってもよいし、画像処理装置100にファームウェアとして組み込まれていてもよい。
The
通信制御デバイス12は、外部との通信を制御する機能を備えるハードウェアである。通信制御デバイス12は、通信インタフェース13を介してネットワーク19に接続される。ネットワーク19は、インターネットなどのWAN(Wide Area Network)であってもよいし、WiFiまたはイーサネット(登録商標)などのLAN(Local Area Network)であってもよいし、WANとLANが混在していてもよい。
The
入出力インタフェース17は、入力装置20から入力されるデータをプロセッサ11が処理可能なデータ形式に変換したり、プロセッサ11から出力されるデータを出力装置21が処理可能なデータ形式に変換したりする。
The input /
プロセッサ11が画像処理プログラム15Aを主記憶デバイス14に読み出し、画像処理プログラム15Aを実行することにより、表示画像が撮像された撮像画像の特徴点の位置情報を解析し、撮像画像の特徴点の位置情報に基づいて、撮像画像に含まれない表示画像の撮像位置を推定することができる。このとき、プロセッサ11は、図1の画像入力部101、撮像制御部102、画像解析部103、補間推定部104、画像出力部105および画像変形部106の機能を実現することができる。
The
なお、画像処理プログラム15Aの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ11は、ネットワーク19を介してクラウドコンピュータなどに画像処理プログラム15Aの全部または一部の実行を指示し、その実行結果を受け取るようにしてもよい。
The execution of the image processing program 15A may be shared by a plurality of processors or computers. Alternatively, the
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration. Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit.
100 画像処理装置、101 画像入力部、102 撮像制御部、103 画像解析部、104 補間推定部、105 画像出力部、106 画像変形部、107 バス、110 表示装置、120 撮像装置
100 image processing device, 101 image input unit, 102 image control unit, 103 image analysis unit, 104 interpolation estimation unit, 105 image output unit, 106 image deformation unit, 107 bus, 110 display device, 120 image pickup device
Claims (15)
前記表示画像が撮像された撮像画像の特徴点の位置情報を解析する画像解析部と、
前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する推定部とを備える画像処理装置。 An imaging control unit that captures the displayed image and
An image analysis unit that analyzes the position information of the feature points of the captured image in which the displayed image is captured,
An image processing device including an estimation unit that estimates an imaging position of the display image that is not included in the captured image based on position information of feature points of the captured image.
前記推定部は、前記参照パターンの撮像結果の特徴点の位置情報と、前記表示画像を表示させる表示部の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する請求項1に記載の画像処理装置。 The display image includes a reference pattern displayed at a position included in the captured image.
The estimation unit estimates the imaging position of the display image that is not included in the captured image, based on the position information of the feature points of the imaging result of the reference pattern and the position information of the display unit that displays the display image. The image processing apparatus according to claim 1.
前記推定部は、前記表示部に表示された前記黒枠パターンの撮像位置と、前記表示画像を表示させる表示部の周縁部の位置情報に基づいて、前記筐体枠で覆われた前記表示部の周縁部の位置を推定する請求項4に記載の画像処理装置。 The reference pattern is a black frame pattern arranged inside the housing frame.
The estimation unit of the display unit covered with the housing frame is based on the imaging position of the black frame pattern displayed on the display unit and the position information of the peripheral portion of the display unit for displaying the display image. The image processing apparatus according to claim 4, wherein the position of the peripheral portion is estimated.
前記プロセッサは、
表示画像が撮像された撮像画像の特徴点の位置情報を解析し、
前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する画像処理方法。 An image processing method executed by a processor
The processor
Analyze the position information of the feature points of the captured image in which the displayed image is captured,
An image processing method for estimating the imaging position of the display image not included in the captured image based on the position information of the feature points of the captured image.
前記表示画像は、前記筐体枠よりも内側に表示される黒枠パターンを備え、
前記プロセッサは、前記表示部に表示された前記黒枠パターンの撮像画像の特徴点の位置情報と、前記表示部の周縁部の位置情報に基づいて、前記筐体枠で覆われた前記表示部の周縁部の位置を推定する請求項14に記載の画像処理方法。
The peripheral portion of the display image is covered with a housing frame of the display unit for displaying the display image.
The display image includes a black frame pattern displayed inside the housing frame.
The processor of the display unit covered with the housing frame based on the position information of the feature points of the captured image of the black frame pattern displayed on the display unit and the position information of the peripheral portion of the display unit. The image processing method according to claim 14, wherein the position of the peripheral portion is estimated.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019058469A JP2020160221A (en) | 2019-03-26 | 2019-03-26 | Image processing device and image processing method |
PCT/JP2020/011686 WO2020196091A1 (en) | 2019-03-26 | 2020-03-17 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019058469A JP2020160221A (en) | 2019-03-26 | 2019-03-26 | Image processing device and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020160221A true JP2020160221A (en) | 2020-10-01 |
Family
ID=70166099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019058469A Pending JP2020160221A (en) | 2019-03-26 | 2019-03-26 | Image processing device and image processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020160221A (en) |
WO (1) | WO2020196091A1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8872897B2 (en) * | 2011-05-11 | 2014-10-28 | Intel Corporation | Camera calibration using an easily produced 3D calibration pattern |
WO2016141984A1 (en) * | 2015-03-11 | 2016-09-15 | Huawei Technologies Co., Ltd. | Image processing device and method for geometric calibration of images |
JP2018197824A (en) | 2017-05-24 | 2018-12-13 | キヤノン株式会社 | Projection device, information processing apparatus, and method for controlling them, and program |
JP6805104B2 (en) | 2017-09-27 | 2020-12-23 | 富士フイルム株式会社 | Endoscope holder for cleaning, cleaning device, and cleaning method for endoscopes |
-
2019
- 2019-03-26 JP JP2019058469A patent/JP2020160221A/en active Pending
-
2020
- 2020-03-17 WO PCT/JP2020/011686 patent/WO2020196091A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2020196091A1 (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI637230B (en) | Projector system and display image calibration method thereof | |
US9460337B2 (en) | Information processor and information processing method | |
JP6735592B2 (en) | Image processing apparatus, control method thereof, and image processing system | |
TWI419081B (en) | Method and system for providing augmented reality based on marker tracing, and computer program product thereof | |
US9542755B2 (en) | Image processor and image processing method | |
JPWO2017217411A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6115214B2 (en) | Pattern processing apparatus, pattern processing method, and pattern processing program | |
JP2007129709A (en) | Method for calibrating imaging device, method for calibrating imaging system including arrangement of imaging devices, and imaging system | |
JP2014131257A (en) | Image correction system, image correction method, and program | |
JP2012177676A (en) | Information processor and method, and program | |
JP2000357055A (en) | Method and device for correcting projection image and machine readable medium | |
JP6750500B2 (en) | Information processing apparatus and recognition support method | |
CN108074237B (en) | Image definition detection method and device, storage medium and electronic equipment | |
US20110299795A1 (en) | Image processing system, image processing method, and image processing program | |
JP2017092756A (en) | Image processing system, image processing method, image projecting system and program | |
US9766708B2 (en) | Locating method, locating device, depth determining method and depth determining device of operating body | |
JP2011155412A (en) | Projection system and distortion correction method in the same | |
JP2009301181A (en) | Image processing apparatus, image processing program, image processing method and electronic device | |
JP2009302731A (en) | Image processing apparatus, image processing program, image processing method, and electronic device | |
US11830177B2 (en) | Image processing apparatus, control method and non-transitory computer-readable recording medium therefor | |
JP6317611B2 (en) | Display display pattern generating apparatus and program thereof | |
JP5955003B2 (en) | Image processing apparatus, image processing method, and program | |
JP2020160221A (en) | Image processing device and image processing method | |
JP2019106173A (en) | Image processing method, image processing apparatus and program | |
JP2016072691A (en) | Image processing system, control method of the same, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190801 |