JP2020160221A - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
JP2020160221A
JP2020160221A JP2019058469A JP2019058469A JP2020160221A JP 2020160221 A JP2020160221 A JP 2020160221A JP 2019058469 A JP2019058469 A JP 2019058469A JP 2019058469 A JP2019058469 A JP 2019058469A JP 2020160221 A JP2020160221 A JP 2020160221A
Authority
JP
Japan
Prior art keywords
image
display
captured
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019058469A
Other languages
Japanese (ja)
Inventor
樋口 晴彦
Haruhiko Higuchi
樋口  晴彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2019058469A priority Critical patent/JP2020160221A/en
Priority to PCT/JP2020/011686 priority patent/WO2020196091A1/en
Publication of JP2020160221A publication Critical patent/JP2020160221A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

To estimate a shot position of a display image not to be included in the shot image.SOLUTION: An interpolation estimation unit 104 is configured to estimate a shot position of a display image where an imaging device 120 cannot shoot on the basis of information on a display image displayed by a display device 110 and position information on a characteristic point of a shot image analyzed by an image analysis unit 103, and generate information required for deformation by an image deformation unit 106. The image deformation unit 106 is configured to perform image deformation by an affine transformation, projection transformation, or a combination of a plurality of transformations so that the shot image of the display image to be displayed on a display part of the display device 110 coincides in a shape with an expectation value image to be input from an image input unit 101.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.

投影面に含まれる画像に投影用画像を重畳する際の位置ずれを容易に調整できる技術技術として、例えば、特許文献1に開示がある。 For example, Patent Document 1 discloses a technical technique capable of easily adjusting a positional deviation when a projection image is superimposed on an image included in a projection surface.

特許文献1では、「投影面に画像を投影する投影手段と、前記投影面に含まれる画像の色に関する情報を取得する取得手段と、前記取得手段により取得した情報から投影面に含まれる画像と前記投影面に投影された画像との位置ずれを調整するための位置合わせ用画像を生成する生成手段と、前記位置合わせ用画像を前記投影面の画像に重ねて投影するように前記投影手段を制御する制御手段と、を有し、前記生成手段は、前記取得手段により取得した情報に基づいて、前記投影面に含まれる画像の色に対して所定の関係を有し、前記投影面に投影された画像との位置ずれ量を示す位置合わせ用画像を生成することを特徴とする投影装置」が開示されている。特許文献1に開示された技術では、撮影画像から対象を検出し、位置ズレが最小になるように画像の形状を補正できる。 In Patent Document 1, "a projection means for projecting an image on a projection surface, an acquisition means for acquiring information on the color of the image included in the projection surface, and an image included in the projection surface from the information acquired by the acquisition means". A generation means for generating an alignment image for adjusting the positional deviation from the image projected on the projection surface, and the projection means for projecting the alignment image on the image on the projection surface. The generation means has a control means for controlling, and the generation means has a predetermined relationship with respect to the color of the image included in the projection surface based on the information acquired by the acquisition means, and projects onto the projection surface. A "projection device" is disclosed, which generates an image for alignment showing an amount of misalignment with the image. In the technique disclosed in Patent Document 1, an object can be detected from a captured image and the shape of the image can be corrected so that the positional deviation is minimized.

特開2018−197824号公報JP-A-2018-197824

表示部を含む製品の試験評価として、表示部に表示される画像をカメラで撮像して製品設計時の画像と一致するか照合し判定する方法がある。この場合、撮像画像から照合される対象である表示部分を検出し、照合する画像との位置ズレを求めて画像を変形させる必要がある。 As a test evaluation of a product including a display unit, there is a method of capturing an image displayed on the display unit with a camera and collating and determining whether the image matches the image at the time of product design. In this case, it is necessary to detect the display portion to be collated from the captured image, obtain the positional deviation from the collated image, and deform the image.

しかしながら、特許文献1には、照合される対象の一部が覆われているときに、その覆われている対象を検出する手法については開示されていない。このため、特許文献1に開示された技術では、表示部の周縁部が筐体によって覆われるような製品であった場合、撮像画像には表示部の周縁部が撮像されず、表示部分を正確に検出し画像変形することができなかった。 However, Patent Document 1 does not disclose a method for detecting a covered object when a part of the object to be collated is covered. Therefore, in the technique disclosed in Patent Document 1, when the peripheral portion of the display portion is covered with the housing, the peripheral portion of the display portion is not captured in the captured image, and the display portion is accurately displayed. The image could not be deformed by detecting it.

本発明は、上記事情に鑑みなされたものであり、その目的は、撮像画像に含まれない表示画像の撮像位置を推定することが可能な画像処理装置および画像処理方法を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image processing apparatus and an image processing method capable of estimating an imaging position of a display image not included in an captured image.

上記目的を達成するため、第1の観点に係る画像処理装置は、表示画像を撮像させる撮像制御部と、前記表示画像が撮像された撮像画像の特徴点の位置情報を解析する画像解析部と、前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する推定部とを備える。 In order to achieve the above object, the image processing apparatus according to the first aspect includes an imaging control unit that captures a display image and an image analysis unit that analyzes position information of feature points of the captured image in which the display image is captured. It is provided with an estimation unit that estimates the imaging position of the display image that is not included in the captured image based on the position information of the feature points of the captured image.

本発明によれば、撮像画像に含まれない表示画像の撮像位置を推定することができる。 According to the present invention, it is possible to estimate the imaging position of the display image that is not included in the captured image.

図1は、実施形態に係る画像処理装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an image processing device according to an embodiment. 図2は、実施形態に係る画像処理装置が適用される画像表示システムの構成を示す斜視図である。FIG. 2 is a perspective view showing a configuration of an image display system to which the image processing apparatus according to the embodiment is applied. 図3(a)は、期待値画像の一例を示す図、図3(b)は、周縁部が筐体枠で覆われていない場合の図3(a)の期待値画像の表示例を示す図、図3(c)は、周縁部が筐体枠で覆われている場合の図3(a)の期待値画像の表示例を示す図、図3(d)は、図3(b)の表示画像の撮像例を示す図、図3(e)は、図3(c)の表示画像の撮像例を示す図である。FIG. 3A shows an example of an expected value image, and FIG. 3B shows a display example of the expected value image of FIG. 3A when the peripheral edge portion is not covered with the housing frame. FIG. 3 (c) is a diagram showing a display example of the expected value image of FIG. 3 (a) when the peripheral edge portion is covered with a housing frame, and FIG. 3 (d) is a diagram of FIG. 3 (b). 3 (e) is a diagram showing an imaging example of the display image of FIG. 3 (c), and is a diagram showing an imaging example of the display image of FIG. 3 (c). 図4(a)は、黒枠パターンが付加されていない解析用画像の16分割時の境界座標の一例を示す図、図4(b)は、16分割画像の生成に用いられる5個のパターン画像の例を示す図、図4(c)は、周縁部が筐体枠で覆われていない場合の図4(b)のパターン画像の撮像例を示す図、図4(d)は、周縁部が筐体枠で覆われている場合の図4(b)のパターン画像の撮像例を示す図である。FIG. 4A is a diagram showing an example of the boundary coordinates at the time of 16 division of the analysis image to which the black frame pattern is not added, and FIG. 4B is a figure of 5 pattern images used for generating the 16 division image. 4 (c) shows an example of capturing a pattern image of FIG. 4 (b) when the peripheral edge is not covered with a housing frame, and FIG. 4 (d) shows a peripheral edge. It is a figure which shows the imaging example of the pattern image of FIG. 4 (b) when is covered with a housing frame. 図5(a)は、黒枠パターンが付加された解析用画像の16分割時の境界座標の一例を示す図、図5(b)は、周縁部が筐体枠で覆われている場合の黒枠パターンが図4(a)のパターン画像に付加された5個のパターン画像の例を示す図、図5(c)は、周縁部が筐体枠で覆われていない場合の図5(b)のパターン画像の撮像例を示す図、図5(d)は、周縁部が筐体枠で覆われている場合の図5(b)のパターン画像の撮像例を示す図である。FIG. 5A is a diagram showing an example of boundary coordinates at the time of 16 division of an analysis image to which a black frame pattern is added, and FIG. 5B is a black frame when the peripheral portion is covered with a housing frame. FIG. 5 (c) shows an example of five pattern images in which the pattern is added to the pattern image of FIG. 4 (a), and FIG. 5 (c) shows the case where the peripheral portion is not covered with the housing frame. 5 (d) is a diagram showing an imaging example of the pattern image of FIG. 5 (b), and is a diagram showing an imaging example of the pattern image of FIG. 5 (b) when the peripheral edge portion is covered with the housing frame. 図6(a)は、図5(c)の撮像画像の2値画像を示す図、図6(b)は、図6(a)の2値画像を反転させた反転画像を示す図である。6 (a) is a diagram showing a binary image of the captured image of FIG. 5 (c), and FIG. 6 (b) is a diagram showing an inverted image obtained by reversing the binary image of FIG. 6 (a). .. 図7は、図6(a)の2値画像および図6(b)の反転画像に基づいて16分割画像を生成する場合の論理積演算方法を示す図である。FIG. 7 is a diagram showing a logical product calculation method when a 16-divided image is generated based on the binary image of FIG. 6A and the inverted image of FIG. 6B. 図8は、撮像画像から解析された16分割画像の特徴点の座標を示す図である。FIG. 8 is a diagram showing the coordinates of the feature points of the 16-divided image analyzed from the captured image. 図9は、撮像画像から解析された16分割画像の特徴点に基づいて推定された周縁部の座標値を示す図である。FIG. 9 is a diagram showing the coordinate values of the peripheral portion estimated based on the feature points of the 16-divided image analyzed from the captured image. 図10は、実施形態に係る画像処理方法を示すフローチャートである。FIG. 10 is a flowchart showing an image processing method according to the embodiment. 図11は、図1の画像処理装置のハードウェア構成例を示すブロック図である。FIG. 11 is a block diagram showing a hardware configuration example of the image processing device of FIG.

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素およびその組み合わせの全てが発明の解決手段に必須であるとは限らない。 The embodiment will be described with reference to the drawings. It should be noted that the embodiments described below do not limit the invention according to the claims, and all of the elements and combinations thereof described in the embodiments are essential for the means for solving the invention. Not necessarily.

図1は、実施形態に係る画像処理装置の構成を示すブロック図である。
図1において、画像処理装置100は、画像入力部101、撮像制御部102、画像解析部103、補間推定部104、画像出力部105および画像変形部106を備える。画像入力部101、撮像制御部102、画像解析部103、補間推定部104、画像出力部105および画像変形部106は、バス107を介して接続されている。このとき、バス107は、バス107に接続されている各処理部で扱われる画像データ、制御情報および解析情報を仲介する。
FIG. 1 is a block diagram showing a configuration of an image processing device according to an embodiment.
In FIG. 1, the image processing device 100 includes an image input unit 101, an image pickup control unit 102, an image analysis unit 103, an interpolation estimation unit 104, an image output unit 105, and an image deformation unit 106. The image input unit 101, the image pickup control unit 102, the image analysis unit 103, the interpolation estimation unit 104, the image output unit 105, and the image deformation unit 106 are connected via the bus 107. At this time, the bus 107 mediates the image data, control information, and analysis information handled by each processing unit connected to the bus 107.

画像処理装置100は、バス107を介して表示装置110および撮像装置120に接続されている。画像処理装置100は、表示装置110および撮像装置120入と有線接続されてもよいし、無線接続されてもよい。なお、図1では、表示装置110および撮像装置120は、画像処理装置100の外部に設けた例で示したが、画像処理装置100に内蔵されていてもよい。 The image processing device 100 is connected to the display device 110 and the image pickup device 120 via the bus 107. The image processing device 100 may be wiredly connected to the display device 110 and the image pickup device 120, or may be wirelessly connected. Although the display device 110 and the image pickup device 120 are shown in FIG. 1 as an example provided outside the image processing device 100, they may be built in the image processing device 100.

画像入力部101は、PC(Personal Computer)などの外部接続機器から入力される入力画像の処理を行う。例えば、画像入力部101は、入力画像がアナログ画像であった場合にはデコード処理によりアナログ画像を量子化し、以降の処理で扱われるデジタル画像に変換する。以降、画像入力部101により入力した入力画像を期待値画像と呼ぶ。期待値画像は、例えば、撮像装置120で撮像された撮像画像との照合対象である設計画像である。 The image input unit 101 processes an input image input from an externally connected device such as a PC (Personal Computer). For example, when the input image is an analog image, the image input unit 101 quantizes the analog image by decoding processing and converts it into a digital image to be handled in the subsequent processing. Hereinafter, the input image input by the image input unit 101 is referred to as an expected value image. The expected value image is, for example, a design image to be collated with the captured image captured by the imaging device 120.

撮像制御部102は、画像解析部103による画像解析用の撮像を撮像装置120に行わせる。このとき、撮像制御部102は、画像解析部103による画像解析が好適になされるように、撮像装置120の露光条件及びホワイトバランスを設定することができる。また、撮像制御部102は、表示装置110により表示される表示画像の切り替えに合わせて、表示画像の撮像を制御する。例えば、撮像制御部102は、表示装置110に表示された表示画像を撮像装置120に撮像させるときに、撮像画像の階調情報が潰れない撮像条件を設定し、以降の撮像において同一の露光条件およびホワイトバランスを設定する。 The image pickup control unit 102 causes the image pickup device 120 to perform image pickup for image analysis by the image analysis unit 103. At this time, the image pickup control unit 102 can set the exposure conditions and the white balance of the image pickup device 120 so that the image analysis by the image analysis unit 103 is preferably performed. Further, the imaging control unit 102 controls the imaging of the display image in accordance with the switching of the display image displayed by the display device 110. For example, the imaging control unit 102 sets imaging conditions in which the gradation information of the captured image is not crushed when the imaging device 120 captures the display image displayed on the display device 110, and the same exposure conditions are used in subsequent imaging. And set the white balance.

画像解析部103は、表示装置110により表示された表示画像が撮像された撮像画像に含まれる形状情報および色情報を解析する。画像解析部103は、撮像画像内で特定の特徴を持つ特徴点の座標情報を求め、補間推定部104による補間推定に必要な情報を生成したり、画像変形部106による画像変形に必要な情報を生成する。画像解析部103は、表示画像の撮像される範囲および撮像されない範囲を切り出すことができる。特徴点の座標情報を求める方法の例は、画像のエッジ検出やパターンマッチングなどの特徴量抽出方法等である。 The image analysis unit 103 analyzes the shape information and the color information included in the captured image captured by the display image displayed by the display device 110. The image analysis unit 103 obtains the coordinate information of the feature points having a specific feature in the captured image, generates the information necessary for the interpolation estimation by the interpolation estimation unit 104, and the information necessary for the image deformation by the image deformation unit 106. To generate. The image analysis unit 103 can cut out a range in which the display image is captured and a range in which the display image is not captured. An example of a method for obtaining the coordinate information of a feature point is a feature amount extraction method such as image edge detection or pattern matching.

補間推定部104は、表示装置110により表示された解析用画像の情報および画像解析部103で解析された撮像画像の特徴点の位置情報に基づいて、撮像装置120により撮像できない表示画像の撮像位置を推定し、画像変形部106による変形に必要な情報を生成する。撮像装置120により撮像できない表示画像の撮像位置は、例えば、表示画像を表示する表示部の周縁部が筐体枠で覆われた状態で撮像されたときの筐体枠に隠れた部分の位置である。 The interpolation estimation unit 104 is based on the information of the analysis image displayed by the display device 110 and the position information of the feature points of the captured image analyzed by the image analysis unit 103, and the image pickup position of the display image that cannot be captured by the image pickup device 120. Is estimated, and information necessary for deformation by the image deformation unit 106 is generated. The image pickup position of the display image that cannot be captured by the image pickup apparatus 120 is, for example, the position of the portion hidden in the housing frame when the peripheral portion of the display portion displaying the display image is covered with the housing frame. is there.

このとき、補間推定部104は、例えば、撮像装置120により撮像された表示画像の位置情報に基づいて、撮像装置120により撮像できない表示画像の撮像位置を外挿し、撮像装置120により撮像できない表示画像の撮像位置を推定することができる。 At this time, the interpolation estimation unit 104 extrapolates the imaging position of the display image that cannot be captured by the imaging device 120 based on the position information of the display image captured by the imaging device 120, and the display image that cannot be captured by the imaging device 120. The imaging position of the image can be estimated.

画像出力部105は、画像変形部106により画像変形された画像をPCなどの外部接続機器に出力する。 The image output unit 105 outputs the image transformed by the image transformation unit 106 to an externally connected device such as a PC.

画像変形部106は、撮像装置120から入力される撮像画像に対して、画像解析部103および補間推定部104により得られた情報に基づき画像変形を行う。このとき、画像変形部106は、撮像装置120により撮像できない表示画像の撮像位置が補間推定された補間推定画像に基づいて画像変形を行う。例えば、画像変形部106は、撮像装置120により撮像された撮像画像の補間推定画像の形状が、画像入力部101より入力された期待値画像の形状と一致するように、アフィン変換または射影変換または複数の変換の組合せにより画像変形を行うことができる。このとき、画像変形部106は、補間推定画像の透視変換およびN(Nは2以上の整数)領域分割自由変形の組合せにより画像変形を行うようにしてもよい。以降、画像変形部106により画像変形された画像を幾何補正後画像と呼ぶ。 The image deformation unit 106 transforms the captured image input from the image pickup apparatus 120 based on the information obtained by the image analysis unit 103 and the interpolation estimation unit 104. At this time, the image deformation unit 106 transforms the image based on the interpolation estimated image in which the imaging position of the display image that cannot be captured by the imaging device 120 is estimated by interpolation. For example, the image transforming unit 106 may perform affine transformation or projectile transformation so that the shape of the interpolation estimated image of the captured image captured by the imaging device 120 matches the shape of the expected value image input from the image input unit 101. Image transformation can be performed by combining a plurality of transformations. At this time, the image transformation unit 106 may perform image transformation by a combination of fluoroscopic conversion of the interpolated estimated image and N (N is an integer of 2 or more) region division free transformation. Hereinafter, the image deformed by the image deformation unit 106 will be referred to as a geometrically corrected image.

表示装置110は、解析用の表示画像または画像入力部101により入力された期待値画像を表示する。なお、表示装置110は、液晶表示装置であってもよいし、有機EL(Electro Luminescence)ディスプレイまたはブラウン管を用いた表示部であってもよい。また、表示装置110は、カーナビゲーションシステム、スマートフォンまたはタブレット端末などの表示部を有する情報処理装置であってもよい。 The display device 110 displays a display image for analysis or an expected value image input by the image input unit 101. The display device 110 may be a liquid crystal display device, or may be a display unit using an organic EL (Electro Luminescence) display or a cathode ray tube. Further, the display device 110 may be an information processing device having a display unit such as a car navigation system, a smartphone or a tablet terminal.

撮像装置120は、表示装置110により表示される表示画像を撮像する。撮像装置120は、表示装置110により表示される表示画像を撮像するように設置され、または撮像範囲が設定される。なお、撮像装置120は、可視光を撮像するカメラであってもよいし、赤外光を撮像するカメラであってもよい。 The image pickup device 120 captures a display image displayed by the display device 110. The imaging device 120 is installed so as to capture a display image displayed by the display device 110, or an imaging range is set. The image pickup device 120 may be a camera that captures visible light or a camera that captures infrared light.

以下、画像処理装置100の動作について、表示装置110の周縁部が筐体枠により覆われ、撮像装置120により表示画像の周縁部が撮像できない場合を例にとって説明する。 Hereinafter, the operation of the image processing device 100 will be described by taking as an example a case where the peripheral edge of the display device 110 is covered with a housing frame and the peripheral edge of the display image cannot be imaged by the image pickup device 120.

図2は、実施形態に係る画像処理装置が適用される画像表示システムの構成を示す斜視図である。
図2において、画像表示システムは、画像処理装置100、表示装置110および撮像装置120を備える。表示装置110は、表示画像を表示する表示部201を備える。表示部201は、その周縁部が筐体枠202で覆われ、表示部201に表示された表示画像のうち、筐体枠202で覆われた部分は撮像装置120から撮像できない。
FIG. 2 is a perspective view showing a configuration of an image display system to which the image processing apparatus according to the embodiment is applied.
In FIG. 2, the image display system includes an image processing device 100, a display device 110, and an image pickup device 120. The display device 110 includes a display unit 201 that displays a display image. The peripheral portion of the display unit 201 is covered with the housing frame 202, and of the display image displayed on the display unit 201, the portion covered by the housing frame 202 cannot be imaged by the imaging device 120.

画像処理装置100は、表示装置110に表示画像を表示させ、撮像装置120により表示画像を撮像させる。このとき、表示部201の周縁部は筐体枠202で覆われているため、撮像装置120により撮像された撮像画像は、表示部201に表示された表示画像のうち、筐体枠202で覆われた部分を含まない。 The image processing device 100 causes the display device 110 to display the display image, and the image pickup device 120 to capture the display image. At this time, since the peripheral edge of the display unit 201 is covered with the housing frame 202, the captured image captured by the imaging device 120 is covered with the housing frame 202 among the display images displayed on the display unit 201. Does not include the damaged part.

図3(a)は、期待値画像の一例を示す図、図3(b)は、周縁部が筐体枠で覆われていない場合の図3(a)の期待値画像の表示例を示す図、図3(c)は、周縁部が筐体枠で覆われている場合の図3(a)の期待値画像の表示例を示す図、図3(d)は、図3(b)の表示画像の撮像例を示す図、図3(e)は、図3(c)の表示画像の撮像例を示す図である。 FIG. 3A shows an example of an expected value image, and FIG. 3B shows a display example of the expected value image of FIG. 3A when the peripheral edge portion is not covered with the housing frame. FIG. 3 (c) is a diagram showing a display example of the expected value image of FIG. 3 (a) when the peripheral edge portion is covered with a housing frame, and FIG. 3 (d) is a diagram of FIG. 3 (b). 3 (e) is a diagram showing an imaging example of the display image of FIG. 3 (c), and is a diagram showing an imaging example of the display image of FIG. 3 (c).

図3(a)において、例えば、期待値画像としてチェッカー画像301が画像処理装置110に入力されたものとする。このとき、画像処理装置110は、図3(b)および図3(c)に示すように、そのチェッカー画像301を表示部201に表示させる。そして、画像処理装置110は、図3(d)および図3(e)に示すように、表示部201に表示された表示画像を撮像装置120に撮像させる。 In FIG. 3A, for example, it is assumed that the checker image 301 is input to the image processing device 110 as the expected value image. At this time, the image processing device 110 causes the display unit 201 to display the checker image 301 as shown in FIGS. 3 (b) and 3 (c). Then, as shown in FIGS. 3D and 3E, the image processing device 110 causes the image pickup device 120 to capture the display image displayed on the display unit 201.

ここで、図3(b)に示すように、図2の表示部201の周縁部が筐体枠202で覆われていない場合、画像処理装置100から入力した図3(a)のチェッカー画像301は、欠落なく表示部201に表示される。 Here, as shown in FIG. 3B, when the peripheral edge of the display unit 201 of FIG. 2 is not covered with the housing frame 202, the checker image 301 of FIG. 3A input from the image processing device 100 Is displayed on the display unit 201 without omission.

このため、図3(b)の表示部201に表示された表示画像が撮像装置120にて撮像されると、図3(d)に示すように、チェッカー画像301の外縁203の部分に対応した周縁部302の欠落がない撮像画像301aが得られる。 Therefore, when the display image displayed on the display unit 201 of FIG. 3B is captured by the image pickup apparatus 120, it corresponds to the outer edge 203 of the checker image 301 as shown in FIG. 3D. An captured image 301a with no missing peripheral portion 302 can be obtained.

一方、図3(c)に示すように、図2の表示部201の周縁部が筐体枠202で覆われている場合、表示部201に表示された表示画像の外縁203の部分は見えない。このため、画像処理装置100から入力した図3(a)のチェッカー画像301は、外縁203の部分が欠落した状態で表示部201に表示される。 On the other hand, as shown in FIG. 3C, when the peripheral edge of the display unit 201 of FIG. 2 is covered with the housing frame 202, the outer edge 203 of the display image displayed on the display unit 201 cannot be seen. .. Therefore, the checker image 301 of FIG. 3A input from the image processing device 100 is displayed on the display unit 201 with the outer edge 203 missing.

このため、図3(c)の表示部201に表示された表示画像が撮像装置120にて撮像されると、図3(e)に示すように、チェッカー画像301の外縁203の部分に対応した周縁部302が欠落した撮像画像301bが得られる。 Therefore, when the display image displayed on the display unit 201 of FIG. 3C is captured by the image pickup apparatus 120, it corresponds to the outer edge 203 of the checker image 301 as shown in FIG. 3E. An captured image 301b in which the peripheral edge portion 302 is missing can be obtained.

図4(a)は、黒枠パターンが付加されていない解析用画像の16分割時の境界座標の一例を示す図、図4(b)は、16分割画像の生成に用いられる5個のパターン画像の例を示す図、図4(c)は、周縁部が筐体枠で覆われていない場合の図4(b)のパターン画像の撮像例を示す図、図4(d)は、周縁部が筐体枠で覆われている場合の図4(b)のパターン画像の撮像例を示す図である。 FIG. 4A is a diagram showing an example of the boundary coordinates at the time of 16 division of the analysis image to which the black frame pattern is not added, and FIG. 4B is a figure of 5 pattern images used for generating the 16 division image. 4 (c) shows an example of capturing a pattern image of FIG. 4 (b) when the peripheral edge is not covered with a housing frame, and FIG. 4 (d) shows a peripheral edge. It is a figure which shows the imaging example of the pattern image of FIG. 4 (b) when is covered with a housing frame.

図4(a)において、表示部201を水平方向および垂直方向にそれぞれ4分割する。そして、水平方向および垂直方向にそれぞれ4分割された16個の分割領域の境界座標が既知である解析用画像400を想定する。これら16個の分割領域の境界座標は、各分割領域の四隅の座標(x、y)〜(x、y)とすることができる。 In FIG. 4A, the display unit 201 is divided into four in the horizontal direction and the vertical direction, respectively. Then, it is assumed that the analysis image 400 has known boundary coordinates of 16 divided regions divided into four in the horizontal direction and the vertical direction. The boundary coordinates of these 16 divided regions can be the coordinates (x 0 , y 0 ) to (x 4 , y 4 ) of the four corners of each divided region.

ここで、これら16個の分割領域に対応した撮像画像を得るために、図4(b)に示すように、5個のパターン画像401〜405を用いる。パターン画像401〜405は、期待値画像を示す。パターン画像401は、白画像が全面に設定される。パターン画像402は、垂直方向に2分割され、白画像および黒画像が各分割領域に設定される。パターン画像403は、垂直方向に4分割され、白画像および黒画像が各分割領域に交互に設定される。パターン画像404は、水平方向に2分割され、白画像および黒画像が各分割領域に設定される。パターン画像405は、水平方向に4分割され、白画像および黒画像が各分割領域に交互に設定される。 Here, in order to obtain captured images corresponding to these 16 divided regions, five pattern images 401 to 405 are used as shown in FIG. 4 (b). Pattern images 401 to 405 show expected value images. In the pattern image 401, a white image is set on the entire surface. The pattern image 402 is vertically divided into two, and a white image and a black image are set in each divided area. The pattern image 403 is vertically divided into four, and white images and black images are alternately set in each divided area. The pattern image 404 is divided into two in the horizontal direction, and a white image and a black image are set in each divided area. The pattern image 405 is divided into four in the horizontal direction, and white images and black images are alternately set in each divided area.

パターン画像401〜405が画像処理装置110に順次入力されたものとする。このとき、画像処理装置110は、そのパターン画像401〜405を表示部201に順次表示させる。そして、画像処理装置110は、図4(c)および図4(d)に示すように、表示部201に表示された表示画像を撮像装置120に順次撮像させる。 It is assumed that the pattern images 401 to 405 are sequentially input to the image processing device 110. At this time, the image processing device 110 sequentially displays the pattern images 401 to 405 on the display unit 201. Then, as shown in FIGS. 4 (c) and 4 (d), the image processing device 110 causes the image pickup device 120 to sequentially capture the display image displayed on the display unit 201.

ここで、周縁部が筐体枠202で覆われていない場合、図4(c)の5個の撮像画像401a〜405aが得られる。画像処理装置110は、これら5個の撮像画像401a〜405aの論理積演算に基づいて、解析用画像400についての16個の分割領域の撮像画像を抽出する。 Here, when the peripheral edge portion is not covered with the housing frame 202, the five captured images 401a to 405a shown in FIG. 4C can be obtained. The image processing device 110 extracts captured images of 16 divided regions for the analysis image 400 based on the logical product calculation of these five captured images 401a to 405a.

一方、周縁部が筐体枠202で覆われている場合、図4(d)の5個の撮像画像401b〜405bが得られる。画像処理装置110は、これら5個の撮像画像401b〜405bの論理積演算に基づいて、解析用画像400についての16個の分割領域の撮像画像を抽出する。 On the other hand, when the peripheral edge portion is covered with the housing frame 202, the five captured images 401b to 405b shown in FIG. 4D can be obtained. The image processing device 110 extracts captured images of 16 divided regions for the analysis image 400 based on the logical product calculation of these five captured images 401b to 405b.

そして、画像処理装置110は、16個の分割領域の撮像画像の特徴点の座標値に基づいて幾何補正を実施する。このとき、画像処理装置110は、次のような手順にて空間コードを利用した幾何補正を実施することができる。 Then, the image processing device 110 performs geometric correction based on the coordinate values of the feature points of the captured image of the 16 divided regions. At this time, the image processing device 110 can perform geometric correction using the spatial code by the following procedure.

例えば、画像処理装置110は、黒と白のように色情報が変化する特徴点の座標値が既知であるパターン画像を表示部201またはプロジェクタに表示させる。 For example, the image processing device 110 causes the display unit 201 or the projector to display a pattern image in which the coordinate values of the feature points whose color information changes, such as black and white, are known.

次に、画像処理装置110は、撮像装置120により表示映像もしくはプロジェクタ投影像を撮像させ、撮像画像から特徴点を検出して、その特徴点の座標値を求める。そして、画像処理装置110は、パターン画像の特徴点の座標値と、撮像画像の特徴点の座標値の対応関係を得る。 Next, the image processing device 110 makes the display image or the projector projected image imaged by the image pickup device 120, detects the feature points from the captured image, and obtains the coordinate values of the feature points. Then, the image processing device 110 obtains the correspondence between the coordinate values of the feature points of the pattern image and the coordinate values of the feature points of the captured image.

次に、画像処理装置110は、特徴点の座標値が異なるパターン画像を表示させ、撮像装置120により表示映像もしくはプロジェクタ投影像を撮像させる。そして、画像処理装置110は、撮像画像から特徴点を検出し、その特徴点の座標値を求め、パターン画像の特徴点の座標値と、撮像画像の特徴点の座標値の対応関係を複数得る。 Next, the image processing device 110 displays a pattern image having different coordinate values of the feature points, and the image pickup device 120 captures the displayed image or the projector projected image. Then, the image processing device 110 detects the feature points from the captured image, obtains the coordinate values of the feature points, and obtains a plurality of correspondences between the coordinate values of the feature points of the pattern image and the coordinate values of the feature points of the captured image. ..

次に、画像処理装置110は、パターン画像の特徴点の座標値と、撮像画像の特徴点の座標値の対応関係に基づいて、アフィン変換または射影変換または複数の変換の組合せにより、画像を変形させる。図4では、表示および撮像する5枚のパターン画像401〜405を用いた例を示し、水平方向でx0〜x4の5点、垂直方向でy0〜y4の5点について、座標値の対応関係が得られる。 Next, the image processing device 110 transforms the image by a combination of affine transformation, projective transformation, or a plurality of transformations based on the correspondence between the coordinate values of the feature points of the pattern image and the coordinate values of the feature points of the captured image. Let me. FIG. 4 shows an example using five pattern images 401 to 405 to be displayed and captured, and the correspondence between the coordinate values is as follows for five points x0 to x4 in the horizontal direction and five points y0 to y4 in the vertical direction. can get.

このとき、これらの座標値の対応関係の個数が多いほど、より小さな領域ごとに画像変形を実行することができ、光学歪みによる撮像画像401a〜405aの不均一な変形歪みに対する幾何補正の精度を向上させることができる。 At this time, the larger the number of correspondences of these coordinate values, the more the image deformation can be executed for each smaller area, and the accuracy of the geometric correction for the non-uniform deformation distortion of the captured images 401a to 405a due to the optical distortion can be improved. Can be improved.

一方、撮像画像401b〜405bのように表示画像の一部が欠けて撮像されると、検出される特徴点の座標値にズレが発生する。このため、画像変形の結果である幾何補正後画像が崩れ、幾何補正後画像と期待値画像の照合精度が低下する。 On the other hand, when a part of the displayed image is missing and captured as in the captured images 401b to 405b, the coordinate values of the detected feature points are deviated. Therefore, the image after geometric correction, which is the result of image deformation, is distorted, and the matching accuracy between the image after geometric correction and the expected value image is lowered.

このとき、画像処理装置110は、幾何補正後画像と期待値画像の照合精度を向上させるため、表示画像の一部が欠けて撮像された撮像画像の特徴点の位置情報に基づいて、撮像装置120により撮像できない表示画像の撮像位置を推定し、画像変形部106による変形に必要な情報を生成する。 At this time, in order to improve the collation accuracy between the geometrically corrected image and the expected value image, the image processing device 110 is an imaging device based on the position information of the feature points of the captured image captured by missing a part of the display image. The image pickup position of the display image that cannot be captured by 120 is estimated, and the information necessary for the deformation by the image deformation unit 106 is generated.

図5(a)は、黒枠パターンが付加された解析用画像の16分割時の境界座標の一例を示す図、図5(b)は、周縁部が筐体枠で覆われている場合の黒枠パターンが図4(a)のパターン画像に付加された5個のパターン画像の例を示す図、図5(c)は、周縁部が筐体枠で覆われていない場合の図5(b)のパターン画像の撮像例を示す図、図5(d)は、周縁部が筐体枠で覆われている場合の図5(b)のパターン画像の撮像例を示す図である。 FIG. 5A is a diagram showing an example of boundary coordinates at the time of 16 division of an analysis image to which a black frame pattern is added, and FIG. 5B is a black frame when the peripheral portion is covered with a housing frame. FIG. 5 (c) shows an example of five pattern images in which the pattern is added to the pattern image of FIG. 4 (a), and FIG. 5 (c) shows the case where the peripheral portion is not covered with the housing frame. 5 (d) is a diagram showing an imaging example of the pattern image of FIG. 5 (b), and is a diagram showing an imaging example of the pattern image of FIG. 5 (b) when the peripheral edge portion is covered with the housing frame.

図5(a)において、幅mとする周縁部の内側で表示部201が水平方向および垂直方向にそれぞれ4分割されている。そして、水平方向および垂直方向にそれぞれ4分割された16個の分割領域の境界座標と、周縁部の幅mが既知である解析用画像600を想定する。これらの分割領域の境界座標は、各分割領域の四隅の座標(x、y)〜(x、y)とすることができる。幅mとする周縁部の四隅の座標は、(0、0)、(x、0)、(0、y)、(x、y)とすることができる。 In FIG. 5A, the display unit 201 is divided into four in the horizontal direction and the vertical direction inside the peripheral edge portion having a width m. Then, it is assumed that the analysis image 600 has the boundary coordinates of 16 divided regions divided into four in the horizontal direction and the vertical direction, and the width m of the peripheral portion is known. The boundary coordinates of these divided regions can be the coordinates of the four corners of each divided region (x 0 , y 0 ) to (x 4 , y 4 ). The coordinates of the four corners of the peripheral edge having a width m can be (0, 0), (x 5 , 0), (0, y 5 ), (x 5 , y 5 ).

ここで、幅mとする周縁部が補間推定された16個の分割領域の撮像画像を得るために、図5(b)に示すように、5個のパターン画像601〜605を用いる。各パターン画像601〜605は、図4(b)の各パターン画像401〜405の周囲に黒枠パターンK1〜K5が付加されている。黒枠パターンK1〜K5は、図2の表示部201が筐体枠202で覆われている場合においても、黒枠パターンK1〜K5の内側の四隅が撮像される位置に配置される。このとき、黒枠パターンK1〜K5は、補間推定のための特徴点の位置情報を撮像画像から検出する参照パターンとして用いることができる。なお、参照パターンは、必ずしも黒枠パターンK1〜K5に限定されることなく、補間推定のための特徴点の位置情報を撮像画像から検出できれば、任意のパターンを用いることができる。 Here, as shown in FIG. 5B, five pattern images 601 to 605 are used in order to obtain an image of 16 divided regions whose peripheral edge portion having a width m is estimated by interpolation. In each pattern image 601 to 605, black frame patterns K1 to K5 are added around each pattern image 401 to 405 of FIG. 4 (b). The black frame patterns K1 to K5 are arranged at positions where the four inner corners of the black frame patterns K1 to K5 are imaged even when the display unit 201 of FIG. 2 is covered with the housing frame 202. At this time, the black frame patterns K1 to K5 can be used as a reference pattern for detecting the position information of the feature points for interpolation estimation from the captured image. The reference pattern is not necessarily limited to the black frame patterns K1 to K5, and any pattern can be used as long as the position information of the feature points for interpolation estimation can be detected from the captured image.

パターン画像601〜605が画像処理装置110に順次入力されたものとする。このとき、画像処理装置110は、それらのパターン画像601〜605を表示部201に順次表示させる。そして、画像処理装置110は、図5(c)に示すように、表示部201に表示された表示画像を撮像装置120に順次撮像させ、撮像画像601a〜605aを取得する。 It is assumed that the pattern images 601 to 605 are sequentially input to the image processing device 110. At this time, the image processing device 110 sequentially displays the pattern images 601 to 605 on the display unit 201. Then, as shown in FIG. 5C, the image processing device 110 sequentially causes the image pickup device 120 to image the display images displayed on the display unit 201, and acquires the captured images 601a to 605a.

撮像画像601a〜605aでは、表示部201に表示された黒枠パターンK1〜K5の撮像パターンZ1〜Z5は、図5(d)に示すように、図2の筐体枠202の撮像位置PKの内側に配置される。このため、撮像画像601a〜605aには、表示部201が筐体枠202で覆われている場合においても、黒枠パターンK1〜K5に対応した撮像パターンZ1〜Z5が含まれる。 In the captured images 601a to 605a, the imaging patterns Z1 to Z5 of the black frame patterns K1 to K5 displayed on the display unit 201 are inside the imaging position PK of the housing frame 202 of FIG. 2 as shown in FIG. 5 (d). Is placed in. Therefore, the captured images 601a to 605a include the imaging patterns Z1 to Z5 corresponding to the black frame patterns K1 to K5 even when the display unit 201 is covered with the housing frame 202.

そして、画像処理装置110は、撮像パターンZ1〜Z5の境界座標と、解析用画像600に設定された幅mとする周縁部の境界座標に基づいて、筐体枠202で覆われていないときの撮像画像601a〜605aにおける表示部201の外縁座標を推定する。 Then, the image processing device 110 is not covered with the housing frame 202 based on the boundary coordinates of the imaging patterns Z1 to Z5 and the boundary coordinates of the peripheral portion having the width m set in the analysis image 600. The outer edge coordinates of the display unit 201 in the captured images 601a to 605a are estimated.

画像処理装置110は、表示部201の外縁部の撮像位置が補間推定された撮像画像601a〜605aの論理積演算に基づいて、解析用画像600についての16個の分割領域の撮像画像を抽出する。そして、画像処理装置110は、これら16個の分割領域の撮像画像の特徴点の座標値に基づいて、照合される対象である撮像画像の幾何補正を実施する。 The image processing device 110 extracts captured images of 16 divided regions of the analysis image 600 based on the logical product calculation of the captured images 601a to 605a in which the imaging position of the outer edge portion of the display unit 201 is estimated by interpolation. .. Then, the image processing device 110 performs geometric correction of the captured image to be collated based on the coordinate values of the feature points of the captured images in these 16 divided regions.

なお、解析用画像600における幅mの周縁部は、表示部201が筐体枠202により覆われる領域よりも大きければよく、パターン画像の上下左右で異なる幅を設けるようにしてもよい。 The peripheral edge of the width m in the analysis image 600 may be larger than the area where the display unit 201 is covered by the housing frame 202, and different widths may be provided on the top, bottom, left, and right of the pattern image.

図6(a)は、図5(c)の撮像画像の2値画像を示す図、図6(b)は、図6(a)の2値画像を反転させた反転画像を示す図である。
図6(a)において、画像解析部103は、図5(c)の撮像画像601a〜605aより2値画像701〜705を求める。例えば、撮像画像601a〜605aがRGB3チャンネルそれぞれ256階調の濃淡を持っている場合であれば、画像解析部103は、RGBの画素値からYCbCrのうち輝度Yを求めた後に2値化する。
6 (a) is a diagram showing a binary image of the captured image of FIG. 5 (c), and FIG. 6 (b) is a diagram showing an inverted image obtained by reversing the binary image of FIG. 6 (a). ..
In FIG. 6A, the image analysis unit 103 obtains binary images 701 to 705 from the captured images 601a to 605a in FIG. 5C. For example, when the captured images 601a to 605a have 256 gradations of shades in each of the RGB3 channels, the image analysis unit 103 binarizes the YCbCr after obtaining the brightness Y from the RGB pixel values.

さらに、画像解析部103は、図6(b)に示すように、2値画像702〜705より、白と黒とを反転させた反転画像712〜715を求める。次に、画像解析部103は、2値画像701〜705および反転画像712〜715の論理積により、図5の解析用画像600の16個の分割領域に対応する撮像領域を抽出する。 Further, as shown in FIG. 6B, the image analysis unit 103 obtains an inverted image 712 to 715 in which white and black are inverted from the binary images 702 to 705. Next, the image analysis unit 103 extracts an imaging region corresponding to the 16 divided regions of the analysis image 600 of FIG. 5 by the logical product of the binary images 701 to 705 and the inverted images 712 to 715.

図7は、図6(a)の2値画像および図6(b)の反転画像に基づいて16分割画像を生成する場合の論理積演算方法を示す図である。
図7において、図1の画像解析部103は、2値画像701〜705および反転画像712〜715を16通りに組み合わせた論理積演算#1〜#16に基づいて、16個の16分割画像802を生成する。
FIG. 7 is a diagram showing a logical product calculation method when a 16-divided image is generated based on the binary image of FIG. 6A and the inverted image of FIG. 6B.
In FIG. 7, the image analysis unit 103 of FIG. 1 has 16 16-divided images 802 based on the logical product operation # 1 to # 16 in which binary images 701 to 705 and inverted images 712 to 715 are combined in 16 ways. To generate.

例えば、論理積演算#1では、図6の2値画像701と反転画像712、713、714、715の論理積を求める。このとき、論理積で用いた画像全てにおいて、画素値が白である部分のみが白として抽出される。例えば、論理積演算#1では、16分割領域のうち、最も左上の領域のみが抽出される。論理積に与える画像を異ならせることにより、異なる領域を抽出する。 For example, in the logical product operation # 1, the logical product of the binary image 701 and the inverted images 712, 713, 714, and 715 of FIG. 6 is obtained. At this time, in all the images used in the logical product, only the portion where the pixel value is white is extracted as white. For example, in the logical product operation # 1, only the upper leftmost region of the 16 division regions is extracted. Different regions are extracted by making the images given to the logical product different.

ここで、撮像装置120により16分割画像802を直接生成する場合には、撮像を16回繰り返す必要がある。一方、図5(c)の撮像画像601a〜605aに基づく論理積演算により、16分割画像802を生成する場合には、16分割画像802を生成するのに必要な撮像を5回で済ませることができる。このため、16分割画像802を生成するのに必要な撮像条件を安定化させることができ、16分割画像802から抽出される特徴点の位置精度を向上させることができる。 Here, when the 16-segment image 802 is directly generated by the image pickup apparatus 120, it is necessary to repeat the imaging 16 times. On the other hand, when the 16-divided image 802 is generated by the logical product calculation based on the captured images 601a to 605a of FIG. 5C, the imaging required to generate the 16-divided image 802 can be completed only 5 times. it can. Therefore, the imaging conditions required to generate the 16-segment image 802 can be stabilized, and the position accuracy of the feature points extracted from the 16-segment image 802 can be improved.

図8は、撮像画像から解析された16分割画像の特徴点の座標を示す図である。
図8において、図1の画像解析部103は、図7の16個の16分割画像802に基づいて、計25点の特徴点P00〜P44を抽出した解析後画像901を生成する。
FIG. 8 is a diagram showing the coordinates of the feature points of the 16-divided image analyzed from the captured image.
In FIG. 8, the image analysis unit 103 of FIG. 1 generates an analyzed image 901 by extracting a total of 25 feature points P 00 to P 44 based on the 16 16-divided images 802 of FIG. 7.

図9は、撮像画像から解析された16分割画像の特徴点に基づいて推定された周縁部の座標値を示す図である。
図9において、図1の補間推定部104は、計16点の外挿点E00〜E44を付加した補間推定画像1001を生成する。
FIG. 9 is a diagram showing the coordinate values of the peripheral portion estimated based on the feature points of the 16-divided image analyzed from the captured image.
In FIG. 9, the interpolation estimation unit 104 of FIG. 1 generates an interpolation estimation image 1001 to which a total of 16 extrapolation points E 00 to E 44 are added.

以下、撮像画像における表示部201の周縁部の座標値の補間推定方法について説明する。 Hereinafter, a method for estimating the coordinate values of the peripheral portion of the display unit 201 in the captured image will be described.

例えば、外挿点E10は、図8の特徴点P10と特徴点P11を結ぶ線上にあると近似することができる。また、図5の解析用画像600より、周縁部と特徴点P10の距離および特徴点P10と特徴点P11の距離の比は、x:x−xである。よって、外挿点E10の座標値(xE10,yE10)は、座標値P10(x10,y10)、P11(x11,y11)を用いて以下の計算式で求めることができる。 For example, the extrapolation point E 10 can be approximated to be on the line connecting the feature point P 10 and the feature point P 11 in FIG. Further, from the analysis image 600 of FIG. 5, the ratio of the distance between the peripheral edge portion and the feature point P 10 and the distance between the feature point P 10 and the feature point P 11 is x 0 : x 1 − x 0 . Therefore, the coordinate values (x E10 , y E10 ) of the extrapolation point E 10 can be calculated by the following formula using the coordinate values P 10 (x 10 , y 10 ) and P 11 (x 11 , y 11 ). Can be done.

Figure 2020160221
Figure 2020160221

Figure 2020160221
Figure 2020160221

Figure 2020160221
Figure 2020160221

同様にして、他の外挿点の座標値も求めることができる。 Similarly, the coordinate values of other extrapolation points can be obtained.

撮像画像およびパターン画像について、特徴点4点で囲まれた面に対して、撮像画像(x,y)から期待値画像(x’,y’)に射影変換する一般式は、以下のようにして得られる。8つの変数a〜aは、特徴点4点それぞれのx座標値およびy座標値により求めることができる。 For the captured image and the pattern image, the general formula for projective conversion from the captured image (x, y) to the expected value image (x', y') on the surface surrounded by four feature points is as follows. Can be obtained. The eight variables a 1 to a 8 can be obtained from the x-coordinate value and the y-coordinate value of each of the four feature points.

Figure 2020160221
Figure 2020160221

Figure 2020160221
Figure 2020160221

図10は、実施形態に係る画像処理方法を示すフローチャートである。
図10において、S501では、図1の撮像制御部102は、図2の筐体枠202により覆われる周縁部よりも内側にパターン画像601〜605を表示装置110に表示させ、撮像装置120により撮像させる。
FIG. 10 is a flowchart showing an image processing method according to the embodiment.
In FIG. 10, in S501, the image pickup control unit 102 of FIG. 1 causes the display device 110 to display the pattern images 601 to 605 inside the peripheral edge portion covered by the housing frame 202 of FIG. 2, and images are captured by the image pickup device 120. Let me.

次に、S502では、画像解析部103は、撮像装置120により撮像された撮像画像601a〜605aの論理積演算に基づいて、図7の16個の16分割画像802を抽出する。 Next, in S502, the image analysis unit 103 extracts the 16 16-divided images 802 of FIG. 7 based on the logical product calculation of the captured images 601a to 605a captured by the imaging device 120.

次に、S503では、画像解析部103は、16分割画像802から16個の矩形領域の4隅を特徴点として検出し、その特徴点の座標値を取得する。このとき、画像解析部103は、エッジ検出や線分検出などの手法にて矩形領域の4辺を抽出し、各辺の交点である矩形領域の4隅の座標値を求める。16分割画像802の16個の矩形領域の特徴点の座標値を全て取得すると、図8に示すように、計25点の特徴点P00〜P44の座標値P00(x00,y00)〜P44(x44,y44)が得られる。 Next, in S503, the image analysis unit 103 detects the four corners of the 16 rectangular regions from the 16-divided image 802 as feature points, and acquires the coordinate values of the feature points. At this time, the image analysis unit 103 extracts the four sides of the rectangular region by a method such as edge detection or line segment detection, and obtains the coordinate values of the four corners of the rectangular region which are the intersections of the respective sides. When all the coordinate values of the feature points of the 16 rectangular regions of the 16-divided image 802 are acquired, as shown in FIG. 8, the coordinate values of the feature points P 00 to P 44 of a total of 25 points P 00 (x 00 , y 00). ) ~ P 44 (x 44 , y 44 ) are obtained.

次に、S504では、補間推定部104は、S503で求めた25点の特徴点の座標値とパターン画像の特徴点の座標値に基づいて、撮像画像における表示部201の周縁部の座標値を補間して求める。このとき、撮像画像における表示部201の周縁部の座標値として、図9に示すように、計16点の外挿点E00〜E44の座標値(xE00,yE44)が得られる。 Next, in S504, the interpolation estimation unit 104 determines the coordinate values of the peripheral portion of the display unit 201 in the captured image based on the coordinate values of the 25 feature points obtained in S503 and the coordinate values of the feature points of the pattern image. Obtain by interpolating. At this time, as a coordinate value of the peripheral portion of the display unit 201 in the captured image, as shown in FIG. 9, coordinate values (x E00 , y E44 ) of a total of 16 extrapolation points E 00 to E 44 are obtained.

次に、S505では、画像変形部106は、S503で検出した座標値およびS504で補間推定した座標値を用いて、画像変形用のパラメータを算出する。 Next, in S505, the image transformation unit 106 calculates a parameter for image transformation using the coordinate value detected in S503 and the coordinate value estimated by interpolation in S504.

以上説明したように、上述した実施形態によれば、撮像画像に含まれない表示画像の撮像位置を推定補間した上、画像変形用のパラメータを算出することができる。このため、照合される対象の一部が撮像画像に含まれない場合においても、照合される対象の撮像画像の画像変形の精度を向上させることができる。 As described above, according to the above-described embodiment, it is possible to estimate and interpolate the imaging position of the display image not included in the captured image, and then calculate the parameter for image deformation. Therefore, even when a part of the collated target is not included in the captured image, the accuracy of image deformation of the captured image of the collated target can be improved.

なお、図1の画像処理装置100は、撮像画像が画像変形された幾何補正後画像に基づいて、撮像されない表示画像の撮像位置を推定するようにしてもよい。このとき、画像処理装置100は、図2の筐体枠202で覆われた撮像画像の位置を推定することができ、撮像画像の照合時に、図2の筐体枠202で覆われた部分を除外することができる。 The image processing device 100 of FIG. 1 may estimate the imaging position of the display image that is not captured based on the geometrically corrected image in which the captured image is deformed. At this time, the image processing device 100 can estimate the position of the captured image covered by the housing frame 202 of FIG. 2, and when collating the captured images, the portion covered with the housing frame 202 of FIG. 2 is used. Can be excluded.

図11は、図1の画像処理装置のハードウェア構成例を示すブロック図である。
図11において、画像処理装置100は、プロセッサ11、通信制御デバイス12、通信インタフェース13、主記憶デバイス14および外部記憶デバイス15を備える。プロセッサ11、通信制御デバイス12、通信インタフェース13、主記憶デバイス14および外部記憶デバイス15は、内部バス16を介して相互に接続されている。主記憶デバイス14および外部記憶デバイス15は、プロセッサ11からアクセス可能である。
FIG. 11 is a block diagram showing a hardware configuration example of the image processing device of FIG.
In FIG. 11, the image processing device 100 includes a processor 11, a communication control device 12, a communication interface 13, a main storage device 14, and an external storage device 15. The processor 11, the communication control device 12, the communication interface 13, the main storage device 14, and the external storage device 15 are connected to each other via the internal bus 16. The main storage device 14 and the external storage device 15 are accessible from the processor 11.

また、画像処理装置100の外部には、入力装置20および出力装置21が設けられている。入力装置20および出力装置21は、入出力インタフェース17を介して内部バス16に接続されている。入力装置20は、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置、撮像装置、スキャナ等である。出力装置21は、例えば、画面表示装置(液晶モニタ、有機EL(Electro Luminescence)ディスプレイ、グラフィックカード等)、音声出力装置(スピーカ等)、印字装置等である。 Further, an input device 20 and an output device 21 are provided outside the image processing device 100. The input device 20 and the output device 21 are connected to the internal bus 16 via the input / output interface 17. The input device 20 is, for example, a keyboard, a mouse, a touch panel, a card reader, a voice input device, an image pickup device, a scanner, or the like. The output device 21 is, for example, a screen display device (liquid crystal monitor, organic EL (Electro Luminescence) display, graphic card, etc.), an audio output device (speaker, etc.), a printing device, and the like.

プロセッサ11は、画像処理装置100全体の動作制御を司るハードウェアである。プロセッサ11は、CPU(Central Processing Unit)であってもよいし、GPU(Graphics Processing Unit)であってもよい。プロセッサ11は、シングルコアロセッサであってもよいし、マルチコアロセッサであってもよい。プロセッサ11は、処理の一部または全部を行うハードウェア回路(例えば、FPGA(Field−Programmable Gate Array)またはASIC(Application Specific Integrated Circuit))を備えていてもよい。プロセッサ11は、ニューラルネットワークを備えていてもよい。 The processor 11 is hardware that controls the operation of the entire image processing device 100. The processor 11 may be a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit). The processor 11 may be a single-core processor or a multi-core processor. The processor 11 may include a hardware circuit (for example, an FPGA (Field-Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit)) that performs a part or all of the processing. The processor 11 may include a neural network.

主記憶デバイス14は、例えば、SRAMまたはDRAMなどの半導体メモリから構成することができる。主記憶デバイス14には、プロセッサ11が実行中のプログラムを格納したり、プロセッサ11がプログラムを実行するためのワークエリアを設けたりすることができる。 The main storage device 14 can be composed of, for example, a semiconductor memory such as SRAM or DRAM. The main storage device 14 can store a program being executed by the processor 11 or provide a work area for the processor 11 to execute the program.

外部記憶デバイス15は、大容量の記憶容量を備える記憶デバイスであり、例えば、ハードディスク装置またはSSD(Solid State Drive)である。外部記憶デバイス15は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。外部記憶デバイス15には、画像処理プログラム15Aを格納することができる。画像処理プログラム15Aは、画像処理装置100にインストール可能なソフトウェアであってもよいし、画像処理装置100にファームウェアとして組み込まれていてもよい。 The external storage device 15 is a storage device having a large storage capacity, and is, for example, a hard disk device or an SSD (Solid State Drive). The external storage device 15 can hold an executable file of various programs and data used for executing the program. The image processing program 15A can be stored in the external storage device 15. The image processing program 15A may be software that can be installed in the image processing device 100, or may be incorporated in the image processing device 100 as firmware.

通信制御デバイス12は、外部との通信を制御する機能を備えるハードウェアである。通信制御デバイス12は、通信インタフェース13を介してネットワーク19に接続される。ネットワーク19は、インターネットなどのWAN(Wide Area Network)であってもよいし、WiFiまたはイーサネット(登録商標)などのLAN(Local Area Network)であってもよいし、WANとLANが混在していてもよい。 The communication control device 12 is hardware having a function of controlling communication with the outside. The communication control device 12 is connected to the network 19 via the communication interface 13. The network 19 may be a WAN (Wide Area Network) such as the Internet, a LAN (Local Area Network) such as WiFi or Ethernet (registered trademark), or a mixture of WAN and LAN. May be good.

入出力インタフェース17は、入力装置20から入力されるデータをプロセッサ11が処理可能なデータ形式に変換したり、プロセッサ11から出力されるデータを出力装置21が処理可能なデータ形式に変換したりする。 The input / output interface 17 converts the data input from the input device 20 into a data format that can be processed by the processor 11, and converts the data output from the processor 11 into a data format that can be processed by the output device 21. ..

プロセッサ11が画像処理プログラム15Aを主記憶デバイス14に読み出し、画像処理プログラム15Aを実行することにより、表示画像が撮像された撮像画像の特徴点の位置情報を解析し、撮像画像の特徴点の位置情報に基づいて、撮像画像に含まれない表示画像の撮像位置を推定することができる。このとき、プロセッサ11は、図1の画像入力部101、撮像制御部102、画像解析部103、補間推定部104、画像出力部105および画像変形部106の機能を実現することができる。 The processor 11 reads the image processing program 15A into the main storage device 14, and executes the image processing program 15A to analyze the position information of the feature points of the captured image in which the display image is captured, and to analyze the position information of the feature points of the captured image. Based on the information, the imaging position of the display image not included in the captured image can be estimated. At this time, the processor 11 can realize the functions of the image input unit 101, the image pickup control unit 102, the image analysis unit 103, the interpolation estimation unit 104, the image output unit 105, and the image deformation unit 106 of FIG.

なお、画像処理プログラム15Aの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ11は、ネットワーク19を介してクラウドコンピュータなどに画像処理プログラム15Aの全部または一部の実行を指示し、その実行結果を受け取るようにしてもよい。 The execution of the image processing program 15A may be shared by a plurality of processors or computers. Alternatively, the processor 11 may instruct a cloud computer or the like to execute all or a part of the image processing program 15A via the network 19 and receive the execution result.

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration. Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit.

100 画像処理装置、101 画像入力部、102 撮像制御部、103 画像解析部、104 補間推定部、105 画像出力部、106 画像変形部、107 バス、110 表示装置、120 撮像装置

100 image processing device, 101 image input unit, 102 image control unit, 103 image analysis unit, 104 interpolation estimation unit, 105 image output unit, 106 image deformation unit, 107 bus, 110 display device, 120 image pickup device

Claims (15)

表示画像を撮像させる撮像制御部と、
前記表示画像が撮像された撮像画像の特徴点の位置情報を解析する画像解析部と、
前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する推定部とを備える画像処理装置。
An imaging control unit that captures the displayed image and
An image analysis unit that analyzes the position information of the feature points of the captured image in which the displayed image is captured,
An image processing device including an estimation unit that estimates an imaging position of the display image that is not included in the captured image based on position information of feature points of the captured image.
前記推定部は、前記撮像画像の特徴点の位置情報と、前記表示画像を表示させる表示部の位置情報に基づいて、前記撮像画像に含まれない前記表示部の周縁部の位置を推定する請求項1に記載の画像処理装置。 The estimation unit estimates the position of the peripheral portion of the display unit that is not included in the captured image, based on the position information of the feature points of the captured image and the position information of the display unit that displays the display image. Item 1. The image processing apparatus according to item 1. 前記表示画像は、前記撮像画像に含まれる位置に表示される参照パターンを備え、
前記推定部は、前記参照パターンの撮像結果の特徴点の位置情報と、前記表示画像を表示させる表示部の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する請求項1に記載の画像処理装置。
The display image includes a reference pattern displayed at a position included in the captured image.
The estimation unit estimates the imaging position of the display image that is not included in the captured image, based on the position information of the feature points of the imaging result of the reference pattern and the position information of the display unit that displays the display image. The image processing apparatus according to claim 1.
前記推定部で推定される前記表示画像の撮像位置は、前記表示画像を表示させる表示装置の筐体枠で覆われている請求項3に記載の画像処理装置。 The image processing device according to claim 3, wherein the imaging position of the display image estimated by the estimation unit is covered with a housing frame of the display device for displaying the display image. 前記参照パターンは、前記筐体枠よりも内側に配置された黒枠パターンであり、
前記推定部は、前記表示部に表示された前記黒枠パターンの撮像位置と、前記表示画像を表示させる表示部の周縁部の位置情報に基づいて、前記筐体枠で覆われた前記表示部の周縁部の位置を推定する請求項4に記載の画像処理装置。
The reference pattern is a black frame pattern arranged inside the housing frame.
The estimation unit of the display unit covered with the housing frame is based on the imaging position of the black frame pattern displayed on the display unit and the position information of the peripheral portion of the display unit for displaying the display image. The image processing apparatus according to claim 4, wherein the position of the peripheral portion is estimated.
前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像の画像変形を行う画像変形部をさらに備える請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising an image deformation unit that deforms the image of the captured image based on the position information of the feature points of the captured image. 前記画像変形部は、前記撮像画像の透視変換およびN(Nは2以上の整数)領域分割自由変形を行う請求項6に記載の画像処理装置。 The image processing apparatus according to claim 6, wherein the image deformation unit performs fluoroscopic conversion of the captured image and N (N is an integer of 2 or more) region division free deformation. 前記画像解析部は、表示されたパターン画像の撮像結果の論理積演算に基づいて、前記撮像画像のN領域分割画像を抽出する請求項7に記載の画像処理装置。 The image processing device according to claim 7, wherein the image analysis unit extracts an N-region divided image of the captured image based on a logical product calculation of the captured result of the displayed pattern image. 前記画像解析部は、前記表示画像の撮像される範囲および撮像されない範囲を切り出す請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image analysis unit cuts out a range in which the display image is captured and a range in which the display image is not captured. 前記撮像制御部は、前記撮像画像の階調情報が潰れない撮像条件を設定する請求項1に記載の画像処理装置。 The image processing device according to claim 1, wherein the image pickup control unit sets an image pickup condition in which the gradation information of the captured image is not crushed. 前記撮像制御部は、2以上の表示画像の撮像条件を固定する請求項10に記載の画像処理装置。 The image processing device according to claim 10, wherein the image pickup control unit fixes the imaging conditions of two or more display images. 前記撮像画像が画像変形された幾何補正後画像に基づいて、撮像されない表示画像の位置情報を推定する請求項6に記載の画像処理装置。 The image processing apparatus according to claim 6, wherein the position information of the display image that is not captured is estimated based on the image after geometric correction in which the captured image is deformed. プロセッサにて実行される画像処理方法であって、
前記プロセッサは、
表示画像が撮像された撮像画像の特徴点の位置情報を解析し、
前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する画像処理方法。
An image processing method executed by a processor
The processor
Analyze the position information of the feature points of the captured image in which the displayed image is captured,
An image processing method for estimating the imaging position of the display image not included in the captured image based on the position information of the feature points of the captured image.
前記撮像画像の特徴点の位置情報と、前記表示画像を表示させる表示部の位置情報に基づいて、前記撮像画像に含まれない前記表示部の周縁部の位置を推定する請求項13に記載の画像処理方法。 The thirteenth aspect of the present invention, wherein the position of the peripheral portion of the display unit, which is not included in the captured image, is estimated based on the position information of the feature points of the captured image and the position information of the display unit for displaying the display image. Image processing method. 前記表示画像の周縁部は、前記表示画像を表示させる表示部の筐体枠で覆われ、
前記表示画像は、前記筐体枠よりも内側に表示される黒枠パターンを備え、
前記プロセッサは、前記表示部に表示された前記黒枠パターンの撮像画像の特徴点の位置情報と、前記表示部の周縁部の位置情報に基づいて、前記筐体枠で覆われた前記表示部の周縁部の位置を推定する請求項14に記載の画像処理方法。

The peripheral portion of the display image is covered with a housing frame of the display unit for displaying the display image.
The display image includes a black frame pattern displayed inside the housing frame.
The processor of the display unit covered with the housing frame based on the position information of the feature points of the captured image of the black frame pattern displayed on the display unit and the position information of the peripheral portion of the display unit. The image processing method according to claim 14, wherein the position of the peripheral portion is estimated.

JP2019058469A 2019-03-26 2019-03-26 Image processing device and image processing method Pending JP2020160221A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019058469A JP2020160221A (en) 2019-03-26 2019-03-26 Image processing device and image processing method
PCT/JP2020/011686 WO2020196091A1 (en) 2019-03-26 2020-03-17 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019058469A JP2020160221A (en) 2019-03-26 2019-03-26 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
JP2020160221A true JP2020160221A (en) 2020-10-01

Family

ID=70166099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019058469A Pending JP2020160221A (en) 2019-03-26 2019-03-26 Image processing device and image processing method

Country Status (2)

Country Link
JP (1) JP2020160221A (en)
WO (1) WO2020196091A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872897B2 (en) * 2011-05-11 2014-10-28 Intel Corporation Camera calibration using an easily produced 3D calibration pattern
WO2016141984A1 (en) * 2015-03-11 2016-09-15 Huawei Technologies Co., Ltd. Image processing device and method for geometric calibration of images
JP2018197824A (en) 2017-05-24 2018-12-13 キヤノン株式会社 Projection device, information processing apparatus, and method for controlling them, and program
JP6805104B2 (en) 2017-09-27 2020-12-23 富士フイルム株式会社 Endoscope holder for cleaning, cleaning device, and cleaning method for endoscopes

Also Published As

Publication number Publication date
WO2020196091A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
TWI637230B (en) Projector system and display image calibration method thereof
US9460337B2 (en) Information processor and information processing method
JP6735592B2 (en) Image processing apparatus, control method thereof, and image processing system
TWI419081B (en) Method and system for providing augmented reality based on marker tracing, and computer program product thereof
US9542755B2 (en) Image processor and image processing method
JPWO2017217411A1 (en) Image processing apparatus, image processing method, and storage medium
JP6115214B2 (en) Pattern processing apparatus, pattern processing method, and pattern processing program
JP2007129709A (en) Method for calibrating imaging device, method for calibrating imaging system including arrangement of imaging devices, and imaging system
JP2014131257A (en) Image correction system, image correction method, and program
JP2012177676A (en) Information processor and method, and program
JP2000357055A (en) Method and device for correcting projection image and machine readable medium
JP6750500B2 (en) Information processing apparatus and recognition support method
CN108074237B (en) Image definition detection method and device, storage medium and electronic equipment
US20110299795A1 (en) Image processing system, image processing method, and image processing program
JP2017092756A (en) Image processing system, image processing method, image projecting system and program
US9766708B2 (en) Locating method, locating device, depth determining method and depth determining device of operating body
JP2011155412A (en) Projection system and distortion correction method in the same
JP2009301181A (en) Image processing apparatus, image processing program, image processing method and electronic device
JP2009302731A (en) Image processing apparatus, image processing program, image processing method, and electronic device
US11830177B2 (en) Image processing apparatus, control method and non-transitory computer-readable recording medium therefor
JP6317611B2 (en) Display display pattern generating apparatus and program thereof
JP5955003B2 (en) Image processing apparatus, image processing method, and program
JP2020160221A (en) Image processing device and image processing method
JP2019106173A (en) Image processing method, image processing apparatus and program
JP2016072691A (en) Image processing system, control method of the same, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190801