JP2022042408A - Information processing device - Google Patents

Information processing device Download PDF

Info

Publication number
JP2022042408A
JP2022042408A JP2020147826A JP2020147826A JP2022042408A JP 2022042408 A JP2022042408 A JP 2022042408A JP 2020147826 A JP2020147826 A JP 2020147826A JP 2020147826 A JP2020147826 A JP 2020147826A JP 2022042408 A JP2022042408 A JP 2022042408A
Authority
JP
Japan
Prior art keywords
image
calibration
focal length
information processing
parameter set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020147826A
Other languages
Japanese (ja)
Inventor
央光 加藤木
Hisamitsu Katogi
岳 古市
Takeshi Furuichi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2020147826A priority Critical patent/JP2022042408A/en
Publication of JP2022042408A publication Critical patent/JP2022042408A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

To provide an information processing device capable of calculating parameters indicative of characteristics of a lens device, for each focal distance.SOLUTION: An information processing device comprises: an input unit which receives a plurality of calibration images captured by an imaging apparatus and a plurality of pieces of information indicative of a focal distance of a lens device used to capture the calibration image; and a calculation unit which calculates parameters indicative of characteristics of the lens device for each piece of information indicative of the focal distance, from the calibration images and the information indicative of the focal distance.SELECTED DRAWING: Figure 1

Description

本開示は、情報処理装置に関する。 The present disclosure relates to an information processing apparatus.

従来より、カメラ等の撮像装置の特性を補正するための技術が提案されている。例えば、三次元データに基づき、指定された姿勢の基準ボード画像（較正用画像）を生成し、ディスプレイに表示させる技術が提案されている（例えば、特許文献１参照）。 Conventionally, techniques for correcting the characteristics of an image pickup device such as a camera have been proposed. For example, a technique has been proposed in which a reference board image (calibration image) of a specified posture is generated based on three-dimensional data and displayed on a display (see, for example, Patent Document 1).

国際公開第２０１０／０１３２８９号International Publication No. 2010/013289

カメラ等の撮像装置を用いて、表示システムによって表示された画像等の調整を行う場合、画像全体を撮像する必要があるが、表示システムの設置場所によっては、カメラ撮影のための距離が十分確保できない等の問題が生じる。カメラ設置場所に制約が発生する場合を想定し、効率の点から、画像全体の撮像にズームレンズが使用される場合がある。 When adjusting the image displayed by the display system using an image pickup device such as a camera, it is necessary to capture the entire image, but depending on the installation location of the display system, a sufficient distance for camera shooting is secured. Problems such as being unable to occur occur. Assuming that there are restrictions on the camera installation location, a zoom lens may be used to capture the entire image from the viewpoint of efficiency.

ズームレンズを使用した撮像装置の特性を補正するためには、代表的な焦点距離毎に特性を事前に求めておき、表示システムの設置場所に応じて設定された焦点距離に対応する特性に基づき、当該特性を補正する必要がある。しかし、複数の焦点距離に対応する特性を求めるためには、較正用画像が印刷されたボードや較正用画像が表示されたディスプレイと、撮像装置との距離を変えて、較正用画像の撮像を繰り返し行う必要があり、効率的ではないという課題がある。 In order to correct the characteristics of an image pickup device that uses a zoom lens, the characteristics are obtained in advance for each typical focal length, and based on the characteristics corresponding to the focal length set according to the installation location of the display system. , It is necessary to correct the characteristic. However, in order to obtain the characteristics corresponding to multiple focal lengths, the calibration image is captured by changing the distance between the image pickup device and the board on which the calibration image is printed or the display on which the calibration image is displayed. There is a problem that it needs to be repeated and is not efficient.

上述した課題に鑑み、本開示は、レンズ装置の特性を示すパラメータを、焦点距離毎に算出することが可能となる情報処理装置を提供すること目的とする。 In view of the above-mentioned problems, it is an object of the present disclosure to provide an information processing apparatus capable of calculating parameters indicating the characteristics of a lens apparatus for each focal length.

上述した課題を解決するために、本開示の情報処理装置は、
撮像装置によって撮像された較正用画像と当該較正用画像の撮像に使用されたレンズ装置の焦点距離を示す情報とを複数入力する入力部と、
前記較正用画像と前記焦点距離を示す情報とから、前記焦点距離を示す情報毎に、前記レンズ装置の特性を示すパラメータを算出する算出部と、を備えたことを特徴とする。 In order to solve the above-mentioned problems, the information processing apparatus of the present disclosure is used.
An input unit for inputting a plurality of calibration images captured by the image pickup device and information indicating the focal length of the lens device used for capturing the calibration images, and an input unit.
It is characterized by including a calculation unit for calculating a parameter indicating the characteristics of the lens device for each information indicating the focal length from the calibration image and the information indicating the focal length.

本開示によれば、レンズ装置の特性を示すパラメータを、焦点距離毎に算出することが可能となる。 According to the present disclosure, it is possible to calculate parameters indicating the characteristics of the lens device for each focal length.

第１実施形態におけるシステムの全体構成を説明するための図である。It is a figure for demonstrating the whole structure of the system in 1st Embodiment. 歪曲収差について説明するための図である。It is a figure for demonstrating distortion. 較正用画像について説明するための図である。It is a figure for demonstrating the image for calibration. 第１実施形態における情報処理装置の機能構成を説明するための図である。It is a figure for demonstrating the functional structure of the information processing apparatus in 1st Embodiment. 第１実施形態における較正用画像を説明するための図である。It is a figure for demonstrating the calibration image in 1st Embodiment. 第１実施形態における情報処理装置のメイン処理の流れを説明するための図である。It is a figure for demonstrating the flow of the main processing of the information processing apparatus in 1st Embodiment. 第１実施形態におけるパラメータセット算出処理を説明するための図である。It is a figure for demonstrating the parameter set calculation process in 1st Embodiment. 第１実施形態における動作例を説明するための図である。It is a figure for demonstrating the operation example in 1st Embodiment. 第１実施形態における動作例を説明するための図である。It is a figure for demonstrating the operation example in 1st Embodiment. 第１実施形態における動作例を説明するための図である。It is a figure for demonstrating the operation example in 1st Embodiment. 第１実施形態における動作例を説明するための図である。It is a figure for demonstrating the operation example in 1st Embodiment. 第１実施形態における動作例を説明するための図である。It is a figure for demonstrating the operation example in 1st Embodiment. 第１実施形態の変形例を説明するための図である。It is a figure for demonstrating the modification of 1st Embodiment. 第１実施形態の変形例における動作例を説明するための図である。It is a figure for demonstrating the operation example in the modification of 1st Embodiment. 第１実施形態の変形例における動作例を説明するための図である。It is a figure for demonstrating the operation example in the modification of 1st Embodiment. 第２実施形態における情報処理装置のメイン処理の流れを説明するための図である。It is a figure for demonstrating the flow of the main processing of the information processing apparatus in 2nd Embodiment. 第２実施形態における動作例を説明するための図である。It is a figure for demonstrating the operation example in 2nd Embodiment. 第２実施形態における動作例を説明するための図である。It is a figure for demonstrating the operation example in 2nd Embodiment. 第３実施形態におけるパラメータセット算出処理を説明するための図である。It is a figure for demonstrating the parameter set calculation process in 3rd Embodiment. 第３実施形態における動作例を説明するための図である。It is a figure for demonstrating the operation example in 3rd Embodiment. 第３実施形態における動作例を説明するための図である。It is a figure for demonstrating the operation example in 3rd Embodiment. 第３実施形態における動作例を説明するための図である。It is a figure for demonstrating the operation example in 3rd Embodiment.

以下、本開示の実施の形態について、図面を参照して説明する。なお、本実施形態では、一例として、本開示に係る情報処理装置を含むシステムについて説明する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In this embodiment, as an example, a system including an information processing apparatus according to the present disclosure will be described.

［１．第１実施形態］
［１．１ 全体構成］
本実施形態のシステム１の全体構成を、図１に基づいて説明する。図１に示すように、システム１は、表示装置１０と、レンズ装置２５を備えた撮像装置２０と、情報処理装置３０とを含んでいる。情報処理装置３０は、表示装置１０と撮像装置２０と、有線又は無線により接続し、通信可能とする。 [1. First Embodiment]
[1.1 Overall configuration]
The overall configuration of the system 1 of the present embodiment will be described with reference to FIG. As shown in FIG. 1, the system 1 includes a display device 10, an image pickup device 20 provided with a lens device 25, and an information processing device 30. The information processing device 30 is connected to the display device 10 and the image pickup device 20 by wire or wirelessly to enable communication.

表示装置１０は、外部から入力された画像信号に基づく画像を表示する装置である。表示装置１０は、例えば、液晶素子を用いたＬＣＤ（Liquid Crystal Display）、発光素子を用いた有機ＥＬ（Organic Light Emitting Diode）ディスプレイ、電気インク等の素子を含んで構成された装置である。なお、表示装置１０は、壁面や机上に画像を投影可能な投影装置（例えば、プロジェクタ）であってもよい。 The display device 10 is a device that displays an image based on an image signal input from the outside. The display device 10 is a device including, for example, an LCD (Liquid Crystal Display) using a liquid crystal element, an organic EL (Organic Light Emitting Diode) display using a light emitting element, and an element such as electric ink. The display device 10 may be a projection device (for example, a projector) capable of projecting an image on a wall surface or a desk.

撮像装置２０は、レンズ装置２５（光学系）を介して入射した光に基づく画像を撮像するための装置で、例えば、デジタルカメラによって構成される。レンズ装置２５は、１以上のレンズによって構成され、撮像装置２０に外部からの光を入射させるための装置である。レンズ装置２５は、撮像装置２０に装着可能であってもよいし、撮像装置２０と一体に構成されてもよい。また、撮像装置２０は、撮像した画像を画像データとして記憶してもよい。 The image pickup device 20 is a device for capturing an image based on the light incident on the lens device 25 (optical system), and is configured by, for example, a digital camera. The lens device 25 is composed of one or more lenses, and is a device for incident light from the outside on the image pickup device 20. The lens device 25 may be attached to the image pickup device 20 or may be integrally configured with the image pickup device 20. Further, the image pickup apparatus 20 may store the captured image as image data.

情報処理装置３０は、入力された情報に基づき、所定の処理を行う装置である。情報処理装置３０は、例えば、ＰＣ（Personal Computer）や、サーバ装置によって構成される。 The information processing device 30 is a device that performs predetermined processing based on the input information. The information processing device 30 is composed of, for example, a PC (Personal Computer) or a server device.

本実施形態の撮像装置２０は、例えば、複数台のプロジェクタによって投影される画像を結合させて大画面上に１つの画像として表示するシステム等、他のシステムの調整に用いられる。 The image pickup apparatus 20 of the present embodiment is used for adjusting other systems such as a system in which images projected by a plurality of projectors are combined and displayed as one image on a large screen.

例えば、撮像装置２０は、左右に並べたプロジェクタを用いて１つの画像（横２台分×縦１台分の画像）を表示するシステムにおいて、表示する画像の調整に用いる。この場合、プロジェクタは、左側のプロジェクタが投影する画像の右側領域の一部と、右側のプロジェクタが投影する画像の左側領域の一部とが重なるように配置される。そして、プロジェクタが表示する画像の重複領域の表示が重なることで、２つの画像がシームレスな表示になるように、ユーザは、プロジェクタの配置を調整する。 For example, the image pickup apparatus 20 is used for adjusting the image to be displayed in a system that displays one image (images for two horizontal units x one vertical unit) by using projectors arranged side by side. In this case, the projector is arranged so that a part of the right side area of the image projected by the left side projector and a part of the left side part of the image projected by the right side projector overlap. Then, the user adjusts the arrangement of the projectors so that the two images are seamlessly displayed by overlapping the display of the overlapping areas of the images displayed by the projector.

このようなプロジェクタの配置の調整方法は、一般的にエッジブレンディングといわれる。エッジブレンディングを行う場合、ユーザは、撮像装置２０を用いて、プロジェクタによって投影された画像全体を撮影（撮像）する。つづいて、ユーザは、エッジブレンディングを行うための装置（例えば、情報処理装置３０）に対して、撮像装置２０によって撮影された画像（画像データ）を入力する。情報処理装置３０は、特徴点の抽出及び幾何学補正を実行し、重複領域を補正することにより所定の調整方法を実行する。ここで、撮像装置２０によって撮像された画像にはレンズ装置２５の特性が表れてしまう。そのため、レンズ装置２５の特性を考慮して補正した画像（レンズの特性が除去された画像）に基づき、エッジブレンディングが行われることが望ましい。 Such a method of adjusting the arrangement of the projector is generally called edge blending. When performing edge blending, the user uses the image pickup device 20 to capture (image) the entire image projected by the projector. Subsequently, the user inputs an image (image data) taken by the image pickup device 20 to the device for performing edge blending (for example, the information processing device 30). The information processing apparatus 30 executes a predetermined adjustment method by extracting feature points and performing geometric correction and correcting overlapping regions. Here, the characteristics of the lens device 25 appear in the image captured by the image pickup device 20. Therefore, it is desirable that edge blending is performed based on an image corrected in consideration of the characteristics of the lens device 25 (an image from which the characteristics of the lens are removed).

本実施形態におけるレンズ装置２５の特性は、レンズ装置２５の性質に基づく画像の画質を低下する要因をいう。画質を低下する要因は、例えば、歪曲収差（樽型収差、糸巻型収差）、色収差、周辺輝度低下（周辺減光）等である。これらの特性は、使用するレンズ装置２５によって異なる。本実施形態では、情報処理装置３０は、撮像装置２０によって撮像された画像に基づき、レンズ装置２５の特性のうち、レンズの収差によって画像が歪む特性である歪曲収差の特性を示す歪み係数を算出する。 The characteristic of the lens device 25 in the present embodiment refers to a factor that deteriorates the image quality of the image based on the property of the lens device 25. Factors that deteriorate the image quality are, for example, distortion (barrel-shaped aberration, pincushion-shaped aberration), chromatic aberration, and limb darkening (limb darkening). These characteristics differ depending on the lens device 25 used. In the present embodiment, the information processing device 30 calculates a distortion coefficient indicating the characteristic of distortion, which is a characteristic of the image being distorted by the aberration of the lens, among the characteristics of the lens device 25, based on the image captured by the image pickup device 20. do.

一般的に、物体を広角レンズで撮像した場合、レンズ装置２５のレンズ歪みの特性により、撮像装置２０によって撮像された画像の四隅には、引っ張られたような歪みが生じる。具体的には、図２（ａ）に示すような糸巻型歪曲や、図２（ｂ）に示すような樽型歪曲が生じる。広角レンズや、ズームレンズの広角側を使用して物体を撮像した場合、樽型歪曲が起こりやすく、望遠レンズや、ズームレンズの望遠側を使用して物体を撮像した場合、糸巻側歪曲が起こりやすい。 Generally, when an object is imaged with a wide-angle lens, the four corners of the image captured by the image pickup device 20 are distorted as if they were pulled due to the characteristics of the lens distortion of the lens device 25. Specifically, pincushion-shaped distortion as shown in FIG. 2 (a) and barrel-shaped distortion as shown in FIG. 2 (b) occur. When an object is imaged using a wide-angle lens or the wide-angle side of a zoom lens, barrel-shaped distortion is likely to occur, and when an object is imaged using a telephoto lens or the telephoto side of a zoom lens, thread winding side distortion occurs. Cheap.

撮像装置２０を用いてエッジブレンディング等の他のシステムの調整を行う場合、撮像装置２０によって撮像された画像を、歪み係数を用いて補正することで、レンズ装置２５のレンズの歪みの影響を解消した画像に基づく調整が可能となる。 When adjusting other systems such as edge blending using the image pickup device 20, the influence of the distortion of the lens of the lens device 25 is eliminated by correcting the image captured by the image pickup device 20 by using the distortion coefficient. It is possible to make adjustments based on the image.

レンズ装置２５の歪みを補正する手法として、例えば、Zhangの手法を用いることができる。 As a method for correcting the distortion of the lens device 25, for example, Zhang's method can be used.

本実施形態では、Zhangの手法に基づき、情報処理装置３０によって、レンズ装置２５の特性を示す歪み係数（レンズ歪み補正パラメータセット）と、撮像装置２０自体の特性を示す係数（内部パラメータセット）とを算出することとして説明する。 In this embodiment, based on Zhang's method, the information processing device 30 has a distortion coefficient (lens distortion correction parameter set) indicating the characteristics of the lens device 25 and a coefficient (internal parameter set) indicating the characteristics of the image pickup device 20 itself. Will be described as calculating.

内部パラメータセットは、以下のパラメータを含む。
・ｆｘ：画像平面上のｘ軸方向の焦点距離
・ｆｙ：画像平面上のｙ軸方向の焦点距離
・Ｃｘ：画像内におけるレンズの中心(ｘ方向)
・Ｃｙ：画像内におけるレンズの中心(ｙ方向) The internal parameter set contains the following parameters.
・ F x : Focal length in the x-axis direction on the image plane ・ f y : Focal length in the y-axis direction on the image plane ・ C x : Center of the lens in the image (x direction)
・ Cy: Center of lens ( y direction) in the image

レンズ歪み補正パラメータセットは、以下のパラメータを含む。
・ｋ１，ｋ２，ｋ３：半径方向歪み
・ｐ１，ｐ２：円周方向歪み The lens distortion correction parameter set includes the following parameters.
・ K 1 , k 2 , k 3 : Radial distortion ・ p 1 , p 2 : Circumferential distortion

本実施形態では、内部パラメータセット及びレンズ歪み補正パラメータセットを、パラメータセットという。すなわち、パラメータセットとは、レンズ装置２５の歪曲収差の特性を示すパラメータと撮像装置２０の特定を示すパラメータとの組である。 In the present embodiment, the internal parameter set and the lens distortion correction parameter set are referred to as parameter sets. That is, the parameter set is a set of a parameter indicating the characteristics of the distortion aberration of the lens device 25 and a parameter indicating the specification of the image pickup device 20.

具体的には、情報処理装置３０は、撮像装置２０が撮像されたチェッカーボードを示すパターン（一般的にチェッカーボードパターンと呼ばれる）等の較正用画像から座標（チェッカーボードパターンであればチェッカーボードのコーナーの座標）を検出する。つづいて、情報処理装置３０は、２次元ワールド（撮像装置２０によって撮像された画像）から検出した座標と、３次元ワールドにおける点の座標と対応付けることで、３次元ワールド座標系から２次元ワールド座標系への変換係数（パラメータセット）を算出する。この変換係数に基づき、情報処理装置３０は、レンズ歪みを補正するために用いられる係数（補正パラメータ）を推定する。 Specifically, the information processing device 30 has coordinates (in the case of a checkerboard pattern, a checkerboard pattern) from a calibration image such as a pattern (generally called a checkerboard pattern) indicating a checkerboard imaged by the image pickup device 20. Corner coordinates) are detected. Subsequently, the information processing device 30 associates the coordinates detected from the two-dimensional world (the image captured by the image pickup device 20) with the coordinates of the points in the three-dimensional world, so that the two-dimensional world coordinates can be obtained from the three-dimensional world coordinate system. Calculate the conversion coefficient (parameter set) to the system. Based on this conversion coefficient, the information processing apparatus 30 estimates a coefficient (correction parameter) used to correct the lens distortion.

較正用画像は、較正用画像を撮像した画像に基づいて、情報処理装置３０が較正用画像に表れた模様（パターン）から座標を検出できる画像であればよい。例えば、較正用画像は、異なる２色（例えば、白と黒）の矩形を交互に配したチェッカーボードパターンであってもよいし、所定の大きさの円を格子状に配置したサークルグリッドパターンであってもよい。 The calibration image may be an image in which the information processing apparatus 30 can detect coordinates from a pattern appearing in the calibration image based on the image obtained by capturing the calibration image. For example, the calibration image may be a checkerboard pattern in which rectangles of two different colors (for example, white and black) are alternately arranged, or a circle grid pattern in which circles of a predetermined size are arranged in a grid pattern. There may be.

なお、本実施形態では、チェッカーボードパターンを用いて、パラメータセットに含まれるパラメータを算出する。パラメータセットを算出するために用いられる、基準となるチェッカーボードパターンは、例えば、図３（ａ）に示すような、横方向に１４マス、縦方向に１０マスで構成される矩形状のマス目の背景色を、交互に白又は黒にした画像である。チェッカーボードパターンに含まれるマス目の数や配置は、予め定められている。 In this embodiment, the checkerboard pattern is used to calculate the parameters included in the parameter set. The reference checkerboard pattern used to calculate the parameter set is, for example, a rectangular grid composed of 14 squares in the horizontal direction and 10 squares in the vertical direction, as shown in FIG. 3A. It is an image in which the background color of is alternately white or black. The number and arrangement of squares included in the checkerboard pattern are predetermined.

撮像装置２０は、チェッカーボードパターンを撮像する。なお、図３（ａ）は、パラメータセットを算出する前の画像であり、撮像したチェッカーボードパターンの画像には歪み（樽型歪曲）が生じている。 The image pickup device 20 takes an image of the checkerboard pattern. Note that FIG. 3A is an image before the parameter set is calculated, and the image of the captured checkerboard pattern is distorted (barrel-shaped distortion).

図３（ｂ）は、図３（ａ）において示した撮影したチェッカーボードパターンのうち、交点が含まれる領域Ｅ１００を示した図である。交点とは、２つの黒い背景のマス目と２つの白い背景のマス目との４つのマス目が隣接している場所（マス目同士が交差する場所）である。領域Ｅ１００には、横方向に１３箇所、縦方向に９箇所の交点があり、合計１１７箇所の交点が含まれる。また、図３（ｃ）は、領域Ｅ１００の一部を拡大した図であり、領域Ｐ１００は、１の交点を含む領域である。 FIG. 3B is a diagram showing a region E100 including an intersection among the photographed checkerboard patterns shown in FIG. 3A. The intersection is a place where the four squares of the two black background squares and the two white background squares are adjacent to each other (the place where the squares intersect each other). The region E100 has 13 intersections in the horizontal direction and 9 intersections in the vertical direction, and includes 117 intersections in total. Further, FIG. 3C is an enlarged view of a part of the region E100, and the region P100 is a region including the intersection of 1.

情報処理装置３０は、撮像装置２０が撮像した画像から、２次元ワールドにおける座標平面上の交点の座標を読み出す。例えば、情報処理装置３０は、図３（ａ）に示したチェッカーボードパターンを撮像した画像から、１１７箇所の交点の座標を読み出す。 The information processing device 30 reads out the coordinates of the intersections on the coordinate plane in the two-dimensional world from the image captured by the image pickup device 20. For example, the information processing apparatus 30 reads out the coordinates of 117 intersections from the image obtained by capturing the checkerboard pattern shown in FIG. 3A.

さらに、情報処理装置３０は、１１７箇所の交点それぞれに対して、読み出した座標と、上から何番目左から何番目の交点であるかといった位置関係と対応付けて、座標と位置関係とのから、公知の手法で、パラメータセットを算出する。 Further, the information processing apparatus 30 associates the read coordinates with the positional relationship such as the number of the intersection from the left to the number of the intersection, and obtains the coordinates and the positional relationship with respect to each of the 117 intersections. , Calculate the parameter set by a known method.

図３（ｄ）は、パラメータセットを用いて図３（ａ）に示したチェッカーボードパターンの補正前の画像を補正した後の画像である。図３（ｄ）に示した補正後の画像は、図３（ａ）に示した補正前の画像と比べて、樽型歪曲が補正されている。なお、画像の補正は、撮像装置２０によって撮像された画像とパラメータセットを用いて情報処理装置３０が行ってもよいし、情報処理装置３０が出力したパラメータセットを受信した他の装置が行ってもよい。 FIG. 3D is an image after correcting the image before correction of the checkerboard pattern shown in FIG. 3A using the parameter set. The corrected image shown in FIG. 3 (d) has barrel-shaped distortion corrected as compared with the image before correction shown in FIG. 3 (a). The image correction may be performed by the information processing device 30 using the image captured by the image pickup device 20 and the parameter set, or by another device that has received the parameter set output by the information processing device 30. May be good.

なお、Zhangの手法では、レンズ装置２５の焦点距離を固定した上で、チェッカーボードパターンが印刷されたチェッカーボードを傾け、複数の方向に向けられたチェッカーボードを撮影した画像に基づいてパラメータを算出する。つまり、１の焦点距離に対するパラメータセットを求める場合、複数の角度から撮像されたチェッカーボードの画像が必要となる。 In Zhang's method, after fixing the focal length of the lens device 25, the checkerboard on which the checkerboard pattern is printed is tilted, and the parameters are calculated based on the images of the checkerboards oriented in multiple directions. do. That is, when obtaining a parameter set for one focal length, a checkerboard image captured from a plurality of angles is required.

［１．２ 機能構成］
図４を参照して、本実施形態における情報処理装置３０の機能構成を説明する。図４に示すように、情報処理装置３０は、制御部３００、画像出力部３１０、画像入力部３２０、操作部３３０、通信部３４０、記憶部３５０を備えて構成される。 [1.2 Function configuration]
The functional configuration of the information processing apparatus 30 in the present embodiment will be described with reference to FIG. As shown in FIG. 4, the information processing apparatus 30 includes a control unit 300, an image output unit 310, an image input unit 320, an operation unit 330, a communication unit 340, and a storage unit 350.

制御部３００は、情報処理装置３０の全体を制御するための機能部である。制御部３００は、記憶部３５０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit））により構成されている。 The control unit 300 is a functional unit for controlling the entire information processing apparatus 30. The control unit 300 realizes various functions by reading and executing various programs stored in the storage unit 350, and is configured by one or a plurality of arithmetic units (for example, a CPU (Central Processing Unit)). There is.

画像出力部３１０は、外部の表示装置（例えば、表示装置１０）に、所定の画像を表示させるための信号（画像信号）を出力する。画像出力部３１０は、例えば、端子として構成され、ＨＤＭＩ（登録商標）や、ディスプレイポート、ＵＳＢ（Universal Serial Bus） ＴｙｐｅＣ等の何れかの方式で、外部の表示装置と接続される。 The image output unit 310 outputs a signal (image signal) for displaying a predetermined image to an external display device (for example, the display device 10). The image output unit 310 is configured as a terminal, for example, and is connected to an external display device by any method such as HDMI (registered trademark), a display port, and USB (Universal Serial Bus) Type C.

画像入力部３２０は、外部の装置（例えば、撮像装置２０）から画像データを入力する。画像入力部３２０は、例えば、他の装置と接続（通信）を行うための端子として構成され、ＵＳＢ等の方式で、外部の装置と接続される。なお、画像入力部３２０は、ＵＳＢ（Universal Serial Bus）メモリや、ＳＤカード等の記憶媒体から画像データを入力してもよい。 The image input unit 320 inputs image data from an external device (for example, an image pickup device 20). The image input unit 320 is configured as a terminal for connecting (communication) with another device, for example, and is connected to an external device by a method such as USB. The image input unit 320 may input image data from a USB (Universal Serial Bus) memory or a storage medium such as an SD card.

操作部３３０は、ユーザからの操作入力を受け付ける。例えば、操作部３３０は、キーボード、マウス等といった入力装置によって構成される。また、操作部３３０は、ＬＣＤや有機ＥＬパネル等の表示機器の上に重ねて設けられるタッチパネルによって構成されてもよい。タッチパネルによるタッチの検出は、静電誘導方式であったり、感圧方式であったり、公知の技術によって実現する。 The operation unit 330 receives an operation input from the user. For example, the operation unit 330 is composed of an input device such as a keyboard and a mouse. Further, the operation unit 330 may be configured by a touch panel provided on the display device such as an LCD or an organic EL panel. Touch detection by the touch panel is realized by a known technique such as an electrostatic induction method or a pressure sensitive method.

通信部３４０は、外部の装置と接続し、接続先の装置との通信を行う。通信部３４０は、例えば、ＬＡＮ（Local Area Network）やインターネット等の通信ネットワークに接続可能であり、有線／無線ＬＡＮで利用されるＮＩＣ（Network Interface Card）によって構成される。なお、通信部３４０は、ＵＳＢの端子等、外部の装置と接続可能なインタフェースであってもよい。 The communication unit 340 connects to an external device and communicates with the connected device. The communication unit 340 can be connected to a communication network such as a LAN (Local Area Network) or the Internet, and is composed of a NIC (Network Interface Card) used in a wired / wireless LAN. The communication unit 340 may be an interface that can be connected to an external device such as a USB terminal.

記憶部３５０は、画像データ等の各種データや各種プログラムを記憶する。例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等の記憶装置によって構成される。 The storage unit 350 stores various data such as image data and various programs. For example, it is composed of a storage device such as an SSD (Solid State Drive) which is a semiconductor memory and an HDD (Hard Disk Drive).

記憶部３５０は、記憶領域として、較正用画像データ記憶領域３５２と、入力画像データ記憶領域３５４と、パラメータセット記憶領域３５６とが確保される。 The storage unit 350 secures a calibration image data storage area 352, an input image data storage area 354, and a parameter set storage area 356 as storage areas.

較正用画像データ記憶領域３５２は、撮像装置２０が撮像した較正用画像の画像データを記憶する領域である。較正用画像データ記憶領域３５２に記憶される較正用画像は、例えば、図５の（ａ）～（ｆ）によって示されるように、同一のチェッカーボードパターンの画像を、複数の拡縮率に基づいて拡大又は縮小させた画像である。 The calibration image data storage area 352 is an area for storing image data of the calibration image captured by the image pickup apparatus 20. The calibration image stored in the calibration image data storage area 352 is, for example, an image of the same checkerboard pattern based on a plurality of scaling factors, as shown by FIGS. 5A to 5F. It is an enlarged or reduced image.

入力画像データ記憶領域３５４は、画像入力部３２０を介して入力された画像データを記憶する領域である。パラメータセット記憶領域３５６は、レンズ装置２５の焦点距離毎に、焦点距離に対応するパラメータセットを記憶する領域である。 The input image data storage area 354 is an area for storing image data input via the image input unit 320. The parameter set storage area 356 is an area for storing the parameter set corresponding to the focal length for each focal length of the lens device 25.

制御部３００は、プログラムを実行することにより、較正用画像表示制御部３０２として機能する。較正用画像表示制御部３０２は、較正用画像データ記憶領域３５２に記憶された較正用画像を、画像出力部３１０を介して、外部の表示装置（例えば、表示装置１０）に表示させる。較正用画像表示制御部３０２は、例えば、操作部３３０を介してユーザによって選択された較正用画像を表示する制御を行う。 The control unit 300 functions as a calibration image display control unit 302 by executing a program. The calibration image display control unit 302 causes an external display device (for example, a display device 10) to display the calibration image stored in the calibration image data storage area 352 via the image output unit 310. The calibration image display control unit 302 controls to display the calibration image selected by the user via, for example, the operation unit 330.

なお、較正用画像表示制御部３０２は、表示装置１０と撮像装置２０との距離と、レンズ装置２５の焦点距離と、表示装置１０の表示可能領域の情報（例えば、表示可能領域の実際のサイズ、ピクセル数、解像度）との情報の入力を受け付け、適切な較正用画像を選択し、外部の表示装置に表示する制御を行ってもよい。なお、表示装置１０の表示可能領域の情報は、予め記憶部３５０に記憶されてもよい。また、較正用画像表示制御部３０２は、レンズ装置２５の焦点距離の情報の入力を受け付ける代わりに、レンズ装置２５や撮像装置２０の情報（例えば、型番やモデル名等）の入力を受け付け、レンズ装置２５の焦点距離を取得してもよい。このようにすることで、較正用画像表示制御部３０２は、較正用画像の撮像環境に応じて、適切な較正用画像を表示する制御を行うことができる。 The calibration image display control unit 302 includes information on the distance between the display device 10 and the image pickup device 20, the focal length of the lens device 25, and the displayable area of the display device 10 (for example, the actual size of the displayable area). , Pixel number, resolution), select an appropriate calibration image, and control the display on an external display device. Information on the displayable area of the display device 10 may be stored in the storage unit 350 in advance. Further, the calibration image display control unit 302 receives the input of the information of the lens device 25 and the image pickup device 20 (for example, the model number, the model name, etc.) instead of receiving the input of the focal length information of the lens device 25, and the lens. The focal length of the device 25 may be acquired. By doing so, the calibration image display control unit 302 can control to display an appropriate calibration image according to the imaging environment of the calibration image.

本実施形態では、表示装置１０と撮像装置２０との距離とは、撮像装置２０と表示装置１０とが正対されたときに、表示装置１０の表示可能領域の中心位置から表示装置１０と垂直を成す直線をレンズ装置２５に伸ばした場合における直線の距離をいう。具体的には、図１０のＬに示すように、撮像装置２０と正対させた表示装置１０の表示可能領域の中心位置から、表示装置１０と垂直を成す直線をレンズ装置２５の中心位置を通るように伸ばした場合における、表示装置１０とレンズ装置２５の中心との間の距離である。本実施形態では、表示装置１０と撮像装置２０との距離Ｌを、基準位置合わせ距離という。 In the present embodiment, the distance between the display device 10 and the image pickup device 20 is perpendicular to the display device 10 from the center position of the displayable area of the display device 10 when the image pickup device 20 and the display device 10 are faced to each other. Refers to the distance of the straight line when the straight line forming the above is extended to the lens device 25. Specifically, as shown in L of FIG. 10, the center position of the lens device 25 is a straight line perpendicular to the display device 10 from the center position of the displayable area of the display device 10 facing the image pickup device 20. It is the distance between the display device 10 and the center of the lens device 25 when it is extended so as to pass through. In the present embodiment, the distance L between the display device 10 and the image pickup device 20 is referred to as a reference alignment distance.

なお、較正用画像表示制御部３０２は、１の較正用画像データを拡大・縮小（スケーリング）させることで任意の大きさの較正用画像データを表示させてもよいし、プログラムによって任意の較正用画像データを生成して表示させてもよい。また、較正用画像表示制御部３０２は、白と黒を交互に配置した横方向に２マス×縦方向に２マスの大きさの較正用画像をタイル状に並べた画像を生成して表示させてもよい。 The calibration image display control unit 302 may display the calibration image data of an arbitrary size by enlarging / reducing (scaling) the calibration image data of 1, or may display the calibration image data of an arbitrary size by a program. Image data may be generated and displayed. Further, the calibration image display control unit 302 generates and displays an image in which calibration images having a size of 2 squares in the horizontal direction and 2 squares in the vertical direction are arranged in a tile shape in which white and black are alternately arranged. You may.

［１．３ 処理の流れ］
つづいて、図を参照して、本実施形態における情報処理装置３０におけるメイン処理の流れについて説明する。はじめに、制御部３００は、画像入力部３２０を介して、撮像装置２０や記憶媒体から、撮像装置２０によって撮像された較正用画像の画像データと当該画像データが撮像されたときにおける焦点距離の情報とを入力し、入力画像データ記憶領域３５４に記憶する（ステップＳ１０２）。 [1.3 Processing flow]
Subsequently, with reference to the figure, the flow of the main processing in the information processing apparatus 30 in the present embodiment will be described. First, the control unit 300 sets the image data of the calibration image captured by the image pickup device 20 and the focal length information when the image data is captured from the image pickup device 20 or the storage medium via the image input unit 320. Is input and stored in the input image data storage area 354 (step S102).

ステップＳ１０２において入力及び記憶される画像データは、撮像装置２０によって撮像された画像であって、表示装置１０に表示された較正用画像（チェッカーボードパターン）が写り込んでいる画像の画像データである。 The image data input and stored in step S102 is an image captured by the image pickup device 20, and is image data of an image in which the calibration image (checkerboard pattern) displayed on the display device 10 is reflected. ..

制御部３００（較正用画像表示制御部３０２）は、表示装置１０に較正用画像を表示するために、ユーザから表示装置１０に表示させるチェッカーボードパターンを選択させる操作を受け付けてもよい。この場合、制御部３００は、ユーザによって選択された較正用画像に対応する較正用画像データを較正用画像データ記憶領域３５２から読み出して、画像出力部３１０を介して表示装置１０に出力する。ユーザは、焦点距離に応じたチェッカーボードパターンとして、基準となるチェッカーボードパターンがファインダー等に収まるチェッカーボードパターンを選択する。 The control unit 300 (calibration image display control unit 302) may accept an operation of selecting a checkerboard pattern to be displayed on the display device 10 from the user in order to display the calibration image on the display device 10. In this case, the control unit 300 reads out the calibration image data corresponding to the calibration image selected by the user from the calibration image data storage area 352 and outputs the calibration image data to the display device 10 via the image output unit 310. The user selects a checkerboard pattern in which the reference checkerboard pattern fits in the finder or the like as the checkerboard pattern according to the focal length.

なお、撮像装置２０と情報処理装置３０とが接続されている場合は、制御部３００は、撮像装置２０からレンズ装置２５の焦点距離の情報を受信して、受信した焦点距離に基づく較正用画像を表示装置１０に出力してもよい。 When the image pickup device 20 and the information processing device 30 are connected, the control unit 300 receives information on the focal length of the lens device 25 from the image pickup device 20, and an image for calibration based on the received focal length. May be output to the display device 10.

また、ステップＳ１０２において入力及び記憶される画像データは、ユーザによって１のレンズ装置２５の焦点距離が設定された場合において、複数の方向（角度、姿勢）に向けられた較正用画像を撮像した画像の画像データである。表示装置１０は、複数の方向に向けられた較正用画像を撮像可能とするため、表示装置１０の表示面が、左右方向や上下方向に回転可能であってもよい。これにより、ユーザは、撮像装置２０の位置を固定したまま、表示装置１０の表示面の角度を変えることで、複数の方向に向けられた較正用画像を撮像することができる。 Further, the image data input and stored in step S102 is an image obtained by capturing a calibration image directed in a plurality of directions (angles, postures) when the focal length of one lens device 25 is set by the user. It is the image data of. Since the display device 10 can capture a calibration image directed in a plurality of directions, the display surface of the display device 10 may be rotatable in the left-right direction or the up-down direction. As a result, the user can capture a calibration image directed in a plurality of directions by changing the angle of the display surface of the display device 10 while keeping the position of the image pickup device 20 fixed.

また、ステップＳ１０２において入力及び記憶される画像データは、複数の画像データであってもよく、また、それぞれの画像データに対応する焦点距離は異なっていてもよい。例えば、制御部３００は、レンズ装置２５の焦点距離が１８ｍｍに設定された場合とレンズ装置２５の焦点距離が２２ｍｍに設定された場合とにおいて、それぞれ撮像されたチェッカーボードパターンが写り込んだ画像の画像データを入力してもよい。 Further, the image data input and stored in step S102 may be a plurality of image data, and the focal lengths corresponding to the respective image data may be different. For example, the control unit 300 is an image in which the captured checkerboard pattern is reflected in the case where the focal length of the lens device 25 is set to 18 mm and the case where the focal length of the lens device 25 is set to 22 mm. Image data may be input.

焦点距離の情報は、例えば、画像データにＥｘｉｆ情報として含まれていてもよいし、画像データとは別に取得可能であってもよい。なお、ステップＳ１０２において、制御部３００は、画像データと焦点距離とを対応付けて記憶する。 The focal length information may be included in the image data as Exif information, or may be acquired separately from the image data. In step S102, the control unit 300 stores the image data in association with the focal length.

つづいて、制御部３００は、パラメータセット算出処理を実行する（ステップＳ１０２；Ｙｅｓ→ステップＳ１０４）。パラメータセット算出処理については、図７を参照して説明する。 Subsequently, the control unit 300 executes the parameter set calculation process (step S102; Yes → step S104). The parameter set calculation process will be described with reference to FIG. 7.

はじめに、制御部３００は、入力画像データ記憶領域３５４に記憶されている画像データに対応する焦点距離のうち、１の焦点距離を選択する（ステップＳ１２２）。そして、制御部３００は、当該選択した焦点距離を示す情報と対応する画像データを入力画像データ記憶領域３５４から読み出す（ステップＳ１２４）。このとき、１の焦点距離に対応した画像データであって、複数の方向に向けられた較正用画像（チェッカーボードパターン）が写り込んだ画像の画像データが選択される。 First, the control unit 300 selects one focal length from the focal lengths corresponding to the image data stored in the input image data storage area 354 (step S122). Then, the control unit 300 reads out the image data corresponding to the information indicating the selected focal length from the input image data storage area 354 (step S124). At this time, the image data of the image data corresponding to the focal length of 1 and in which the calibration image (checkerboard pattern) directed in a plurality of directions is reflected is selected.

つづいて、制御部３００は、ステップＳ１２２において読み出した画像データによって示される画像をグレースケールの画像に変換する処理であるＧｒａｙ変換を実行し、さらに、画像全体を二値化する（ステップＳ１２６→ステップＳ１２８）。本実施形態では、撮像装置２０で撮影した画像から、パラメータセットの生成のために、チェッカーボードパターンの交点を求める。ここで、撮像装置２０が高解像度カメラの場合、電子モニターに表示した白黒画面の白パターンにおいて、液晶表示パターンが撮影されてしまうケースがある。そこで、パラメータセット生成用に撮影したチェッカーパターン画像を２値化画像に変換することで、白パターン上におけるテクスチャーを取り除く。二値化する処理として、制御部３００は、例えば、判別分析法（大津の二値化法）、画像に含まれる画素の輝度値（階調値）の平均値を閾値とした単純二値化、モード法等の手法を用いる。 Subsequently, the control unit 300 executes Gray conversion, which is a process of converting the image indicated by the image data read in step S122 into a grayscale image, and further binarizes the entire image (step S126 → step). S128). In the present embodiment, the intersection of the checkerboard patterns is obtained from the image taken by the image pickup apparatus 20 in order to generate the parameter set. Here, when the image pickup apparatus 20 is a high-resolution camera, the liquid crystal display pattern may be photographed in the white pattern of the black-and-white screen displayed on the electronic monitor. Therefore, the texture on the white pattern is removed by converting the checker pattern image taken for parameter set generation into a binarized image. As the binarization process, the control unit 300 uses, for example, a discriminant analysis method (Otsu's binarization method) or a simple binarization method using the average value of the luminance values (gradation values) of the pixels included in the image as a threshold value. , Mode method and other methods are used.

つづいて、制御部３００は、ステップＳ１２８において二値化した画像から、チェッカーボードパターンにおける交点の座標を読み取る（ステップＳ１３０）。このとき、制御部３００は、ステップＳ１３０において読み取った交点の数と、較正用画像データ記憶領域３５２に記憶されている較正用画像（チェッカーボードパターン）に含まれる交点の数とが一致するか否かを判定してもよい。制御部３００は、読み取った交点の数と較正用画像に含まれる交点の数とが一致する場合は、較正用画像が正しく撮像されていることを判定する。一方で、制御部３００は、読み取った交点の数と較正用画像に含まれる交点の数とが一致しない場合は較正用画像が正しく撮像されていないことを判定する。制御部３００は、正しく撮像されていない較正用画像をパラメータセット算出に用いないようにしてもよいし、画像出力部３１０を介して表示装置１０に正しく撮像されていない較正用画像が入力されたことを示すメッセージを表示してもよい。 Subsequently, the control unit 300 reads the coordinates of the intersections in the checkerboard pattern from the binarized image in step S128 (step S130). At this time, the control unit 300 determines whether or not the number of intersections read in step S130 matches the number of intersections included in the calibration image (checkerboard pattern) stored in the calibration image data storage area 352. May be determined. When the number of read intersections and the number of intersections included in the calibration image match, the control unit 300 determines that the calibration image is correctly captured. On the other hand, if the number of read intersections and the number of intersections included in the calibration image do not match, the control unit 300 determines that the calibration image is not correctly captured. The control unit 300 may not use the calibration image that is not correctly captured for the parameter set calculation, or the calibration image that is not correctly captured is input to the display device 10 via the image output unit 310. A message indicating that may be displayed.

つづいて、制御部３００は、ステップＳ１２８において読み取った交点の座標（２次元ワールド座標系の座標）を、較正用画像データ記憶領域３５２に記憶されたチェッカーボードパターンの画像に基づき、３次元ワールド座標系の座標と対応させる。そして、制御部３００は、２次元ワールド座標系の座標と３次元ワールド座標系の座標とを対応付ける変換係数、すなわち、レンズ装置２５の歪曲収差の特性を示すパラメータセットを算出する（ステップＳ１３２）。制御部３００は、ステップＳ１３０において算出したパラメータセットを、ステップＳ１２２において選択した焦点距離と対応付けて、パラメータセット記憶領域３５６に記憶する。 Subsequently, the control unit 300 uses the coordinates of the intersection (coordinates of the two-dimensional world coordinate system) read in step S128 as the three-dimensional world coordinates based on the checkerboard pattern image stored in the calibration image data storage area 352. Correspond to the coordinates of the system. Then, the control unit 300 calculates a conversion coefficient that associates the coordinates of the two-dimensional world coordinate system with the coordinates of the three-dimensional world coordinate system, that is, a parameter set indicating the characteristics of the distortion of the lens device 25 (step S132). The control unit 300 stores the parameter set calculated in step S130 in the parameter set storage area 356 in association with the focal length selected in step S122.

なお、ステップＳ１２４において、複数の画像データを読み出しているため、読み出した画像データの数だけ、制御部３００は、画像データ毎にステップＳ１２６～ステップＳ１３０を実行する。また、制御部３００は、ステップＳ１３２においては、それぞれの画像データから抽出した座標に基づき、パラメータセットを算出する。 Since a plurality of image data are read in step S124, the control unit 300 executes steps S126 to S130 for each image data as many as the number of read image data. Further, in step S132, the control unit 300 calculates a parameter set based on the coordinates extracted from the respective image data.

制御部３００は、入力画像データ記憶領域３５４に記憶されている画像データに対応する焦点距離のうち、未選択の焦点距離があるか否かを判定する（ステップＳ１３４）。未選択の焦点距離がある場合は、制御部３００は、ステップＳ１２２に戻る（ステップＳ１３４；Ｎｏ→ステップＳ１２２）。なお、ステップＳ１２２を再度実行する場合においては、制御部３００は、未選択の焦点距離のうち１の焦点距離を選択する。一方、未選択の焦点距離がない場合は、制御部３００は、パラメータセット算出処理を終了する（ステップＳ１３４；Ｙｅｓ）。 The control unit 300 determines whether or not there is an unselected focal length among the focal lengths corresponding to the image data stored in the input image data storage area 354 (step S134). If there is an unselected focal length, the control unit 300 returns to step S122 (step S134; No → step S122). When the step S122 is executed again, the control unit 300 selects one of the unselected focal lengths. On the other hand, if there is no unselected focal length, the control unit 300 ends the parameter set calculation process (step S134; Yes).

図６に戻り、つづいて、制御部３００は、操作部３３０を介して、パラメータセットを出力する操作がされた場合は、パラメータセットを出力する（ステップＳ１１４；Ｙｅｓ→ステップＳ１１６）。制御部３００は、パラメータセット記憶領域３５６に記憶されているパラメータセットを、通信部３４０を介して、パラメータセットの出力先として指定された装置に出力する。例えば、制御部３００は、エッジブレンディングを実現する装置にパラメータセットを出力する。エッジブレンディングを実現する装置は、プロジェクタによって投影された画像全体の画像を、パラメータセットによって補正し、補正後の画像に基づいて、エッジブレンディングを行う。なお、制御部３００は、パラメータセットを出力する操作において、焦点距離を指定する操作がされていた場合は、当該焦点距離に対応するパラメータセットのみを出力してもよい。 Returning to FIG. 6, the control unit 300 subsequently outputs the parameter set when the operation unit 330 is used to output the parameter set (step S114; Yes → step S116). The control unit 300 outputs the parameter set stored in the parameter set storage area 356 to the device designated as the output destination of the parameter set via the communication unit 340. For example, the control unit 300 outputs a parameter set to a device that realizes edge blending. The device that realizes edge blending corrects the entire image projected by the projector by the parameter set, and performs edge blending based on the corrected image. When the operation for specifying the focal length is performed in the operation for outputting the parameter set, the control unit 300 may output only the parameter set corresponding to the focal length.

［１．４ 動作例］
つづいて、図を参照して本実施形態における動作例を説明する。図８は、表示装置１０と撮像装置２０との距離を固定し、表示装置１０に較正用画像を表示させた状態で表示装置１０と撮像装置２０とを正対させた場合に、レンズ装置２５の焦点距離を変えたときに、撮像装置２０のファインダーに映る画像を示した図である。図８（ａ）は、レンズ装置２５の焦点距離を最も広角側にした場合に撮像装置２０のファインダーに映る画像である。レンズ装置２５の焦点距離が望遠側にされると、図８（ｂ）、図８（ｃ）、図８（ｄ）、図８（ｅ）、図８（ｆ）の順に、画像が拡大してファインダーに映される。なお、撮像装置２０が背面モニターなどの表示機器を備える場合にレンズ装置２５の焦点距離を最も広角側にされたときは、撮像装置２０が備える背面モニターには図８（ａ）に示す画像が表示される。また、レンズ装置２５の焦点距離が望遠側にされることに伴い、撮像装置２０は、背面モニターに、図８（ｂ）、図８（ｃ）、図８（ｄ）、図８（ｅ）、図８（ｆ）の順に、画像を拡大して表示する。 [1.4 Operation example]
Subsequently, an operation example in the present embodiment will be described with reference to the drawings. FIG. 8 shows a lens device 25 when the distance between the display device 10 and the image pickup device 20 is fixed and the display device 10 and the image pickup device 20 face each other in a state where the display device 10 displays a calibration image. It is a figure which showed the image which appears in the finder of the image pickup apparatus 20 when the focal length of is changed. FIG. 8A is an image reflected in the finder of the image pickup apparatus 20 when the focal length of the lens apparatus 25 is set to the widest angle side. When the focal length of the lens device 25 is set to the telephoto side, the image is enlarged in the order of FIGS. 8 (b), 8 (c), 8 (d), 8 (e), and 8 (f). Is reflected in the viewfinder. When the image pickup device 20 is provided with a display device such as a rear monitor and the focal length of the lens device 25 is set to the widest angle side, the image shown in FIG. 8A is displayed on the rear monitor provided with the image pickup device 20. Is displayed. Further, as the focal length of the lens device 25 is set to the telephoto side, the image pickup device 20 is mounted on the rear monitor in FIGS. 8 (b), 8 (c), 8 (d), and 8 (e). , The images are enlarged and displayed in the order of FIG. 8 (f).

図９は、レンズ装置２５の焦点距離が望遠側にされたときにファインダーに映る画像（較正用画像）を示した図である。レンズ装置２５の焦点距離を望遠側にされることで、表示装置１０に表示された較正用画像は、図９（ａ）に示すように拡大して映り、ファインダーＦ１００の表示範囲を超えてしまう。この状態で表示装置１０が撮像された場合、撮像されたチェッカーボードパターンの画像に含まれる交点の数と、表示装置１０に表示されている、基準となるチェッカーボードパターンの画像に含まれる交点の数とが異なってしまう。この結果、２次元ワールド座標系の座標と３次元ワールド座標系の座標との対応付けが正常にできなくなる恐れがある。 FIG. 9 is a diagram showing an image (calibration image) that appears in the finder when the focal length of the lens device 25 is set to the telephoto side. By setting the focal length of the lens device 25 to the telephoto side, the calibration image displayed on the display device 10 is enlarged and displayed as shown in FIG. 9A, and exceeds the display range of the finder F100. .. When the display device 10 is imaged in this state, the number of intersections included in the image of the captured checkerboard pattern and the number of intersections included in the image of the reference checkerboard pattern displayed on the display device 10 It will be different from the number. As a result, there is a risk that the coordinates of the two-dimensional world coordinate system and the coordinates of the three-dimensional world coordinate system cannot be associated normally.

そのため、ユーザは、表示装置１０に表示される較正用画像の全体が撮像装置２０のファインダーに映るように、情報処理装置３０に対して較正用画像を表示させるための操作を行い、表示装置１０に表示される較正用画像を、レンズ装置２５の焦点距離に応じた画像に切り替える。較正用画像が切り替わることにより、例えば、図９（ｂ）に示すように、表示装置１０は、較正用画像全体を、撮像装置２０のファインダーＦ１０２に映す。 Therefore, the user performs an operation for displaying the calibration image on the information processing device 30 so that the entire calibration image displayed on the display device 10 is displayed on the finder of the image pickup device 20, and the display device 10 is used. The calibration image displayed in is switched to an image corresponding to the focal length of the lens device 25. By switching the calibration image, for example, as shown in FIG. 9B, the display device 10 projects the entire calibration image on the finder F102 of the image pickup device 20.

つづいて、図１０を参照して、本実施形態によるパラメータ算出手順について説明する。はじめに、ユーザは、三脚等を使用して、撮像装置２０を表示装置１０に対して正対するように固定する。例えば、ユーザは、表示装置１０の表示可能領域の中心位置から、表示装置１０と垂直を成す直線をレンズ装置２５に伸ばした場合、当該直線がレンズ装置２５の中心位置を通るように、表示装置１０と撮像装置２０とを配置する。 Subsequently, the parameter calculation procedure according to the present embodiment will be described with reference to FIG. First, the user uses a tripod or the like to fix the image pickup device 20 so as to face the display device 10. For example, when the user extends a straight line perpendicular to the display device 10 from the center position of the displayable area of the display device 10 to the lens device 25, the display device so that the straight line passes through the center position of the lens device 25. 10 and the image pickup device 20 are arranged.

つづいて、ユーザは、レンズ装置２５の焦点距離を広角側（例えば、１８ｍｍ）に設定する。また、ユーザは、情報処理装置３０を操作して、表示装置１０に較正用画像を表示させる。このときユーザは、撮像装置２０のファインダーに、較正用画像全体が表示され、かつ、ファインダーの表示可能領域全体に較正用画像が表示されるような較正用画像（全面配置の較正用画像）を表示装置１０に表示させる。例えば、ユーザは、情報処理装置３０を操作して、適切な較正用画像を選択したり、基準位置合わせ距離Ｌとレンズ装置２５の焦点距離を入力したりして、表示装置１０に表示させる。較正用画像がファインダーの全面に配置されることにより、撮像装置２０は、画像の縁に近い部分まで、チェッカーボードパターンが配置された画像を撮像することができる。また、情報処理装置３０は、画像の縁に近い部分に含まれる交点の座標も抽出可能となるため、画像の縁部に近い領域も歪曲収差が実現できるような、精度の高いパラメータを算出することが可能となる。 Subsequently, the user sets the focal length of the lens device 25 to the wide-angle side (for example, 18 mm). Further, the user operates the information processing device 30 to display the calibration image on the display device 10. At this time, the user displays a calibration image (a full-scale calibration image) such that the entire calibration image is displayed on the finder of the image pickup apparatus 20 and the calibration image is displayed on the entire displayable area of the finder. Display on the display device 10. For example, the user operates the information processing device 30 to select an appropriate calibration image, input the reference alignment distance L and the focal length of the lens device 25, and display the information on the display device 10. By arranging the calibration image on the entire surface of the finder, the image pickup apparatus 20 can capture an image in which the checkerboard pattern is arranged up to a portion close to the edge of the image. Further, since the information processing apparatus 30 can also extract the coordinates of the intersections included in the portion close to the edge of the image, the information processing apparatus 30 calculates a highly accurate parameter so that distortion can be realized even in the region near the edge of the image. It becomes possible.

つづいて、ユーザは、表示装置１０の正面が撮像装置２０と正対する角度である図１０の（１）の角度に表示装置１０を回転させ、正面からの較正用画像を撮像する。つづいて、ユーザは、表示装置１０を（２）の左斜、（３）の右斜、（４）の上斜め、（５）の下斜めに向け、それぞれ較正用画像を撮像する。なお、（２）及び（３）に示す方向が、表示装置１０の表示面が左右方向に回転された場合の方向であり、（４）及び（５）に示す方向が、表示装置１０の表示面が左右方向に回転された場合の方向である。 Subsequently, the user rotates the display device 10 at the angle (1) of FIG. 10, which is the angle at which the front surface of the display device 10 faces the image pickup device 20, and captures a calibration image from the front surface. Subsequently, the user turns the display device 10 diagonally to the left of (2), diagonally to the right of (3), diagonally upward of (4), and diagonally downward of (5), and captures calibration images, respectively. The directions shown in (2) and (3) are the directions when the display surface of the display device 10 is rotated in the left-right direction, and the directions shown in (4) and (5) are the display of the display device 10. This is the direction when the surface is rotated in the left-right direction.

このとき、撮像装置２０は、焦点距離の情報とともに、画像データを記憶する。このように、同じ焦点距離に対して、様々な角度（姿勢）に向いた較正用画像の画像データを撮像し、情報処理装置３０に入力されることで、情報処理装置３０は、パラメータセット算出処理において、算出するパラメータセットの精度を高めることができる。 At this time, the image pickup apparatus 20 stores image data together with the focal length information. In this way, the information processing apparatus 30 calculates the parameter set by capturing the image data of the calibration image oriented at various angles (attitudes) with respect to the same focal length and inputting the image data to the information processing apparatus 30. In the process, the accuracy of the calculated parameter set can be improved.

つづいて、ユーザは、レンズ装置２５の焦点距離を望遠側（例えば、２４ｍｍ）に変更し、撮像装置２０のファインダーに較正用画像全体が表示され、かつ、ファインダーの表示可能領域全体に較正用画像が表示されるような較正用画像を選択し、表示を切り替える。ユーザは、その後同様にして、表示装置１０を、正面、左斜、右斜、上斜め、下斜めに向けることで、それぞれの方向の較正用画像を撮像する。 Subsequently, the user changes the focal length of the lens device 25 to the telephoto side (for example, 24 mm), the entire calibration image is displayed in the finder of the image pickup device 20, and the calibration image is displayed in the entire displayable area of the finder. Select the calibration image so that is displayed, and switch the display. Then, in the same manner, the user points the display device 10 to the front, the left oblique, the right oblique, the upward oblique, and the downward oblique to capture the calibration image in each direction.

ユーザは、レンズ装置２５の焦点距離を変える度に、表示装置１０に表示させる較正用画像を選択し、表示装置１０を複数の方向に向けた上で、較正用画像を撮像する。例えば、ユーザは、焦点距離を、レンズ装置２５における代表焦点距離（例えば、１８、２２、２６、３０、３４、３８、４２、４６、５０ｍｍの１０箇所）に変えて、代表焦点距離ごとに、較正用画像を撮像する。 Each time the focal length of the lens device 25 is changed, the user selects a calibration image to be displayed on the display device 10, points the display device 10 in a plurality of directions, and then captures the calibration image. For example, the user changes the focal length to the representative focal length in the lens device 25 (for example, 10 points of 18, 22, 26, 30, 34, 38, 42, 46, 50 mm), and for each representative focal length, Take a calibration image.

ユーザは、撮像した較正用画像を情報処理装置３０に入力し、パラメータセットを算出させる。ユーザは、実使用において、レンズ装置２５のレンズ歪みの補正を適用する際に、実使用において設定した焦点距離に応じたパラメータセットを情報処理装置３０から取得し、取得したパラメータ及び実使用において撮像装置２０によって撮像した画像を補正する。このようにして、ユーザは、歪みを補正した画像を得ることができ、当該歪みを補正した画像を用いて、他のシステムの調整を行うことができる。 The user inputs the captured calibration image to the information processing apparatus 30, and has the user calculate the parameter set. When applying the lens distortion correction of the lens device 25 in actual use, the user acquires a parameter set corresponding to the focal length set in actual use from the information processing apparatus 30, and captures the acquired parameters and images in actual use. The image captured by the device 20 is corrected. In this way, the user can obtain a distortion-corrected image, and can use the distortion-corrected image to make adjustments to other systems.

図１１は、撮像装置２０によって撮像される較正用画像の例を示した図である。図１１（ａ）は、撮像装置２０が、表示装置１０を正面に正対させた状態で表示装置１０を撮像したときの較正用画像である。同様にして、図１１（ｂ）は、表示装置１０を左斜にしたときに撮像装置２０が撮像した較正用画像であり、図１１（ｃ）は表示装置１０を右斜に、図１１（ｄ）は表示装置１０を上斜めに、図１１（ｅ）は表示装置１０を下斜めにしたときの較正用画像である。 FIG. 11 is a diagram showing an example of a calibration image captured by the image pickup apparatus 20. FIG. 11A is a calibration image when the image pickup device 20 takes an image of the display device 10 with the display device 10 facing the front. Similarly, FIG. 11 (b) is a calibration image taken by the image pickup device 20 when the display device 10 is tilted to the left, and FIG. 11 (c) shows the display device 10 tilted to the right and FIG. 11 (c). d) is an image for calibration when the display device 10 is slanted upward, and FIG. 11 (e) is an image for calibration when the display device 10 is slanted downward.

図１２は、レンズ装置２５による歪みを補正する前後の画像を示した図である。図１２（ａ）に示す画像は、レンズ装置２５による歪みを補正する前の画像であり、図１２（ｂ）は、レンズ装置２５による歪みを補正した後の画像である。図１２（ａ）に示した画像に比べて、図１２（ｂ）に示した画像は、樽型歪曲が補正されている。 FIG. 12 is a diagram showing images before and after correcting the distortion caused by the lens device 25. The image shown in FIG. 12A is an image before the distortion caused by the lens device 25 is corrected, and FIG. 12B is an image after the distortion caused by the lens device 25 is corrected. Compared to the image shown in FIG. 12 (a), the image shown in FIG. 12 (b) is corrected for barrel distortion.

［１．５ 第１実施形態の変形例］
複数の撮像装置２０があるとき、撮像装置２０によって、撮像される画像の縦横比（画角）が異なる場合がある。例えば、一般的な一眼レフカメラによって撮像される画像の縦横比（Ｗ／Ｈ）が１．５であるのに対し、Ｗｅｂカメラによって撮像される画像の縦横比（Ｗ／Ｈ）が１．７７である場合がある。この場合、一眼レフカメラに比べてＷｅｂカメラの方が、撮像される画像の画角（アスペクト比）が横に長いこととなる。 [1.5 Modification of First Embodiment]
When there are a plurality of image pickup devices 20, the aspect ratio (angle of view) of the image to be captured may differ depending on the image pickup device 20. For example, the aspect ratio (W / H) of an image captured by a general single-lens reflex camera is 1.5, while the aspect ratio (W / H) of an image captured by a Web camera is 1.77. May be. In this case, the angle of view (aspect ratio) of the image to be captured is horizontally longer in the Web camera than in the single-lens reflex camera.

しかし、一眼レフカメラ用の較正用画像をＷｅｂカメラを用いて撮像された場合、情報処理装置３０は、画像の左右の縁部に近い領域から座標を抽出することができず、画像の歪みを修正するのに不十分なパラメータセットを算出する可能性がある。 However, when a calibration image for a single-lens reflex camera is captured using a Web camera, the information processing apparatus 30 cannot extract coordinates from a region near the left and right edges of the image, resulting in distortion of the image. It is possible to calculate a parameter set that is insufficient to correct.

このような問題を解消するために、較正用画像表示制御部３０２は、撮像装置２０のアスペクト比に応じたチェッカーボードパターンの画像を表示可能なように構成されてもよい。例えば、予め較正用画像データ記憶領域３５２に記憶させておき、較正用画像表示制御部３０２は、ユーザに適切な較正用画像を選択させて、選択された較正用画像を表示する制御を行う。なお、較正用画像表示制御部３０２は、基準位置合わせ距離Ｌとレンズ装置２５の焦点距離の情報と併せてアスペクト比を示す情報を受け付けて、入力されたアスペクト比に応じた較正用画像を表示する制御を行ってもよい。アスペクト比を示す情報は、アスペクト比自体であってもよいし、撮像装置２０の情報（例えば、型番やモデル名）であってもよい。撮像装置２０の情報が入力された場合、較正用画像表示制御部３０２は、入力された情報に基づき、撮像装置２０のアスペクト比を取得する。 In order to solve such a problem, the calibration image display control unit 302 may be configured to be able to display an image of a checkerboard pattern according to the aspect ratio of the image pickup device 20. For example, it is stored in the calibration image data storage area 352 in advance, and the calibration image display control unit 302 controls the user to select an appropriate calibration image and display the selected calibration image. The calibration image display control unit 302 receives information indicating the aspect ratio together with information on the reference alignment distance L and the focal length of the lens device 25, and displays the calibration image according to the input aspect ratio. Control may be performed. The information indicating the aspect ratio may be the aspect ratio itself or the information of the image pickup apparatus 20 (for example, a model number or a model name). When the information of the image pickup apparatus 20 is input, the calibration image display control unit 302 acquires the aspect ratio of the image pickup apparatus 20 based on the input information.

図１３（ａ）は、撮像される画像の縦横比が１．５である撮像装置２０に対応する較正用画像を示す図である。図１３（ａ）は、チェッカーボードパターンの内部に存在する交点の数は３４５箇所（１５×２３）であり、そのうち、外周の交点は７２箇所、四隅の交点は４箇所である。 FIG. 13A is a diagram showing a calibration image corresponding to the image pickup apparatus 20 having an aspect ratio of the image to be captured of 1.5. In FIG. 13A, the number of intersections existing inside the checkerboard pattern is 345 (15 × 23), of which 72 are the outer circumferences and 4 are the four corners.

図１３（ｂ）は、撮像される画像の縦横比が１．７７である撮像装置２０に対応する較正用画像を示す図である。図１３（ｂ）に示したチェッカーボードパターンの画像は、図１３（ａ）に示したチェッカーボードパターンの画像を横方向に拡張した画像（拡張チェッカーボードパターン）である。図１３（ｂ）に示すチェッカーボードパターンの内部に存在する交点の数は４０５箇所（１５×２７）であり、そのうち、外周の交点は８０箇所、四隅の交点は４箇所である。 FIG. 13B is a diagram showing a calibration image corresponding to the image pickup apparatus 20 in which the aspect ratio of the image to be captured is 1.77. The image of the checkerboard pattern shown in FIG. 13B is an image obtained by expanding the image of the checkerboard pattern shown in FIG. 13A in the lateral direction (extended checkerboard pattern). The number of intersections existing inside the checkerboard pattern shown in FIG. 13B is 405 (15 × 27), of which 80 are the outer circumferences and 4 are the four corners.

図１３（ｂ）に示した較正用画像は、図１３（ａ）に示した較正用画像と比べて横長に配置されており、縦横比が１．７７である撮像装置２０によって撮像された場合であっても、撮像された画像の四隅の周辺に、チェッカーボードパターンの四隅の交点が現れる。 The calibration image shown in FIG. 13B is arranged horizontally as compared with the calibration image shown in FIG. 13A, and is captured by the image pickup apparatus 20 having an aspect ratio of 1.77. Even so, the intersections of the four corners of the checkerboard pattern appear around the four corners of the captured image.

図１３（ａ）に示した較正用画像が撮像された場合に比べて、図１３（ｂ）に示した較正用画像が撮像された場合、図７のパラメータセット算出処理のステップＳ１３０において、制御部３００によって、画像データの周辺部における交点の座標情報が抽出される（読み取られる）。したがって、制御部３００は、ステップＳ１３２において、周辺部の座標も３次元ワールド座標系の座標と対応付けることができ、画像の周辺部の歪みを補正することが可能なパラメータセットを生成することが可能となる。 When the calibration image shown in FIG. 13B is captured as compared with the case where the calibration image shown in FIG. 13A is captured, the control is performed in step S130 of the parameter set calculation process of FIG. The unit 300 extracts (reads) the coordinate information of the intersection in the peripheral portion of the image data. Therefore, in step S132, the control unit 300 can associate the coordinates of the peripheral portion with the coordinates of the three-dimensional world coordinate system, and can generate a parameter set capable of correcting the distortion of the peripheral portion of the image. It becomes.

図１４は、図１３（ｂ）に示した較正用画像が、縦横比が１．７７である撮像装置２０によって撮像されたときに撮像された画像を示す図である。 FIG. 14 is a diagram showing an image captured when the calibration image shown in FIG. 13 (b) is captured by the image pickup apparatus 20 having an aspect ratio of 1.77.

図１５（ａ）は、従来の較正用画像（縦横比が１．５である撮像装置２０に対応する較正用画像）を用いて算出したパラメータセットを用いて、図１４に示した画像を補正した場合の画像である。図１５（ａ）の領域Ｅ１１０に示すように、画像を補正しても、四隅が内側にひっぱられている画像となっている。 FIG. 15A corrects the image shown in FIG. 14 using a parameter set calculated using a conventional calibration image (calibration image corresponding to the image pickup apparatus 20 having an aspect ratio of 1.5). It is an image when it is done. As shown in the area E110 of FIG. 15A, even if the image is corrected, the four corners are pulled inward.

図１５（ｂ）は、拡張チェッカーボードパターンを用いて算出したパラメータセットを用いて、図１４に示した画像を補正した場合の画像である。図１５（ｂ）の領域Ｅ１１２に示すように、四隅が内側にひっぱられてはおらず、従来補正より更に精度改善しつつ、四隅が内側に引っ張られるといった課題の解消が実現できている。 FIG. 15B is an image when the image shown in FIG. 14 is corrected by using the parameter set calculated by using the extended checkerboard pattern. As shown in the area E112 of FIG. 15B, the four corners are not pulled inward, and the problem that the four corners are pulled inward can be solved while further improving the accuracy as compared with the conventional correction.

ユーザは、画角のサイズが異なる撮像装置２０を使用する場合、使用される撮像装置２０に応じて、表示装置１０に表示する較正用画像（拡張チェッカーボードパターン）を最適な縦横比の画像に切り替えることで、精度の高いパラメータセットを取得できる。 When the user uses an image pickup device 20 having a different angle of view size, the calibration image (extended checkerboard pattern) displayed on the display device 10 is converted into an image having an optimum aspect ratio according to the image pickup device 20 used. By switching, a highly accurate parameter set can be obtained.

また、上述した実施形態では、レンズ装置２５における１の焦点距離に対して、複数の方向に向けた較正用画像を撮像することとして説明したが、１の方向に向けた較正用画像を撮像してもよい。この場合、制御部３００は、パラメータセット算出処理において、１の焦点距離に対応するパラメータセットを、当該１の焦点距離に対応する画像データから算出する。 Further, in the above-described embodiment, the calibration image oriented in a plurality of directions is captured for one focal length in the lens device 25, but the calibration image directed in one direction is captured. You may. In this case, the control unit 300 calculates the parameter set corresponding to the focal length of 1 from the image data corresponding to the focal length of 1 in the parameter set calculation process.

また、本実施形態では、撮像装置２０と情報処理装置３０とが別体であるとして説明したが、スマートフォンやタブレット装置等一体の装置として構成されてもよい。また、表示装置１０と情報処理装置３０とが別体であるとして説明したが、表示装置１０と情報処理装置３０とが一体となっていてもよい。情報処理装置３０によって実行される一部の処理は、インターネット上（クラウド上）に設置されるサーバ装置によって実現されてもよい。例えば、ユーザが、焦点距離の情報と画像データとをクラウド上の情報処理装置に送信した場合、当該クラウド上の情報処理装置によってパラメータセットが算出され、ユーザに提供されるといったサービスが実現されてもよい。 Further, in the present embodiment, the image pickup device 20 and the information processing device 30 have been described as separate bodies, but they may be configured as an integrated device such as a smartphone or a tablet device. Further, although the display device 10 and the information processing device 30 have been described as separate bodies, the display device 10 and the information processing device 30 may be integrated. A part of the processing executed by the information processing apparatus 30 may be realized by a server apparatus installed on the Internet (on the cloud). For example, when a user transmits focal length information and image data to an information processing device on the cloud, a service is realized in which a parameter set is calculated by the information processing device on the cloud and provided to the user. May be good.

本実施形態では、表示装置と撮像装置との位置関係を保ったまま、撮像装置は焦点距離の設定が可能であり、表示装置には焦点距離に応じた較正用画像が表示されるため、撮像装置を移動させることなく、安定させた状態で較正用画像を撮像することができる。 In the present embodiment, the focal length of the image pickup device can be set while maintaining the positional relationship between the display device and the image pickup device, and the display device displays a calibration image according to the focal length. The calibration image can be taken in a stable state without moving the device.

焦点距離を変えた場合、一般的には、撮像装置を後ろに引くか、表示装置を撮像装置から遠くに離す必要があり、このような動作により、最初に求めた焦点距離の撮影状態と異なる撮影状態となることで、パラメータセット生成時にノイズが生じる懸念があった。しかし、本実施形態によれば、焦点距離に応じた較正用画像を表示装置させ、当該較正用画像を撮像した画像データ及び焦点距離の情報と、基準となった較正用画像とを比較することで、焦点距離に応じたパラメータセットが算出される。そのため、ユーザは、表示装置や撮像装置を移動させる必要がなく、撮像装置におけるカメラ装置の焦点距離を設定・変更するだけで容易に複数の焦点距離に応じたパラメータセットを算出することができる。本実施形態によれば、レンズの歪曲収差を較正するための画像を、撮像装置と表示装置との位置関係を維持したまま撮像できる。そのため、ユーザは、従来の方法に比べてパラメータセット生成時のノイズを抑制することができ、また、効率的で安定して撮像することができる。 When the focal length is changed, it is generally necessary to pull the image pickup device backward or move the display device far away from the image pickup device. There was a concern that noise would occur when the parameter set was generated due to the shooting condition. However, according to the present embodiment, a calibration image corresponding to the focal length is displayed as a display device, and the image data obtained by capturing the calibration image and the focal length information are compared with the reference calibration image. , The parameter set according to the focal length is calculated. Therefore, the user does not need to move the display device or the image pickup device, and can easily calculate the parameter set according to the plurality of focal lengths simply by setting or changing the focal length of the camera device in the image pickup device. According to the present embodiment, an image for calibrating the distortion of the lens can be captured while maintaining the positional relationship between the image pickup device and the display device. Therefore, the user can suppress noise at the time of parameter set generation as compared with the conventional method, and can take an image efficiently and stably.

また、表示システムの調整（例えば、複数のプロジェクタを用いたエッジブレンディング）のために撮像装置を用いる場合において、撮像装置の設置場所に制約が発生する場合を想定してズームレンズが使用されるときであっても、事前に代表的な焦点距離に対応するパラメータセットを算出しておくことで、表示システムが設置された現場に応じて、パラメータセットを使用することができる。 In addition, when the image pickup device is used for adjusting the display system (for example, edge blending using a plurality of projectors), when the zoom lens is used assuming that the installation location of the image pickup device is restricted. Even so, by calculating the parameter set corresponding to the typical focal length in advance, the parameter set can be used according to the site where the display system is installed.

［２．第２実施形態］
つづいて第２実施形態について説明する。第２実施形態はユーザによって指定された焦点距離に対応するパラメータセットが記憶されていない場合に、既に算出されたパラメータセットを補完することで、ユーザによって指定された焦点距離に対応するパラメータセットを出力する実施形態である。第２実施形態は、第１実施形態の図６を図１６に置き換えたものであり、同一の機能部及び処理には同一の符号を付し、説明については省略する。 [2. Second Embodiment]
Next, the second embodiment will be described. In the second embodiment, when the parameter set corresponding to the focal length specified by the user is not stored, the parameter set corresponding to the focal length specified by the user is obtained by complementing the already calculated parameter set. It is an embodiment to output. In the second embodiment, FIG. 6 of the first embodiment is replaced with FIG. 16, and the same functional parts and processes are designated by the same reference numerals, and the description thereof will be omitted.

図１６を参照して、本実施形態における情報処理装置３０のメイン処理の流れについて説明する。本実施形態では、操作部３３０を介して、パラメータセットを出力する操作がされた場合、制御部３００は、パラメータセット記憶領域３５６に、ユーザによって指定された焦点距離に対応するパラメータセットが記憶されているか否か判定する（ステップＳ１０６；Ｙｅｓ→ステップＳ２０２）。 With reference to FIG. 16, the flow of the main processing of the information processing apparatus 30 in the present embodiment will be described. In the present embodiment, when an operation for outputting a parameter set is performed via the operation unit 330, the control unit 300 stores the parameter set corresponding to the focal length specified by the user in the parameter set storage area 356. It is determined whether or not (step S106; Yes → step S202).

ユーザによって指定された焦点距離に対応するパラメータセットが記憶されている場合は、当該焦点距離に対応するパラメータセットを出力する（ステップＳ２０２；Ｙｅｓ→ステップＳ１０８）。 If the parameter set corresponding to the focal length specified by the user is stored, the parameter set corresponding to the focal length is output (step S202; Yes → step S108).

一方、ユーザによって指定された焦点距離に対応するパラメータセットが記憶されていない場合は、制御部３００は、既に算出されたパラメータセットを補完することで算出されたパラメータセットを出力する（ステップＳ２０２；Ｎｏ→ステップＳ２０４）。 On the other hand, when the parameter set corresponding to the focal length specified by the user is not stored, the control unit 300 outputs the parameter set calculated by complementing the already calculated parameter set (step S202; No → step S204).

例えば、制御部３００は、ステップＳ２０４において、線形補間を行う。例えば、焦点距離が１８ｍｍ及び２２ｍｍに対応するパラメータセットが記憶されている場合において、焦点距離が２０ｍｍに対応するパラメータセットを出力させる操作がユーザによってされた場合、制御部３００は、焦点距離が１８ｍｍ及び２２ｍｍに対応するパラメータセットを用いて線形補間を行う。 For example, the control unit 300 performs linear interpolation in step S204. For example, when the parameter set corresponding to the focal lengths of 18 mm and 22 mm is stored and the operation to output the parameter set corresponding to the focal length of 20 mm is performed by the user, the control unit 300 has the focal length of 18 mm. And linear interpolation is performed using the parameter set corresponding to 22 mm.

本実施形態における動作例を、図１７及び図１８に示す。図１７は、内部パラメータセットを線形補間した場合を示す図であり、図１８は、レンズ歪み補正パラメータセットを線形補間した場合を示す図である。図１７及び図１８に示したグラフは、何れも、横軸に焦点距離を取ったグラフであり、グラフの中の丸は、撮像装置２０によって撮像された較正用画像に基づいて生成された実作成パラメータである。実作成パラメータは、例えば、レンズ装置２５の焦点距離を代表焦点距離にしたときに撮像された較正用画像に基づいて算出される。 Examples of operations in this embodiment are shown in FIGS. 17 and 18. FIG. 17 is a diagram showing the case where the internal parameter set is linearly interpolated, and FIG. 18 is a diagram showing the case where the lens distortion correction parameter set is linearly interpolated. The graphs shown in FIGS. 17 and 18 are graphs with focal lengths on the horizontal axis, and the circles in the graphs are actuals generated based on the calibration image captured by the image pickup apparatus 20. It is a creation parameter. The actual creation parameters are calculated based on, for example, a calibration image captured when the focal length of the lens device 25 is set to the representative focal length.

図１７（ａ）は、横軸に焦点距離を、縦軸にｆｘのパラメータの値をとった場合におけるグラフである。丸の間に示した点は、線形補間によって得られたパラメータを示している。このように、線形補間を行うことで、情報処理装置３０は、代表焦点距離以外の焦点距離に対するｆｘパラメータの値を算出し、出力することが可能となる。 FIG. 17A is a graph when the focal length is on the horizontal axis and the parameter value of fx is on the vertical axis. The points shown between the circles indicate the parameters obtained by linear interpolation. By performing linear interpolation in this way, the information processing apparatus 30 can calculate and output the value of the fx parameter for a focal length other than the representative focal length.

図１７（ｂ）は縦軸にｆｙを、図１７（ｃ）は縦軸にＣｘを、図１７（ｄ）は縦軸にＣｙをとった場合におけるグラフである。横軸は何れも焦点距離である。ｆｙ、Ｃｘ、Ｃｙに関しても、ｆｘと同様に、線形補間によって、代表焦点距離以外の焦点距離に対応するパラメータの値が算出される。 FIG. 17 (b) is a graph in the case where the vertical axis is f y , FIG. 17 (c) is a graph in which C x is taken in the vertical axis, and FIG. 17 (d) is a graph in which Cy is taken in the vertical axis. The horizontal axis is the focal length. For f y , C x , and Cy , the values of the parameters corresponding to the focal lengths other than the representative focal length are calculated by linear interpolation as in the case of f x .

図１８（ａ）は縦軸にｋ１を、図１８（ｂ）は縦軸にｋ２を、図１８（ｃ）は縦軸にｋ３を、図１８（ｄ）は縦軸にｐ１を、図１８（ｅ）は縦軸にｐ２をとり、横軸に焦点距離をとった場合のグラフである。ｋ１、ｋ２、ｋ３、ｐ１、ｐ２に関しても、線形補間によって、代表焦点距離以外の焦点距離に対応するパラメータの値が算出される。 18 (a) shows k 1 on the vertical axis, FIG. 18 (b) shows k 2 on the vertical axis, FIG. 18 (c) shows k 3 on the vertical axis, and FIG. 18 (d) shows p 1 on the vertical axis. 18 (e) is a graph when p2 is taken on the vertical axis and the focal length is taken on the horizontal axis. For k 1 , k 2 , k 3 , p 1 , and p 2 , linear interpolation calculates the values of the parameters corresponding to the focal lengths other than the representative focal length.

本実施形態によれば、既に算出されたパラメータセットを補完することで、ユーザによって指定された焦点距離に対応するパラメータセットを出力することができる。したがって、ユーザは、撮像装置２０を用いて他のシステムの調整を行う際、当該システムが設置された現場に応じたパラメータセットが生成されていない場合であっても、線形補間により補完されたパラメータセットを使用することができる。 According to the present embodiment, by complementing the already calculated parameter set, it is possible to output the parameter set corresponding to the focal length specified by the user. Therefore, when the user adjusts another system using the image pickup apparatus 20, the parameters complemented by linear interpolation even if the parameter set corresponding to the site where the system is installed is not generated. You can use the set.

［３．第３実施形態］
つづいて第３実施形態について説明する。第３実施形態は、パラメータセット算出処理において、カメラ装置の特性である周辺減光の影響を軽減させた上でパラメータセットを算出する実施形態である。一般的に、ズームレンズは、短焦点レンズと異なり、性能面において撮影画像の周辺輝度低下（周辺減光）が発生しやすい。そのため、画角全体まで配置したチェッカーパターンの四隅近傍の交点座標を正しく読み取ることは難しい。そこで、本実施形態では、撮像画像を二値化する際、周辺減光の影響を軽減させるように二値化する。第３実施形態は、第１実施形態の図７を図１９に置き換えたものであり、同一の機能部及び処理には同一の符号を付し、説明については省略する。 [3. Third Embodiment]
Next, the third embodiment will be described. The third embodiment is an embodiment in which the parameter set is calculated after reducing the influence of limb darkening, which is a characteristic of the camera device, in the parameter set calculation process. In general, unlike a short focus lens, a zoom lens tends to cause a decrease in peripheral brightness (limb darkening) of a captured image in terms of performance. Therefore, it is difficult to correctly read the coordinates of the intersections near the four corners of the checker pattern arranged up to the entire angle of view. Therefore, in the present embodiment, when the captured image is binarized, the binarization is performed so as to reduce the influence of limb darkening. In the third embodiment, FIG. 7 of the first embodiment is replaced with FIG. 19, and the same functional parts and processes are designated by the same reference numerals, and the description thereof will be omitted.

図１９を参照して、本実施形態における情報処理装置３０のパラメータセット算出処理の流れについて説明する。本実施形態では、第１実施形態において説明したステップＳ１２６の処理である画像全体を二値化する処理の代わりに、画像を所定のブロックに分割し、ブロックごとに二値化を行う。 With reference to FIG. 19, the flow of the parameter set calculation process of the information processing apparatus 30 in the present embodiment will be described. In the present embodiment, instead of the process of binarizing the entire image, which is the process of step S126 described in the first embodiment, the image is divided into predetermined blocks and binarized for each block.

はじめに、制御部３００は、ステップＳ１２４においてＧｒａｙ変換を行った１枚の画像を、所定のブロックに分割する。例えば、制御部３００は、画像を縦４ブロック、横４ブロックに分割する（ステップＳ３０２）。 First, the control unit 300 divides one image subjected to the Gray conversion in step S124 into predetermined blocks. For example, the control unit 300 divides the image into four vertical blocks and four horizontal blocks (step S302).

つづいて、制御部３００は、ステップＳ３０２において分割したブロックのうち、四隅に位置するブロックを再度分割する（ステップＳ３０４）。例えば、制御部３００は、四隅のブロックを縦２ブロック、横２ブロックに分割する。 Subsequently, the control unit 300 again divides the blocks located at the four corners among the blocks divided in step S302 (step S304). For example, the control unit 300 divides the blocks at the four corners into two vertical blocks and two horizontal blocks.

つづいて、制御部３００は、ブロックごとに二値化を行い（ステップＳ３０６）、二値化を行ったブロックをマージして、１枚の画像に戻す（ステップＳ３０８）。 Subsequently, the control unit 300 performs binarization for each block (step S306), merges the binarized blocks, and returns the image to one image (step S308).

このような処理を行うことで、制御部３００は、ブロックごとにそれぞれ異なる閾値等に基づき二値化を行う。 By performing such processing, the control unit 300 performs binarization based on different threshold values and the like for each block.

図を参照して、本実施形態の実施例を説明する。図２０は、ブロックについて示した図である。図２０（ａ）は、Ｇｒａｙ変換を行った１枚の画像を示す図である。図２０（ｂ）は、図２０（ａ）に示した画像を、画像を縦４ブロック、横４ブロックに分割されたときのブロックを示した図である。図２０（ｂ）に示したブロックのうち、領域Ｅ３００、領域Ｅ３０２、領域Ｅ３０４、領域Ｅ３０６は四隅のブロックであり、それぞれ、左上、右上、左下、右下の四隅に位置するブロックである。 An embodiment of the present embodiment will be described with reference to the figure. FIG. 20 is a diagram showing a block. FIG. 20A is a diagram showing a single image that has undergone Gray conversion. FIG. 20 (b) is a diagram showing blocks when the image shown in FIG. 20 (a) is divided into four vertical blocks and four horizontal blocks. Of the blocks shown in FIG. 20 (b), the area E300, the area E302, the area E304, and the area E306 are blocks at the four corners, which are located at the upper left, upper right, lower left, and lower right corners, respectively.

図２０（ｃ）は、図２０（ｂ）に示したブロックのうち、領域Ｅ３００（左上のブロック）を拡大した図である。四隅のブロックは、図２０（ｃ）に示すように、さらに、縦２ブロック、横２ブロックに再分割される。 FIG. 20 (c) is an enlarged view of the area E300 (upper left block) among the blocks shown in FIG. 20 (b). As shown in FIG. 20 (c), the blocks at the four corners are further subdivided into two vertical blocks and two horizontal blocks.

図２１は、ブロック単位で二値化を行った場合の具体例を示す図である。図２１（ａ）は、四隅を再分割しない状態で二値化がされた場合の画像を示す図である。図２１（ａ）に示すように、画像の左上は、背景及び黒いマスが黒い画素となってしまい、チェッカーボードパターンの左上の済のマスの領域が判別できない状態となる。これは、制御部３００が画像を二値化する際、画像に含まれる画素の輝度値（階調値）により、二値化を行う際に黒にする画素と白にする画素とを決定するための閾値を輝度値の高い側に設定したためである。制御部３００は、輝度値が低い画素が多い隅部の画素を何れも黒い画素に変換してしまうため、背景とチェッカーボードパターンの黒いマスとの区別ができなくなってしまう。 FIG. 21 is a diagram showing a specific example when binarization is performed in block units. FIG. 21A is a diagram showing an image when binarization is performed without subdividing the four corners. As shown in FIG. 21 (a), in the upper left of the image, the background and the black square become black pixels, and the area of the finished square in the upper left of the checkerboard pattern cannot be discriminated. This determines, when the control unit 300 binarizes the image, the pixel to be blackened and the pixel to be white when binarized, depending on the luminance value (gradation value) of the pixel included in the image. This is because the threshold value for this is set on the side where the brightness value is high. Since the control unit 300 converts all the pixels in the corners, which have many pixels with low luminance values, into black pixels, it becomes impossible to distinguish between the background and the black squares of the checkerboard pattern.

図２１（ｂ）は、四隅のブロックを再分割し、それぞれのブロックにおいて二値化がされた場合の画像を示す図である。輝度値が低い画素が多い隅部のブロックは、当該ブロック内において閾値が設定されるため、他のブロックの輝度値の影響を受けることがない。閾値が輝度値の高い側に設定されることが防げるため、輝度値が低い画素が多い隅部であっても、背景は白い画素に、チェッカーボードパターンの黒いマスは黒い画素に変換される。 FIG. 21B is a diagram showing an image when the blocks at the four corners are subdivided and binarized in each block. A block in a corner having many pixels with a low luminance value is not affected by the luminance values of other blocks because a threshold value is set in the block. Since it is possible to prevent the threshold value from being set on the side with a high luminance value, the background is converted into white pixels and the black squares in the checkerboard pattern are converted into black pixels even in the corners where there are many pixels with low luminance values.

図２１（ｃ）は、四隅以外のブロックにおいて二値化がされた場合の画像を示す図である。四隅以外のブロックは、周辺減光の影響を受けないため、チェッカーボードパターンにおける白いマスと黒いマスとの輝度値の差が明確であり、そのまま二値化しても、適切に二値化を行うことができる。 FIG. 21C is a diagram showing an image when binarization is performed in blocks other than the four corners. Since the blocks other than the four corners are not affected by limb darkening, the difference in brightness between the white and black squares in the checkerboard pattern is clear, and even if they are binarized as they are, they are binarized appropriately. be able to.

図２２は、ブロック単位で二値化を行った場合の具体例を示す図である。図２２（ａ）は、撮像装置２０によって撮像された較正用画像を含む画像（撮像画像）である。レンズ装置の特性により周辺減光が生じており、特に四隅は輝度値が低くなっている。 FIG. 22 is a diagram showing a specific example when binarization is performed in block units. FIG. 22A is an image (captured image) including a calibration image captured by the image pickup apparatus 20. Due to the characteristics of the lens device, limb darkening occurs, and the brightness values are particularly low at the four corners.

図２２（ｂ）は、図２２（ａ）に示した画像を、判別分析法（大津の二値化法）によって二値化した場合の図である。図２２（ｃ）は、図２２（ａ）に示した画像を、画像に含まれる画素の輝度値（階調値）の平均値を閾値として二値化した場合の図である。図２２（ｂ）及び図２２（ｃ）に示すように、画像の四隅は黒い画素となっている。このような画像では、四隅付近のマス目を識別できず、交点の座標を読み取ることができない。そのため、情報処理装置３０は、パラメータセットを算出することができない。 FIG. 22B is a diagram when the image shown in FIG. 22A is binarized by a discriminant analysis method (Otsu's binarization method). FIG. 22 (c) is a diagram in which the image shown in FIG. 22 (a) is binarized with the average value of the luminance values (gradation values) of the pixels included in the image as a threshold value. As shown in FIGS. 22 (b) and 22 (c), the four corners of the image are black pixels. In such an image, the squares near the four corners cannot be identified, and the coordinates of the intersection cannot be read. Therefore, the information processing apparatus 30 cannot calculate the parameter set.

本実施形態によれば、撮像装置によって撮像された較正用画像を含む画像に対して、レンズ装置の特性により周辺減光が生じた場合であっても、適切に二値化を行うことができる。したがって、周辺減光が生じた場合であっても、較正用画像を含む画像の四隅が二値化により黒い画素となり、座標を取得することができなくなり、結果としてパラメータの精度が落ちてしまうことを避けることができる。 According to the present embodiment, the image including the calibration image captured by the image pickup apparatus can be appropriately binarized even when limb darkening occurs due to the characteristics of the lens apparatus. .. Therefore, even if limb darkening occurs, the four corners of the image including the calibration image become black pixels due to binarization, the coordinates cannot be obtained, and as a result, the accuracy of the parameters drops. Can be avoided.

なお、本実施形態は第１実施形態に適用することとして説明したが、第２実施形態に適用してもよい。第２実施形態に適用する場合も、制御部３００は、パラメータセット算出処理において、図１９に示した処理を実行すればよい。 Although this embodiment has been described as being applied to the first embodiment, it may be applied to the second embodiment. Also when applied to the second embodiment, the control unit 300 may execute the process shown in FIG. 19 in the parameter set calculation process.

［４．変形例］
本開示は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本開示の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本開示の技術的範囲に含まれる。また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。 [4. Modification example]
The present disclosure is not limited to the above-described embodiments, and various modifications can be made. That is, the technical scope of the present disclosure also includes embodiments obtained by combining technical means appropriately modified within the scope of the gist of the present disclosure. Further, the above-described embodiments are described separately for convenience of explanation, but it is needless to say that they may be combined and executed within a technically possible range.

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭ（Read Only Memory）やＨＤＤ等の記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。 Further, the program that operates in each device in the embodiment is a program that controls a CPU or the like (a program that causes a computer to function) so as to realize the functions of the above-described embodiment. Then, the information handled by these devices is temporarily stored in a temporary storage device (for example, RAM) at the time of processing, and then stored in various storage devices such as ROM (Read Only Memory) and HDD, if necessary. Is read, corrected and written by the CPU.

ここで、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、ＭＤ（Mini Disc）、ＣＤ（Compact Disc）、ＢＤ（Blu-ray（登録商標） Disc）等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本開示の機能が実現される場合もある。 Here, as the recording medium for storing the program, a semiconductor medium (for example, ROM, a non-volatile memory card, etc.), an optical recording medium / magneto-optical recording medium (for example, a CD (Digital Versatile Disc), MO (Magneto Optical)). Any of Disc), MD (Mini Disc), CD (Compact Disc), BD (Blu-ray (registered trademark) Disc), etc.), magnetic recording medium (for example, magnetic tape, flexible disc, etc.) may be used. .. In addition, by executing the loaded program, not only the functions of the above-described embodiment are realized, but also by processing in collaboration with the operating system or other application programs based on the instructions of the program, the present invention is used. Disclosure functions may also be realized.

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本開示に含まれるのは勿論である。 Further, in the case of distribution to the market, the program can be stored and distributed in a portable recording medium, or transferred to a server computer connected via a network such as the Internet. In this case, it goes without saying that the storage device of the server computer is also included in the present disclosure.

１ システム
１０ 表示装置
２０ 撮像装置
２５ レンズ装置
３０ 情報処理装置
３００ 制御部
３０２ 較正用画像表示制御部
３１０ 画像出力部
３２０ 画像入力部
３３０ 操作部
３４０ 通信部
３５０ 記憶部
３５２ 較正用画像データ記憶領域
３５４ 入力画像データ記憶領域
３５６ パラメータセット記憶領域
1 System 10 Display device 20 Image pickup device 25 Lens device 30 Information processing device 300 Control unit 302 Image display control unit for calibration 310 Image output unit 320 Image input unit 330 Operation unit 340 Communication unit 350 Storage unit 352 Image data storage area for calibration 354 Input image data storage area 356 parameter set storage area

Claims (6)

撮像装置によって撮像された較正用画像と当該較正用画像の撮像に使用されたレンズ装置の焦点距離を示す情報とを複数入力する入力部と、
前記較正用画像と前記焦点距離を示す情報とから、前記焦点距離を示す情報毎に、前記レンズ装置の特性を示すパラメータを算出する算出部と、
を備えたことを特徴とする情報処理装置。 An input unit for inputting a plurality of calibration images captured by the image pickup device and information indicating the focal length of the lens device used for capturing the calibration images, and an input unit.
A calculation unit that calculates a parameter indicating the characteristics of the lens device for each information indicating the focal length from the calibration image and the information indicating the focal length.
An information processing device characterized by being equipped with. 前記特性は、前記撮像装置により撮像される画像の歪曲収差であることを特徴とする請求項１に記載の情報処理装置。 The information processing device according to claim 1, wherein the characteristic is distortion of an image captured by the image pickup device. 前記較正用画像を記憶する記憶部と、
前記較正用画像を表示する制御を行う表示制御部と、
を更に備えることを特徴とする請求項１又は２に記載の情報処理装置。 A storage unit that stores the calibration image and
A display control unit that controls the display of the calibration image, and
The information processing apparatus according to claim 1 or 2, further comprising. 前記表示制御部は、前記撮像装置のアスペクト比に応じた前記較正用画像を表示する制御を行うことを特徴とする請求項３に記載の情報処理装置。 The information processing device according to claim 3, wherein the display control unit controls to display the calibration image according to the aspect ratio of the image pickup device. 前記算出部は、前記較正用画像によって算出したパラメータを補完することで、パラメータを算出することを特徴とする請求項１から４の何れか一項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 4, wherein the calculation unit calculates the parameters by complementing the parameters calculated by the calibration image. 前記算出部は、前記較正用画像を所定のブロックに分割し、ブロック毎に二値化処理を行った画像に基づきパラメータを生成することを特徴とする請求項１から５の何れか一項に記載の情報処理装置。
The calculation unit according to any one of claims 1 to 5, wherein the calibration image is divided into predetermined blocks, and parameters are generated based on the image obtained by binarizing each block. The information processing device described.
JP2020147826A 2020-09-02 2020-09-02 Information processing device Pending JP2022042408A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020147826A JP2022042408A (en) 2020-09-02 2020-09-02 Information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020147826A JP2022042408A (en) 2020-09-02 2020-09-02 Information processing device

Publications (1)

Publication Number Publication Date
JP2022042408A true JP2022042408A (en) 2022-03-14

Family

ID=80629515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020147826A Pending JP2022042408A (en) 2020-09-02 2020-09-02 Information processing device

Country Status (1)

Country Link
JP (1) JP2022042408A (en)

Similar Documents

Publication Publication Date Title
JP5604909B2 (en) Correction information calculation apparatus, image processing apparatus, image display system, and image correction method
US9818377B2 (en) Projection system, image processing apparatus, and correction method
JP3925521B2 (en) Keystone correction using part of the screen edge
JP4055010B2 (en) Image processing system, projector, program, information storage medium, and image processing method
JP3844076B2 (en) Image processing system, projector, program, information storage medium, and image processing method
KR101353110B1 (en) Projection image area detecting device, projection image area detecting system, and projection image area detecting method
CN111935465B (en) Projection system, projection device and correction method of display image thereof
JP5493340B2 (en) Projection display apparatus and arrangement relation detection method
JP5256899B2 (en) Image correction apparatus, image correction method, projector and projection system
US20070091334A1 (en) Method of calculating correction data for correcting display characteristic, program for calculating correction data for correcting display characteristic and apparatus for calculating correction data for correcting display characteristic
JP2011182077A (en) Correction information calculation device, image processing device, image display system, and image correction method
JP2010130225A (en) Projection display device and adjustment method for projection
JP6812862B2 (en) Image processing system, imaging device, image processing method and program
JP2015056834A (en) Projection system, image processing system, projection method and program
JP2011182076A (en) Correction information calculating device, image processing device, image display system, and image correcting method
WO2019167455A1 (en) Information processing device, calculation method for information processing device, program
JP2007074578A (en) Image processor, photography instrument, and program
JP2007074579A (en) Image processor, and program
JP2009111813A (en) Projector, image data acquisition method for projector, and imaging device
US10481363B2 (en) Projector and focus adjustment method
JP6752360B2 (en) Image processing device, imaging device, terminal device, image correction method and image processing program
WO2017179111A1 (en) Display system and information processing method
TWI682358B (en) Multi-dimensional image projection apparatus and multi-dimensional image calibration method thereof
JP5955003B2 (en) Image processing apparatus, image processing method, and program
JP2022042408A (en) Information processing device