JP2014102183A - Image processing apparatus and image processing system - Google Patents
Image processing apparatus and image processing system Download PDFInfo
- Publication number
- JP2014102183A JP2014102183A JP2012255055A JP2012255055A JP2014102183A JP 2014102183 A JP2014102183 A JP 2014102183A JP 2012255055 A JP2012255055 A JP 2012255055A JP 2012255055 A JP2012255055 A JP 2012255055A JP 2014102183 A JP2014102183 A JP 2014102183A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate conversion
- image processing
- processing apparatus
- conversion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、たとえば投影手段と測定手段を連動させた画像処理装置、及びこれを用いた画像処理システムに関する。 The present invention relates to an image processing apparatus in which, for example, a projection unit and a measurement unit are linked, and an image processing system using the image processing device.
近年、プロジェクタなどの投影手段は、会議に無くてはならないツールとして爆発的に普及している。上述のような投影手段を用いることにより様々なプレゼンテーションが可能になるのはもちろんのこと、手持ちのＰＣ等の情報処理装置上の資料を投影し、この投影資料を会議参加者と共に閲覧して、情報を共有したり議論を深めたりすることも可能である。プレゼンテーションのような一方的なコミュニケーションの場合、発表者が話の流れを制御することになるので、発表者の手元に情報処理装置を置いて、発表者が操作を行えば問題が無い。 In recent years, projection means such as projectors have exploded in popularity as tools indispensable for meetings. By using the projection means as described above, various presentations can be made, as well as projecting materials on an information processing device such as a personal computer, and viewing the projection materials together with the conference participants. It is also possible to share information and deepen discussion. In the case of unilateral communication such as a presentation, since the presenter controls the flow of the talk, there is no problem if the presenter performs an operation by placing an information processing device at hand of the presenter.
一方で、複数の人間で投影資料を同時に閲覧するなど、情報を共有しながら議論を行うといった用途では、話の流れを制御する人間が不明確になる。そのため情報処理装置の操作を行いたい人と操作をする人が別の人間になることが多く、その際には操作したい人が操作者に口頭で頼む形となる。この状況を鑑みると、投影手段の投影面に対して、操作したい人が直接操作を行えると非常に便利である。 On the other hand, in applications where discussions are made while sharing information, such as viewing projection materials simultaneously by multiple people, the person who controls the flow of the story is unclear. For this reason, the person who wants to operate the information processing apparatus and the person who operates it often become different persons, and the person who wants to operate asks the operator verbally. In view of this situation, it is very convenient if a person who wants to operate the projection surface of the projection means can directly perform the operation.
投影手段の投影面のような任意の平面を、操作したい人が直接操作を行えるように、たとえばタッチパネルとして使用する画像処理装置に関する技術の一例として、特許文献１では、投影面の４辺に光を発する特殊なデバイスを設けて、その反射光の位置からペンの位置を取得する技術が提案されている。また、特許文献２では、投影面の隅にカメラを取り付けて、ペン先の位置を三角測量で取得する技術が提案されている。また、特許文献３では、静電容量式のタッチパネルを用いた技術が提案されている。 As an example of a technique related to an image processing apparatus used as a touch panel so that a person who wants to operate an arbitrary plane such as a projection surface of a projection unit can directly operate, in Patent Document 1, light is applied to four sides of a projection surface. A technique has been proposed in which a special device that emits light is provided and the position of the pen is obtained from the position of the reflected light. Further, Patent Document 2 proposes a technique for attaching a camera to the corner of the projection surface and acquiring the position of the pen tip by triangulation. In Patent Document 3, a technique using a capacitive touch panel is proposed.
しかし、上述のように投影面に特殊なデバイスを取り付ける方式は、取り付けが難しく、また、高価になりやすいといった問題がある。そのため、例えば以下の参考ＵＲＬ（ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ．ｐｒｅｆｅｒｅｒｒｅｄ．ｊｐ／２０１１０６／ｋｉｎｅｃｔ−ｔｏｕｃｈ−ｐａｎｅｌ、「ｋｉｎｅｃｔでプロジェクタスクリーンをタッチパネル化」）に示すような、測定手段として３Ｄイメージセンサを用いた方式も提案されつつある。この方式の画像処理装置は、投影手段、測定手段、情報処理装置および情報処理装置上のソフトウェア等で構成されている。 However, the method of attaching a special device to the projection surface as described above has a problem that attachment is difficult and expensive. Therefore, for example, a 3D image sensor was used as a measurement means as shown in the following reference URL (http://research.preferred.jp/201106/kinect-touch-panel, “make the projector screen a touch panel with kinect”). Methods are also being proposed. This type of image processing apparatus includes a projection unit, a measurement unit, an information processing apparatus, software on the information processing apparatus, and the like.
上記画像処理装置の操作について簡単に説明する。最初に、投影手段としてプロジェクタの横に設置した３Ｄセンサを用いて、投影手段の投影面の、測定手段からの距離を算出しておく。その後、測定手段により３Ｄセンシングを続ける。具体的には、投影面から一定の距離以内に物体が存在した場合に当該物体が投影面に接触したという判定を行う。このような方式の画像処理装置を用いることにより、投影面へデバイスを取り付けることなく、投影面をタッチパネルにすることが可能である。また、近年測定手段は安価になりつつあるため、既存の情報処理装置ソフト・投影手段を用いてシステムを構成する場合には、その他の方式に比べて極めて安価にすることができるという利点もある。 The operation of the image processing apparatus will be briefly described. First, using a 3D sensor installed beside the projector as the projection unit, the distance of the projection surface of the projection unit from the measurement unit is calculated. Thereafter, 3D sensing is continued by the measuring means. Specifically, when an object is present within a certain distance from the projection plane, it is determined that the object has touched the projection plane. By using an image processing apparatus of this type, it is possible to make the projection surface a touch panel without attaching a device to the projection surface. In recent years, measuring means are becoming cheaper, and when a system is configured using existing information processing apparatus software / projection means, there is an advantage that it can be made extremely cheaper than other methods. .
しかしながら、上述の方式による画像処理装置には、投影面と測定手段との距離が変化する際の考慮がなされていないという問題点があった。たとえば投影面が移動し、測定手段と投影面との距離が事前に計測したものより近くなってしまった場合、投影面そのものが投影面に近い距離にあると判定され、常に接触判定される等の誤判定が生じることになる。 However, the above-described image processing apparatus has a problem in that no consideration is given when the distance between the projection surface and the measuring means changes. For example, if the projection plane moves and the distance between the measuring means and the projection plane becomes closer than the one measured in advance, the projection plane itself is determined to be close to the projection plane, and the contact is always determined. Misjudgment will occur.
本発明は以上を鑑みてなされたものであり、どのような投影面であっても、常に安定した状態で正確な判定を行うことが可能な画像処理装置を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus that can always perform accurate determination in a stable state regardless of the projection plane.
かかる目的を達成するため、本発明の画像処理装置は、画像を含む測定対象物とこの測定対象物の位置を測定する測定手段との距離に基づき、画像の基準平面を推定する平面推定手段と、基準平面から一定の距離の範囲内に存在する物体を、画像に接触する物体であると判定する接触判定手段とを備えたものである。 In order to achieve such an object, the image processing apparatus of the present invention includes a plane estimation unit that estimates a reference plane of an image based on a distance between a measurement target including the image and a measurement unit that measures the position of the measurement target. And contact determination means for determining that an object existing within a certain distance from the reference plane is an object in contact with the image.
本発明によれば、どのような投影面であっても、常に安定した状態で正確な判定を行うことが可能である。 According to the present invention, it is possible to make an accurate determination in a stable state regardless of the projection plane.
以下、この発明を実施するための好適な形態について、図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings. In addition, in each figure, the same code | symbol is attached | subjected to the part which is the same or it corresponds, The duplication description is simplified or abbreviate | omitted suitably.
（画像処理装置及び画像処理システムの構成）
まず、図１を用いて本発明の画像処理装置を含む画像処理システムの構成について述べる。図１は、実施の形態の画像処理装置１０（画像処理システム１）の構成の一例を示す概略図である。
(Configuration of image processing apparatus and image processing system)
First, the configuration of an image processing system including the image processing apparatus of the present invention will be described with reference to FIG. FIG. 1 is a schematic diagram illustrating an example of a configuration of an image processing apparatus 10 (image processing system 1) according to an embodiment.
画像（１１ａ）を含む測定対象物（１１）とこの測定対象物（１１）の位置を測定する測定手段（１３）との距離に基づき、画像（１１ａ）の基準平面を推定する平面推定手段（１０２）と、基準平面から一定の距離の範囲内に存在する物体を、画像（１１ａ）に接触する物体であると判定する接触判定手段（１０７）とを備えたものである。なお、本実施の形態の画像処理装置は、各種計算を行うための演算手段（不図示）を備えているものとする。 Plane estimation means for estimating the reference plane of the image (11a) based on the distance between the measurement object (11) including the image (11a) and the measurement means (13) for measuring the position of the measurement object (11). 102) and contact determination means (107) for determining that an object existing within a certain distance from the reference plane is an object in contact with the image (11a). It is assumed that the image processing apparatus according to the present embodiment includes a calculation unit (not shown) for performing various calculations.
本実施形態では、画像処理システム１は、基本的に測定対象物１１、測定手段１３、投影手段１５、情報処理装置１７、撮像手段としてのカメラ１９により構成される。したがって、本実施形態において上述の画像１１ａは、任意の投影面（ここでは測定対象物１１）に投影される投影画像である。情報処理装置１７は、画像処理装置１０の動作を制御する制御手段として機能するものであり、投影したい資料を表示するソフトと、これとは別に、バックグラウンドで動作する撮像用のソフトウェアとが内蔵され、動作している。情報処理装置は、一般的なパソコン、ノートパソコン、タブレット端末などで、表示部が含まれるものとして説明する。 In this embodiment, the image processing system 1 basically includes a measurement object 11, a measurement unit 13, a projection unit 15, an information processing device 17, and a camera 19 as an imaging unit. Therefore, in the present embodiment, the above-described image 11a is a projection image projected onto an arbitrary projection plane (here, the measurement object 11). The information processing apparatus 17 functions as a control unit that controls the operation of the image processing apparatus 10, and includes software for displaying a material to be projected and imaging software that operates in the background. Is working. The information processing apparatus is a general personal computer, notebook personal computer, tablet terminal, or the like, and will be described as including a display unit.
なお、たとえば本発明を用いて、測定対象物１１としてホワイトボードを用いて、ホワイトボードにタッチセンサ機能を持たせることで、通常のホワイトボードをインタラクティブホワイトボードへ変化させることができる。製品としては、投影手段に搭載することも可能であるし、また投影手段と連携して、測定手段を外付けした情報処理装置からなるシステムにおけるソフトウェアとしての実現形態も可能である。同様にスマートフォン上で動作するソフトウェアとしての実現も可能である。 For example, by using the present invention and using a whiteboard as the measurement object 11 and giving the whiteboard a touch sensor function, a normal whiteboard can be changed to an interactive whiteboard. The product can be mounted on the projection means, or can be realized as software in a system including an information processing apparatus with an external measurement means in cooperation with the projection means. Similarly, it can be realized as software that operates on a smartphone.
情報処理装置１７には、不図示の演算手段が備えられており、画像処理システム１の測定事項に係る各種演算を行う。演算手段は、投影手段１５やカメラ１９に備えられたものであっても良い。本実施形態では、画像１１ａを含む測定対象物１１、測定手段１３、演算手段を画像処理装置１０とし、画像処理装置１０を含む画像処理動作を行うシステム全体を画像処理システム１とする。画像処理システム１は、本実施形態では図示されないような、画像処理に係るその他の好適な構成要素を含むものであって良い。 The information processing apparatus 17 is provided with a calculation unit (not shown), and performs various calculations related to the measurement items of the image processing system 1. The calculation means may be provided in the projection means 15 or the camera 19. In this embodiment, the measurement object 11 including the image 11a, the measurement unit 13, and the calculation unit are the image processing apparatus 10, and the entire system that performs the image processing operation including the image processing apparatus 10 is the image processing system 1. The image processing system 1 may include other suitable components related to image processing that are not illustrated in the present embodiment.
画像処理装置１０において、ユーザは情報処理装置１７が有する資料等の電子ファイルを表示ソフトを通じて投影手段１５により画像１１ａとして測定対象物１１に投影する。測定手段１３は、画像１１ａを含む測定対象物１１と測定手段１３との距離を測定する。より具体的には、測定手段１３の視野における物体の３次元位置をセンシング（測定、または検知ともいう）し、測定手段１３により測定した情報を元に、ユーザが画像１１ａに接触した、例えば手、ペンの先、指示棒等の位置を検出することができる。また、詳細は後述するが、カメラ１９は投影された画像１１ａを撮像し、この撮像された画像（以下、撮像画像ともいう）は情報処理装置１７上の画面で認識し、ユーザが接触した位置と投影した画像との位置の対応をとるために使用する。 In the image processing apparatus 10, the user projects an electronic file such as a document included in the information processing apparatus 17 onto the measurement object 11 as an image 11 a by the projection unit 15 through display software. The measuring unit 13 measures the distance between the measuring object 11 including the image 11 a and the measuring unit 13. More specifically, the three-dimensional position of the object in the field of view of the measuring unit 13 is sensed (also referred to as measurement or detection), and the user touches the image 11a based on the information measured by the measuring unit 13, for example, a hand It is possible to detect the position of the tip of the pen, the pointing bar, and the like. Although details will be described later, the camera 19 captures the projected image 11a, the captured image (hereinafter also referred to as a captured image) is recognized on the screen on the information processing apparatus 17, and the position touched by the user Is used to correspond to the position of the projected image.
ここで、画像１１ａに対し、ユーザの手等により接触がなされた場合には、表示部の該当位置でマウスのクリックがなされたというイベントを発生させる。またそこから水平に手を動かした際には、ドラッグイベントが発生し、画像１１ａから手を離した場合にはマウスのボタンが放されたというイベントが発生するものとする。なおカメラ１９の平面座標系のｘｙ位置と測定手段１３のｘｙ位置は、キャリブレーションを行うことにより位置対応がなされており、一致しているものとする。 Here, when the image 11a is touched by the user's hand or the like, an event that the mouse is clicked at a corresponding position on the display unit is generated. It is also assumed that a drag event occurs when the hand is moved horizontally from there, and an event that the mouse button is released when the hand is released from the image 11a. The xy position of the plane coordinate system of the camera 19 and the xy position of the measuring means 13 are assumed to correspond to each other by performing calibration and coincide with each other.
（全体フロー）
続いて、図２及び図３を用いて実施の形態の画像処理装置１０の動作について説明する。図２は画像処理装置１０の動作に係る機能ブロック図であり、図３は、画像処理装置１０において、情報処理装置１７の制御動作を行う、画像処理に係る動作の流れを示すフロー図である。実施の形態の画像処理装置１０は、座標変換情報算出手段１０１、座標変換情報判定手段１０５、平面推定手段１０２、基準平面推定手段１０３、接触判定手段１０７、変換手段１０８、イベント発生手段１０９により一連の動作が構成されるものとする（図２）。
(Overall flow)
Subsequently, the operation of the image processing apparatus 10 according to the embodiment will be described with reference to FIGS. 2 and 3. FIG. 2 is a functional block diagram relating to the operation of the image processing apparatus 10, and FIG. 3 is a flowchart showing the flow of the operation relating to image processing in which the control operation of the information processing apparatus 17 is performed in the image processing apparatus 10. . The image processing apparatus 10 according to the embodiment includes a coordinate conversion information calculation unit 101, a coordinate conversion information determination unit 105, a plane estimation unit 102, a reference plane estimation unit 103, a contact determination unit 107, a conversion unit 108, and an event generation unit 109. Is configured (FIG. 2).
座標変換情報算出手段１０１は、投影手段１５で投影された画像１１ａに設定された対応点と、投影された画像１１ａを撮像手段１９で撮像した画像データにおける対応点に相当する位置とに、基づいて座標変換情報を算出する。また、後述する座標変換情報判定手段１０５での判定が失敗していると判断された場合には、第二の座標変換情報を算出する。 The coordinate conversion information calculation unit 101 is based on the corresponding points set in the image 11 a projected by the projection unit 15 and the positions corresponding to the corresponding points in the image data obtained by capturing the projected image 11 a by the imaging unit 19. To calculate coordinate conversion information. Further, when it is determined that the determination by the coordinate conversion information determination unit 105 described later has failed, second coordinate conversion information is calculated.
平面推定手段１０２は、測定手段１３が測定した画像１１ａを含む測定対象物１１と、測定手段１３と距離に基づき、画像１１ａの基準平面を推定する。基準平面推定手段１０３は、基準平面推定手段１０３で算出された基準平面が成功したか、失敗したかを判定する。この判定には基準平面推定手段１０３で、最小二乗法による二乗誤差和に基づき判定する。この判定方法の詳細は後述する。座標変換情報判定手段１０５は、座標変換情報算出手段１０１で算出された第二の座標変換情報が適正か否かを判定する The plane estimation unit 102 estimates the reference plane of the image 11 a based on the measurement object 11 including the image 11 a measured by the measurement unit 13 and the distance from the measurement unit 13. The reference plane estimation unit 103 determines whether the reference plane calculated by the reference plane estimation unit 103 has succeeded or failed. This determination is made by the reference plane estimation means 103 based on the sum of square errors by the least square method. Details of this determination method will be described later. The coordinate conversion information determination unit 105 determines whether the second coordinate conversion information calculated by the coordinate conversion information calculation unit 101 is appropriate.
接触判定手段１０７は、基準平面から一定の距離の範囲内に存在する物体を、画像１１aに接触する物体であると判定する。変換手段１０８は、座標変換情報算出手段１０１で算出した座標変換情報に基づいて、撮像手段１９で撮像した画像データを投影手段１５で投影された画像へ変換する。イベント発生手段１０９は、接触した位置において、マウスのクリックがなされた等のイベントを発生させる。 The contact determination unit 107 determines that an object that exists within a certain distance from the reference plane is an object that contacts the image 11a. The conversion unit 108 converts the image data captured by the imaging unit 19 into an image projected by the projection unit 15 based on the coordinate conversion information calculated by the coordinate conversion information calculation unit 101. The event generation means 109 generates an event such as a mouse click at the touched position.
各手段１０１、１０２、１０３、１０５、１０７−１０９は、後述する動作フローの各ステップＳＴ１０１−１０９における動作を行う。たとえば、座標変換情報算出手段１０１は後述の座標変換情報算出ステップＳＴ１０１（第二の座標変換情報算出ステップＳＴ１０４）における動作を行う。 Each means 101, 102, 103, 105, 107-109 performs the operation in each step ST101-109 of the operation flow described later. For example, the coordinate conversion information calculation unit 101 performs an operation in a coordinate conversion information calculation step ST101 (second coordinate conversion information calculation step ST104) described later.
また、座標変換情報判定手段１０５は、座標変換情報算出ステップＳＴ１０１（第二の座標変換情報算出ステップＳＴ１０４）における算出結果の判定を行う手段であり、座標変換情報判定ステップＳＴ１０５においての動作を行う。同様に、平面推定手段１０２は平面推定ステップＳＴ１０２（第二の平面推定ステップＳＴ１０６）、基準平面推定手段１０３は基準平面推定ステップＳＴ１０３、接触判定手段１０７は接触判定ステップ１０７、変換手段１０８は位置合わせステップＳＴ１０８、イベント発生手段１０９はイベント発生ステップＳＴ１０９の、それぞれにおいての動作を行う。 The coordinate conversion information determination unit 105 is a unit that determines a calculation result in the coordinate conversion information calculation step ST101 (second coordinate conversion information calculation step ST104), and performs the operation in the coordinate conversion information determination step ST105. Similarly, the plane estimation means 102 is the plane estimation step ST102 (second plane estimation step ST106), the reference plane estimation means 103 is the reference plane estimation step ST103, the contact determination means 107 is the contact determination step 107, and the conversion means 108 is the alignment. Step ST108 and event generation means 109 perform the operation in each of event generation step ST109.
以下、図３を用いて、上述の動作の流れ（ＳＴ１０１−ＳＴ１０９）について説明をする。情報処理装置１７には、この情報処理装置１７が内蔵するソフトウェアにより画像処理の制御がなされている。まず座標変換情報算出ステップＳＴ１０１では、座標変換情報として座標変換マトリクスを算出する。これは、投影した画像（投影画像）と接触した位置について、撮像された画像との位置合わせを行うためである。 Hereinafter, the above-described operation flow (ST101 to ST109) will be described with reference to FIG. Image processing is controlled in the information processing device 17 by software built in the information processing device 17. First, in coordinate conversion information calculation step ST101, a coordinate conversion matrix is calculated as coordinate conversion information. This is because the position in contact with the projected image (projected image) is aligned with the captured image.
このため、本実施形態では、投影画像を投影する前に、投影面である測定対象物１１への、位置合わせ用の初期画像の投影と、カメラ（撮像手段）１９による初期画像の撮像を行い、投影された初期画像において設定された位置合わせ用の任意の対応点と、カメラ１９により撮像された初期画像における対応点に相当する位置とに基づいて、投影された初期画像へ撮像された初期画像を変換する座標変換情報を算出することにより、投影された初期画像と前記撮像された初期画像との位置合わせを、予め行うものとする。 For this reason, in the present embodiment, before projecting the projection image, the initial image for alignment is projected onto the measurement object 11 that is the projection surface, and the initial image is captured by the camera (imaging means) 19. Based on an arbitrary corresponding point for alignment set in the projected initial image and a position corresponding to the corresponding point in the initial image captured by the camera 19, the initial image captured in the projected initial image By calculating coordinate conversion information for converting an image, the projected initial image and the captured initial image are aligned in advance.
具体的には、まず、予め情報処理装置１７に保存されているテスト用（位置合わせ用）の初期画像を投影手段１５を通じて測定対象物１１に画像１１ａとして投影する。この投影された画像１１ａをカメラ１９で撮影する。この撮像された画像を表示部で認識することによって、投影された画像１１ａのカメラ１９及び測定手段１３における撮影領域の位置を判定する。位置を判定するための座標変換情報の算出方法の詳細は後述の図４で説明する。また、初期画像については後述の図６で説明する。 Specifically, first, a test (positioning) initial image stored in advance in the information processing apparatus 17 is projected as an image 11 a on the measurement object 11 through the projection unit 15. The projected image 11 a is photographed by the camera 19. By recognizing the captured image on the display unit, the position of the imaging region in the camera 19 and the measuring means 13 of the projected image 11a is determined. Details of the calculation method of the coordinate conversion information for determining the position will be described later with reference to FIG. The initial image will be described later with reference to FIG.
続いて第一の平面推定ステップＳＴ１０２では、投影手段１５によって投影された画像１１ａが投影される基準平面を推定する。これは、測定手段１３が測定した投影された画像と測定手段１３との距離に基づき、画像１１ａの基準平面を推定する。具体的には、まず、上述の投影された画像１１ａが存在する位置の情報（たとえば、３Ｄデータ等）に基づいて、最小二乗法を用いて基準となる基準平面を算出する。 Subsequently, in a first plane estimation step ST102, a reference plane on which the image 11a projected by the projection unit 15 is projected is estimated. This estimates the reference plane of the image 11 a based on the distance between the projected image measured by the measuring unit 13 and the measuring unit 13. Specifically, first, a reference plane serving as a reference is calculated using the method of least squares based on the position information (for example, 3D data) where the projected image 11a is present.
より具体的には、測定手段１３が投影された画像１１ａと測定手段１３との距離を測定し、当該距離に基づき、演算手段が、最小二乗法を用いた演算を行うことにより、画像１１ａの基準平面を推定する。基準平面の推定は繰り返し行い、初回は特にテスト用の初期画像を用いて行い、それ以降の推定は実際に使用する画像を用いて行う。詳細は後述する。 More specifically, the distance between the image 11a projected by the measurement unit 13 and the measurement unit 13 is measured, and the calculation unit performs a calculation using the least square method based on the distance, whereby the image 11a Estimate the reference plane. The reference plane is estimated repeatedly, the first time using the initial test image, and the subsequent estimation using the actually used image. Details will be described later.
一般的に、最小二乗法を用いた平面推定を行う場合は、外れ値が生じるリスクがあり、この外れ値の存在は測定値の精度を著しく劣化させるものとなっている。しかし、本実施形態では、実際に使用する画像ではなく、テスト用の初期画像を用いて初回の基準平面の推定を行う。この初期画像は、後述するが、精度良く上記推定が行えるように、画像認識がしやすい画像を使用する。平面推定ステップＳＴ１０２において、この初期画像を用いて基準平面の推定を行うため、上述の外れ値を劇的に削減し、推定精度を向上させることができる。 In general, when plane estimation using the least square method is performed, there is a risk that an outlier occurs, and the presence of this outlier significantly degrades the accuracy of the measured value. However, in the present embodiment, the initial reference plane is estimated using an initial image for testing, not an image actually used. As will be described later, this initial image is an image that is easy to recognize so that the above estimation can be performed with high accuracy. In the plane estimation step ST102, since the reference plane is estimated using this initial image, the outlier described above can be dramatically reduced and the estimation accuracy can be improved.
続いて、基準平面推定ステップＳＴ１０３について説明する。ここでは、ＳＴ１０２の基準平面の推定を判定する。上述の基準平面の推定の際に用いた、最小二乗法の演算により得られた二乗誤差和が予め決められた閾値（設定値）よりも小さいときは、基準平面の推定が成功したと判定する。この場合、接触判定ステップＳＴ１０７に進む。接触判定ステップＳＴ１０７では、基準平面から一定の距離の範囲内に存在する物体を、画像１１ａに接触する物体と認識する。たとえば、上述の閾値を３ｃｍとした場合、基準平面から３ｃｍ以内物体が存在するとき、画像１１ａに物体が接触したという判定をする。 Subsequently, the reference plane estimation step ST103 will be described. Here, the estimation of the reference plane in ST102 is determined. If the sum of squared errors obtained by the least squares method used in estimating the reference plane is smaller than a predetermined threshold (set value), it is determined that the estimation of the reference plane is successful. . In this case, the process proceeds to contact determination step ST107. In the contact determination step ST107, an object that exists within a certain distance from the reference plane is recognized as an object that contacts the image 11a. For example, when the threshold value is 3 cm, it is determined that an object has touched the image 11a when an object is within 3 cm from the reference plane.
本実施形態のように測定対象物１１を投影手段１５によって投影された投影面とした場合、測定対象物１１に書き込みを行ったり、タッチ操作のために測定対象物１１に触ったりすると、測定対象物１１は振動して数ｃｍ移動する。このため従来ならば３ｃｍといった閾値は誤判定のリスクを考えると適用できなかった。しかし、本実施の形態の画像処理装置１０（画像処理システム１）によれば、基準平面の推定を常に行いながらこの基準平面における接触判定を行うことになるため、上述の閾値を小さくすることができ、３ｃｍの閾値も採用することができる。閾値を小さくすると、実際には、測定対象物１１を触った時にのみタッチ動作が発生するように設定することが可能である。 When the measurement object 11 is a projection surface projected by the projection unit 15 as in the present embodiment, if the measurement object 11 is written or if the measurement object 11 is touched for a touch operation, the measurement object 11 The object 11 vibrates and moves several cm. Therefore, conventionally, a threshold value of 3 cm cannot be applied in view of the risk of erroneous determination. However, according to the image processing apparatus 10 (image processing system 1) of the present embodiment, the contact determination on the reference plane is performed while always estimating the reference plane. Therefore, the above threshold value can be reduced. A 3 cm threshold can also be employed. When the threshold value is reduced, in practice, it is possible to set the touch operation to occur only when the measurement object 11 is touched.
また、閾値を大きくした場合、少し測定対象物から離れていてもタッチ動作が発生するとなると、ユーザは大げさに手を測定対象物から離さないと、タッチしたままであると判定される。本実施形態のように投影面が移動する性質のある測定対象物１１であっても、常に安定した状態で正確な接触判定を行うことが可能であるため、閾値を小さく設定することができ、自然な動作での利用が可能である。 In addition, when the threshold value is increased, if a touch operation occurs even if the user is slightly away from the measurement object, it is determined that the user keeps touching unless the user exaggerates his / her hand from the measurement object. Even in the measurement object 11 having the property of moving the projection surface as in the present embodiment, it is possible to make an accurate contact determination in a stable state at all times, so the threshold value can be set small. It can be used in natural motion.
続いて、接触がないと判定された場合には、平面推定ステップＳＴ１０２へ戻る。一方、接触があった場合には、位置合わせステップＳＴ１０８に進み座標変換情報算出ステップＳＴ１０１で算出した座標変換情報を用いて、画像１１ａ上の接触した位置を、表示部の撮像された画像に変換する。これにより測定対象物１１に投影された画像１１ａに接触した位置が、表示部に表示される画像のどの位置に対応するかが判明する。以上の処理により、ユーザが触りたい表示部に表示される画像の位置が、表示部でタッチされる位置と一致するため、たとえば測定手段１３の位置をユーザが微調整する等の煩雑な操作は不要となる。 Then, when it determines with there being no contact, it returns to plane estimation step ST102. On the other hand, if there is contact, the process proceeds to the alignment step ST108, and the contact position on the image 11a is converted into a captured image of the display unit using the coordinate conversion information calculated in the coordinate conversion information calculation step ST101. To do. As a result, it becomes clear which position of the image displayed on the display unit the position in contact with the image 11a projected on the measurement object 11 corresponds to. With the above processing, the position of the image displayed on the display unit that the user wants to touch matches the position touched on the display unit. For example, a complicated operation such as fine adjustment of the position of the measurement unit 13 by the user is not necessary. It becomes unnecessary.
続いて、イベント発生ステップＳＴ１０９へと進む。イベント発生ステップＳＴ１０９では、既に述べたように、位置合わせステップＳＴ１０８により算出された表示部の接触位置において、マウスのクリックがなされた等のイベントを発生させる。また、そこから手を動かした際には、ドラッグイベントが発生し、手を離した場合にはマウスのボタンが放されたイベントが発生するものとする。 Then, it progresses to event generation step ST109. In the event generation step ST109, as described above, an event such as a mouse click is generated at the contact position of the display unit calculated in the alignment step ST108. It is also assumed that a drag event occurs when a hand is moved from there, and an event that a mouse button is released when the hand is released.
次に、二回目以降の平面推定ステップＳＴ１０２について説明をする。初回の平面推定ステップＳＴ１０２では、既に述べたように、投影された画像１１ａが存在する位置の情報に基づいて、基準となる平面（測定対象物１１の表面）の推定を行っていた。認識しやすい画像として用意された初期画像を用いて基準平面の推定を行う場合、高精度の測定が望めるが、一方で初期画像はテスト用画像であってユーザが投影したい画像ではないため、基準平面の推定をする毎に使用するのは実用的ではなく、円滑な議論の妨げにもなる。 Next, the second and subsequent plane estimation steps ST102 will be described. In the first plane estimation step ST102, as described above, the reference plane (the surface of the measurement object 11) is estimated based on the information on the position where the projected image 11a is present. When estimating the reference plane using the initial image prepared as an easy-to-recognize image, high-precision measurement can be expected, but on the other hand, the initial image is a test image and not the image that the user wants to project. It is impractical to use each time the plane is estimated, and it also hinders smooth discussion.
そのため二回目以降の平面推定ステップＳＴ１０２の処理は、前回の平面推定ステップＳＴ１０２で算出された基準平面から近い位置に存在する位置情報のデータ群だけを選別して、基準平面の算出を行うものとする。こうすることで測定手段１３と基準平面（測定対象物１１）との距離が、何らかの原因で変化しても、スムーズに算出を行うことができ、さらにユーザの望まない画像が投影される回数が減ることでユーザが快適に画像処理装置１０（画像処理システム１）を利用できることが期待される。二回目以降の基準平面の算出においても、初回と同様に上述の位置情報データ群を用いて最小二乗法を用いることにより算出される。 Therefore, in the second and subsequent plane estimation step ST102, only the position information data group present at a position close to the reference plane calculated in the previous plane estimation step ST102 is selected to calculate the reference plane. To do. In this way, even if the distance between the measuring means 13 and the reference plane (measurement object 11) changes for some reason, the calculation can be performed smoothly, and the number of times an image not desired by the user is projected. By reducing the number, it is expected that the user can use the image processing apparatus 10 (image processing system 1) comfortably. In the calculation of the reference plane for the second time and thereafter, it is calculated by using the least square method using the above-described position information data group as in the first time.
ここで、基準平面推定ステップＳＴ１０３において、二乗誤差和が予め設定した閾値よりも大きかった場合、平面の推定が失敗したと判断される。この時、第二の座標変換情報算出ステップＳＴ１０４によって、座標変換情報算出ステップＳＴ１０１と同様の座標変換情報が算出される。但し座標変換情報算出ステップＳＴ１０１では予め情報処理装置に保存された初期画像を使用したが、第二の座標変換情報算出手段１０４では現在投影されている画像を使用して同様の手順で第二の座標変換情報を算出する。具体的には後述するが、初期画像に比べ、ユーザが投影した画像と表示部の撮像された画像との位置対応における認識は容易ではないが、認識できた場合は、ユーザの望まない画像を頻繁に投影しなくて済むという利点がある。 Here, in the reference plane estimation step ST103, if the square error sum is larger than a preset threshold value, it is determined that the plane estimation has failed. At this time, the second coordinate conversion information calculation step ST104 calculates the same coordinate conversion information as the coordinate conversion information calculation step ST101. However, in the coordinate conversion information calculation step ST101, the initial image stored in advance in the information processing apparatus is used. However, the second coordinate conversion information calculation unit 104 uses the currently projected image and performs the second procedure in the same procedure. Coordinate conversion information is calculated. Although specifically described later, it is not easy to recognize the position correspondence between the image projected by the user and the image captured by the display unit compared to the initial image. There is an advantage that it is not necessary to project frequently.
次に、座標変換情報判定ステップＳＴ１０５では、第二の座標変換情報算出ステップＳＴ１０４で算出された第二の座標変換情報を用いて、投影された画像１１ａにおける、設定された任意の対応点、たとえば左上、右上、左下、右下の４点のそれぞれの位置が、算出された座標変換情報によって表示部の、撮像された画像のどこに射影されるかを見ることで、算出された第二の座標変換情報が適正か否かを判定する。 Next, in coordinate conversion information determination step ST105, using the second coordinate conversion information calculated in second coordinate conversion information calculation step ST104, an arbitrary corresponding point set in the projected image 11a, for example, The second coordinates calculated by seeing where the positions of the four points of the upper left, upper right, lower left, and lower right are projected on the captured image of the display unit by the calculated coordinate conversion information. It is determined whether or not the conversion information is appropriate.
ここで、座標変換情報が適正に算出されなかった場合、射影された上述の対応点がほぼ一点に収束する、もしくは、射影点が大きく画像の中から外れてしまう場合が多いことが経験的にわかっている。このため、射影された対応点同士が十分に離れていて、かつ射影点がほぼ撮影画面の大きさに含まれていれば、座標変換情報が適正に算出されたと判定できるものとする。 Here, when the coordinate conversion information is not properly calculated, it is experientially that the above-mentioned corresponding points that have been projected converge to almost one point, or the projected points are often large and out of the image. know. For this reason, if the projected corresponding points are sufficiently separated from each other and the projected points are substantially included in the size of the shooting screen, it can be determined that the coordinate conversion information is properly calculated.
次に、第二の座標変換情報が適正に算出されなかった場合には、座標変換情報算出ステップＳＴ１０１に戻り、再び初期画像を用いて座標変換情報の算出を行う。このように、基準平面の初期化を自動で行うことができる。一方で、座標変換情報が適正に算出されたと判定された場合には、第二の平面推定ステップＳＴ１０６により、平面推定ステップＳＴ１０２と同様の手順により、基準平面を推定する。尚、第二の平面推定ステップＳＴ１０６と平面推定ステップＳＴ１０２は全く同じ動作を行うものとする。以下、個々のステップの詳細について説明する。 Next, when the second coordinate conversion information is not properly calculated, the process returns to the coordinate conversion information calculation step ST101, and the coordinate conversion information is calculated again using the initial image. In this way, the reference plane can be automatically initialized. On the other hand, when it is determined that the coordinate conversion information has been properly calculated, the second plane estimation step ST106 estimates the reference plane by the same procedure as the plane estimation step ST102. The second plane estimation step ST106 and the plane estimation step ST102 perform exactly the same operation. Hereinafter, details of each step will be described.
（座標変換情報算出ステップＳＴ１０１）
続いて図４を用いて座標変換情報算出ステップＳＴ１０１について詳細に説明する。図４は、座標変換情報算出ステップＳＴ１０１の動作に係る詳細なフロー図である。座標変換情報の算出時にはまず、情報処理装置１７のＨＤＤ内に格納されている初期画像を読み出し（初期画像読み出しステップＳＴ２０１）、投影手段１５の投影面全面に、この読みだした初期画像を投影するように投影手段１５へ命令する（投影命令ステップＳＴ２０２）。
(Coordinate conversion information calculation step ST101)
Next, the coordinate conversion information calculation step ST101 will be described in detail with reference to FIG. FIG. 4 is a detailed flowchart relating to the operation of the coordinate conversion information calculation step ST101. When calculating the coordinate conversion information, first, an initial image stored in the HDD of the information processing device 17 is read (initial image reading step ST201), and the read initial image is projected on the entire projection surface of the projection unit 15. Thus, the projection means 15 is commanded (projection command step ST202).
その後、投影された画像を撮像するようにカメラ１９に対して命令する（撮像命令ステップＳＴ２０３）。このとき、撮像された画像において投影した画像がぴったりと全面に合致していれば、ユーザが投影された画像１１ａに接触する位置が表示部でどこに対応するかの位置合わせを行う必要がない。しかし、ユーザがよほど正確に投影手段１５やカメラ１９、測定手段１３の位置を調整しない限り、ほとんどの場合、実際に投影された画像は縮小されたり、中心からずれたりしているのが普通である。さらに、よほど真正面から撮影されない限り、投影された画像にはパースペクティブ歪みがかかっている。この歪みを補正することを位置合わせを行うともいい、座標変換情報を利用する。 Thereafter, the camera 19 is commanded to capture the projected image (imaging command step ST203). At this time, if the projected image in the captured image exactly matches the entire surface, it is not necessary to align the position where the user touches the projected image 11a on the display unit. However, unless the user adjusts the position of the projection means 15, the camera 19, and the measurement means 13 so accurately, in most cases, the actually projected image is usually reduced or shifted from the center. is there. Furthermore, unless the image is taken from the very front, the projected image is subject to perspective distortion. Correcting this distortion is also referred to as alignment, and uses coordinate conversion information.
図５は、投影された画像の歪みを補正する概念を説明するための概略図である。図５左の図は、実際に投影される画像のイメージ図であり、通常投影されるこのようないびつな形状の画像（図５左ではいびつな四角形）を、図４右に示すような、初期画像をぴったりと含む正確な形状の画像（図５右では長方形）へ射影するような座標変換情報を算出する。 FIG. 5 is a schematic diagram for explaining the concept of correcting the distortion of the projected image. The figure on the left side of FIG. 5 is an image diagram of the actually projected image. An image of such an irregular shape that is normally projected (an irregular square on the left side of FIG. 5) is an initial image as shown on the right side of FIG. Coordinate conversion information is calculated so as to project onto an image having an exact shape including the image (rectangle on the right in FIG. 5).
このような座標変換情報の算出方法の詳細は後述する。上述の測定手段１３により測定された、投影された画像１１ａと撮像された画像との双方において、対応する位置に設定した任意の対応点４点に基づき、投影された画像１１ａへ撮像された画像を変換する座標変換情報を、演算手段を用いて算出することにより、双方における位置合わせを行う。すなわち、撮像された画像中の任意の４点が、投影された初期画像（画像）１１ａのどこに投影されるかを決定すれば良い。 Details of the method of calculating such coordinate conversion information will be described later. An image picked up on the projected image 11a based on any four corresponding points set at corresponding positions in both the projected image 11a and the picked-up image measured by the measuring means 13 described above. The coordinate conversion information for converting is calculated by using the calculation means, thereby aligning the two. That is, it is only necessary to determine where any four points in the captured image are projected in the projected initial image (image) 11a.
今回は図６のような単純なパターンの初期画像を用いた。この初期画像として画像１１ａにおいては、４隅に存在する十字マーク１１ｂの中心位置（対応点）１１ｘを撮影画像より検出すれば、初期画像において４隅の十字の中心位置（対応点）１１ｘが既知であるため、座標変換情報を容易に算出できる。 This time, an initial image having a simple pattern as shown in FIG. 6 was used. In the image 11a as the initial image, if the center position (corresponding point) 11x of the cross mark 11b existing at the four corners is detected from the photographed image, the center position (corresponding point) 11x of the four corners in the initial image is known. Therefore, the coordinate conversion information can be easily calculated.
図６示す画像１１ａは単純なパターンの画像であるため、撮影した画像を二値化して、大きな白い領域（無地のスペース）を検出し、その４隅近辺で十字マーク１１ｂを探すといった、極めて簡単な画像処理アルゴリズムにより、十字の中心位置１１ｘを検出することができる。 Since the image 11a shown in FIG. 6 is a simple pattern image, the captured image is binarized, a large white area (solid space) is detected, and the cross mark 11b is searched in the vicinity of the four corners. The center position 11x of the cross can be detected by a simple image processing algorithm.
（歪み補正のための座標変換情報の算出）
尚、使用する初期画像のパターンについては特に制限がないが、投影された初期画像と撮像された画像とで対応する４つの対応点のペアを検出する必要があるため、少なくともコーナーが４点取れるようなパターンを含む画像である必要がある。さらに言えば、コーナーを多数含むパターンである方が、後述するコーナー選別ステップＳＴ４０２で精度よく選別を行えるようになるため、コーナーを多く含むような画像であることが望ましい。また誤った対応点を検出しにくいような、非周期的な画像であることが望ましい。
(Calculation of coordinate conversion information for distortion correction)
Although there is no particular limitation on the pattern of the initial image to be used, it is necessary to detect four corresponding point pairs corresponding to the projected initial image and the captured image, so at least four corners can be taken. The image needs to include such a pattern. Furthermore, since a pattern including many corners can be selected with high precision in a corner selection step ST402 described later, an image including many corners is desirable. It is also desirable that the image be aperiodic so that it is difficult to detect an erroneous corresponding point.
このような初期画像として、具体的に挙げるとすれば、多くの様々な形の石が転がった画像や風になびく草原の画像等が挙げられる。そういった自然物の画像の中へ会社のロゴなどの人工的な画像を入れると、画像に非周期性が発露し後段の選別ステップ（コーナー選別ステップＳＴ４０２）がやりやすくなるので都合がよい。 Specific examples of such an initial image include an image in which many different shaped stones are rolled, an image of a grassland that flutters in the wind, and the like. Inserting an artificial image such as a company logo into such an image of a natural object is advantageous because non-periodicity appears in the image and the subsequent selection step (corner selection step ST402) becomes easy.
次に、求めたい座標変換情報は、撮影した画像中の点（ｘｎ，ｙｎ）を初期画像における点（ｘ´ｎ，ｙ´ｎ）に射影するような座標変換情報である。以下の式で示すように未知数が８となるため、８元連立方程式を立てて解くことが必要になる。
ここで撮影された画像中における４つの対応点（ｘｎ，ｙｎ）と初期画像における４つの対応点（ｘ´ｎ，ｙ´ｎ）を指定すればｘ，ｙそれぞれにつき４つの方程式、合わせて８つの方程式を作ることが可能であり、座標変換情報の要素を全て求めることが可能である。なお、添え字のｎ（０⊆ｎ⊆４）は各点のインデックス番号を示すものとする。４点を代入してまとめると以下の連立方程式になるので、これをＧａｕｓｓ−Ｊｏｒｄａｎ法等で数値解析的に解くと、変換情報を求めることができる。
（平面推定ステップＳＴ１０２）
平面推定ステップＳＴ１０２では、測定手段で測定した測定対象物の位置に基づいて、平面を推定する。つまり、３次元位置情報を用いてセンシングした空間における平面を推定する。まず、センシングした３次元点群を事前知識を用いて選別する。事前知識を用いるとは１回目の平面推定ステップＳＴ１０２の場合、座標変換情報算出ステップＳＴ１０１により算出された、投影された画像の位置に該当する３次元点群を選別することであり、また、二回目以降の平面推定ステップＳＴ１０２においては前回の平面推定ステップＳＴ１０２で算出された平面の近傍に存在する３次元点群を選別することである。選別された３次元位置群を用いて、具体的には演算手段により、最小二乗法を用いて演算し、その後これに基づくロバスト推定を行い、平面の位置を推定する。
(Plane estimation step ST102)
In the plane estimation step ST102, the plane is estimated based on the position of the measurement object measured by the measuring means. That is, the plane in the sensed space is estimated using the three-dimensional position information. First, the sensed three-dimensional point group is selected using prior knowledge. In the case of the first plane estimation step ST102, using prior knowledge means selecting a three-dimensional point group corresponding to the position of the projected image calculated in the coordinate conversion information calculation step ST101. In the plane estimation step ST102 after the first time, a three-dimensional point group existing in the vicinity of the plane calculated in the previous plane estimation step ST102 is selected. Using the selected three-dimensional position group, specifically, calculation is performed by the calculation means using the least square method, and then robust estimation based on the calculation is performed to estimate the plane position.
まず最小二乗法を用いた平面推定について説明する。
求めたい平面Ｚ＝ａｘ＋ｂｙ＋ｃ、３次元位置群は（Ｘ０，ｙ０，Ｚ０）、（Ｘ１，ｙ１，ｚ１）、・・・、（ｘｎ，ｙｎ，ｚｎ）とする。点（ｘｉ，ｙｉ，ｚｉ）と、平面の距離ｄはｄ＝ａＸｉ＋ｂｙｉ＋ｃ−Ｚｉなので全ての点列と平面の距離の二乗和Ｑは、
The plane Z = ax + by + c to be obtained is set to (X 0 , y 0 , Z 0 ), (X 1 , y 1 , z 1 ),..., (Xn, yn, zn). Since the distance d between the point (xi, yi, zi) and the plane is d = aXi + byi + c−Zi, the sum of squares Q of the distances between all point sequences and the plane is
これを最小にするために偏微分により
座標変換情報形式で書くと、以下のようになる。
通常は以上の処理だけで平面の推定が行えるが、問題となるのが外れ値の存在である。もし、利用した３次元点群がすべて平面に近傍に存在するならば、これだけで、正確な平面が推定できるが、多くの場合は観測データの中に平面上以外のデータも乗る。特に本実施の形態のような画像処理システム１（画像処理装置１０）においては、常に推定したい基準平面（ここでは測定対象物１１の表面）をユーザが触っている可能性があるため、外れ値を除去する手段が必須になる。 Normally, the plane can be estimated only by the above processing, but the problem is the presence of outliers. If all of the 3D point groups used are in the vicinity of the plane, an accurate plane can be estimated by this alone, but in many cases, data other than that on the plane is also included in the observation data. In particular, in the image processing system 1 (image processing apparatus 10) as in the present embodiment, there is a possibility that the user is touching the reference plane (here, the surface of the measurement object 11) to be always estimated. Means to remove the is essential.
本実施形態では、外れ値を除去するためにロバスト推定を用いた。まず選別した３次元点群を全サンプルとして、その中からランダムに部分サンプルを取り出す。該当する部分サンプルに対して最小二乗法を行って平面候補を挙げる。以上の処理を何度か行うと平面候補が複数算出されるが、それぞれの平面候補から所定の誤差範囲に含まれるサンプルの数がもっとも多いものをもっともらしい平面候補として選択する。この手法はＲＡＮＳＡＣと呼ばれるが、同様に平面候補ごとに算出した二乗誤差和の中間値が最小になる平面候補を選択する最少メジアン法と呼ばれる手法を用いても問題ない。 In this embodiment, robust estimation is used to remove outliers. First, the selected three-dimensional point group is taken as all samples, and partial samples are taken out of them at random. Plane candidates are obtained by performing a least-squares method on the corresponding partial sample. When the above processing is performed several times, a plurality of plane candidates are calculated, and the one having the largest number of samples included in the predetermined error range is selected as a plausible plane candidate from each plane candidate. This method is called RANSAC, but there is no problem even if a method called a least median method for selecting a plane candidate that minimizes the intermediate value of the sum of square errors calculated for each plane candidate is used.
（第二の座標変換情報算出ステップＳＴ１０４）
次に、第二の座標変換情報算出ステップＳＴ１０４について説明をする。座標変換情報算出ステップＳＴ１０１ではあらかじめ用意した認識がきわめて容易な初期画像を用いて、座標変換情報を算出した。一方、第二の座標変換情報算出ステップＳＴ１０４では前述の通りユーザが現在投影している画像を用いて座標変換情報を算出する。
(Second coordinate conversion information calculation step ST104)
Next, the second coordinate conversion information calculation step ST104 will be described. In the coordinate conversion information calculation step ST101, coordinate conversion information is calculated using an initial image prepared in advance that is extremely easy to recognize. On the other hand, in the second coordinate conversion information calculation step ST104, coordinate conversion information is calculated using the image currently projected by the user as described above.
座標変換情報算出ステップＳＴ１０１では撮像した画像と投影する画像とで４点の対応点を見つけたが、第二の座標変換情報算出ステップＳＴ１０４では多数の対応点を用いて座標変換情報を求める。これは、極めて認識しやすい初期画像を用いる場合は対応点である４点が高い確率で安定して検出できたが、ユーザの投影している画像では必ずしも上述の対応点に相当するような４点を検出できるとは限らないためである。しかし、多数の点を利用すれば比較的安定して座標変換情報を求めることが期待できる。 In the coordinate conversion information calculation step ST101, four corresponding points were found in the captured image and the projected image, but in the second coordinate conversion information calculation step ST104, coordinate conversion information is obtained using a number of corresponding points. In the case of using an initial image that is extremely easy to recognize, four corresponding points can be stably detected with a high probability, but in the image projected by the user, the corresponding four points do not necessarily correspond to the corresponding points described above. This is because a point cannot always be detected. However, if a large number of points are used, it can be expected that coordinate conversion information is obtained relatively stably.
まず最初に、投影された画像、および撮影された画像のそれぞれにおいて、ここでは第二の対応点として、特徴点（Ｋｅｙｐｏｉｎｔとも称する）を設定する。その後、各Ｋｅｙｐｏｉｎｔ周辺の特徴量を算出する。この一連の動作については非特許文献１記載の方法を用いるが、以下でその概略について述べる。図７はその処理フロー図である。 First, in each of the projected image and the captured image, a feature point (also referred to as a keypoint) is set as a second corresponding point here. Then, the feature amount around each Keypoint is calculated. For this series of operations, the method described in Non-Patent Document 1 is used, and the outline thereof will be described below. FIG. 7 is a flowchart of the processing.
まず、基準サイズ検出ステップＳＴ４０１を行う。投影された画像、および撮影された画像のそれぞれに対して画像処理を施し、基準サイズの検出とコーナーの位置検出を同時に行う。上述の各画像に対して段階的に標準偏差を変化させたガウシアンフィルタ５枚（σ０〜σ４）を施して、ぼかし画像を複数枚得る。 First, reference size detection step ST401 is performed. Image processing is performed on each of the projected image and the captured image, and the detection of the reference size and the position of the corner are simultaneously performed. By applying five Gaussian filters (σ 0 to σ 4 ) whose standard deviation is changed stepwise to each of the above images, a plurality of blurred images are obtained.
続いて各ぼかし画像において輝度的に極大、もしくは極小の位置を極値として検出する。検出した極値であって、かつ各ぼかし画像の対応する点を比較し、連続するぼかし画像においても極大、もしくは極小である点をコーナー候補として検出する。また、極値が得られたフィルタの標準偏差σｎを基準サイズとして保持する。 Subsequently, the position where the luminance is maximized or minimized in each blurred image is detected as an extreme value. The detected extreme values and corresponding points of each blurred image are compared, and a point that is maximal or minimal in consecutive blurred images is detected as a corner candidate. Further, the standard deviation σn of the filter from which the extreme value is obtained is held as a reference size.
続いて、コーナー選別ステップＳＴ４０２に進む。上述の検出された各コーナー候補について、変動が少ないもの、また変動が２方向に発生していないものを除去する。変動が１方向にしか発生していない点はたとえば直線状の点で対応する点が正確に取れないので、変動が２方向になっているものを選択するのである。変動が２方向になっているものを選択するには、まず各画素に対して、縦方向の２次微分と横方向の２次微分、及び縦横方向の微分図（図８）に示すようなフィルタを画像へ適用することで、縦方向、横方向、縦横方向の変動を示すような応答を求め、ヘシアンマトリクスを作成する。 Then, it progresses to corner selection step ST402. For each corner candidate detected as described above, those with little fluctuation and those with no fluctuation in two directions are removed. For the point where the fluctuation occurs only in one direction, for example, since the corresponding point cannot be accurately obtained by a linear point, the one having the fluctuation in two directions is selected. In order to select a pixel whose variation is in two directions, first, for each pixel, as shown in a vertical differential and a horizontal differential, and a vertical and horizontal differential diagram (FIG. 8). By applying the filter to the image, a response indicating fluctuations in the vertical direction, the horizontal direction, and the vertical and horizontal directions is obtained, and a Hessian matrix is created.
その固有値を求めると、最も変動の大きい方向とその変動成分αが求まる。同様に、該方向に直行する方向の変動成分βも求めることができる。図８に示すようなフィルタを画像に適用するとき、画像の構造に対してαとβがどのような値になるかの関係を図９に示す。尚、α＞βなので斜線部は存在しない。小さい方の変動βが十分に大きい場合、注目画素の周辺は少なくとも２つの方向に対して大きく変動しているということがいえるのでは該領域は、何もない領域ではなく、単純なエッジでもない。つまり、コーナーとして検出できる。 When the eigenvalue is obtained, the direction with the largest fluctuation and the fluctuation component α are obtained. Similarly, the fluctuation component β in the direction perpendicular to the direction can also be obtained. FIG. 9 shows the relationship between the values of α and β with respect to the image structure when the filter as shown in FIG. 8 is applied to the image. Since α> β, there is no hatched portion. If the smaller fluctuation β is sufficiently large, it can be said that the periphery of the pixel of interest is greatly fluctuating in at least two directions, and the area is not an empty area or a simple edge. . That is, it can be detected as a corner.
縦横方向に変動のある領域をコーナーとして検出すると斜め方向への変動を検出することができない。一方で斜め方向の変動を検出するために様々な方向の変動を検出すると非効率的であるが、固有値を求めて小さい方の変動βを調べると、最も変動が大きい方向に直行する変動が一意に求まる。小さいほうの変動が十分に大きければコーナーと判定することで、様々な向きを向いたコーナーを効率よく検出できるため、コーナー検出のための計算コストが小さくなる。 If a region that fluctuates in the vertical and horizontal directions is detected as a corner, the variation in the oblique direction cannot be detected. On the other hand, it is inefficient to detect fluctuations in various directions in order to detect fluctuations in the diagonal direction. However, if the smaller fluctuation β is examined by obtaining the eigenvalue, the fluctuation that goes straight in the direction with the largest fluctuation is unique. I want to. If the smaller variation is sufficiently large, it is possible to efficiently detect corners facing various directions by determining that the corner is a corner, and thus the calculation cost for corner detection is reduced.
次に、基準角度算出ステップＳＴ４０３に進む。基準角度算出ステップＳＴ４０３では、周辺の濃度勾配が最も大きい方向を基準角度として以下のように算出する。画像の画素値Ｌ（ｕ，ｖ）勾配強度ｍ（ｕ，ｖ）勾配方向θ（ｕ，ｖ）とすると、それぞれは以下の様に算出できる。
その後、勾配方向θ（ｕ，ｖ）を１０度ずつ、３６方向に離散化したヒストグラムを用意する。該ヒストグラムには、勾配強度ｍ（ｕ，ｖ）に対し、注目画素を中心とするガウシアンを掛け合わせた値を加算していく。該ヒストグラムに於いて最も大きな値を示す角度が最も変動が大きい方向、つまり基準方向となる。 Thereafter, a histogram is prepared in which the gradient direction θ (u, v) is discretized in 36 directions by 10 degrees. In the histogram, a value obtained by multiplying the gradient intensity m (u, v) by Gaussian centered on the target pixel is added. The angle showing the largest value in the histogram is the direction with the largest fluctuation, that is, the reference direction.
次に、特徴量算出ステップＳＴ４０４に進む。入力画像においてコーナーを中心として基準方向を上とし、また基準サイズσｎを用いてコーナー近辺の半径２σｎとなる領域を切り出し、一辺４ブロックの計１６ブロックに分割する。ブロックごとに４５度ずつ、８方向の勾配ヒストグラムを作成することにより、４×４×８＝１２８次元の特徴量が得られる。このように特徴量は基準サイズと基準角度を用いて正規化されているので、投影画像と撮影画像との間で画像の大きさの変化や回転が発生したとしても対応する点の特徴量は類似した値になりやすい。 Next, it progresses to feature-value calculation step ST404. In the input image, an area having a radius 2σn near the corner is cut out using the reference size σn with the reference direction as the center, and divided into 16 blocks, 4 blocks per side. By creating a gradient histogram in 8 directions at 45 degrees for each block, 4 × 4 × 8 = 128-dimensional feature values can be obtained. Since the feature amount is normalized by using the reference size and the reference angle in this way, the feature amount of the corresponding point even if a change or rotation of the image size occurs between the projected image and the captured image, It tends to be a similar value.
（特徴点間の比較と第二の座標変換情報の推定）
ここまでで、投影された画像と撮像された画像とで、それぞれ多数のＫｅｙｐｏｉｎｔおよびその周辺で正規化された特徴量が得られている。これらから第二の座標変換情報を求める。まず、投影された画像と撮像された画像とで特徴量のユークリッド距離を算出し、それぞれ最も近いものを選択することで、各Ｋｅｙｐｏｉｎｔの対応が取れているものとする。
(Comparison between feature points and estimation of second coordinate transformation information)
Up to this point, a large number of keypoints and normalized feature quantities are obtained for the projected image and the captured image, respectively. Second coordinate conversion information is obtained from these. First, it is assumed that the Euclidean distance of the feature amount is calculated from the projected image and the captured image, and the closest one is selected, so that each Keypoint can be handled.
ここで投影画像におけるＫｅｙｐｏｉｎｔの位置を点列として（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、・・・、（ｘｎ，ｙｎ，ｚｎ）とし、一方で撮影画像におけるＫｅｙｐｏｉｎｔの位置を点列として、（ｘ´０，ｙ´０，ｚ´０）、（ｘ´１，ｙ´１，ｚ´１）、・・・、（ｘ´ｎ，ｙ´ｎ，ｚ´ｎ）とする。尚、添え字が同じなら対応する点であると判定する。 Here, (x 0 , y 0 , z 0 ), (x 1 , y 1 , z 1 ),..., (Xn, yn, zn) are taken while the position of Keypoint in the projected image is a point sequence. the position of the Keypoint in the image as a point sequence, (x'0, y'0, z'0), (x'1, y'1, z'1), ···, (x'n, y'n , Z′n). If the subscripts are the same, it is determined that the corresponding point.
第二の座標変換情報をＨとすると、
投影面として例えば、会議等でホワイトボードなどの投影面に投影手段を投影する場合、ホワイトボードは書いたり触ったりする度に振動する。しかも可動式のホワイトボードの場合書いたり接触したりする動作で移動してしまうことも多い。このため、上述のような原因により、投影面が移動し、たとえば測定手段と投影面との距離が事前に計測したものより近くなってしまった場合、投影面そのものが投影面に近い距離にあると判定され、常に接触判定される等の誤判定が生じることになる。そこで、常に安定した状態で正確な判定を行うことが可能になる。 For example, when projecting means is projected onto a projection surface such as a whiteboard at a meeting or the like as the projection surface, the whiteboard vibrates whenever it is written or touched. Moreover, in the case of a movable whiteboard, it often moves by writing or touching. For this reason, when the projection plane moves due to the above-mentioned causes, for example, when the distance between the measuring means and the projection plane becomes closer than that measured in advance, the projection plane itself is close to the projection plane. And erroneous determination such as a contact determination always occurs. Therefore, it is possible to make an accurate determination in a stable state at all times.
以上の説明から明らかなように、本実施形態の画像処理装置１０（画像処理システム１）は、投影面が移動する性質のある測定対象物１１であっても、常に安定した状態で正確な接触判定を行うことができる。 As is clear from the above description, the image processing apparatus 10 (image processing system 1) of the present embodiment is always in a stable state and accurate contact even with the measurement object 11 having the property of moving the projection plane. Judgment can be made.
尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。たとえば、本実施例では、別個の投影手段、カメラ、測定手段を用いたが、たとえばそのうちの一部が一体型であっても全く問題なく機能する。 The above-described embodiment is a preferred embodiment of the present invention, but is not limited thereto, and various modifications can be made without departing from the gist of the present invention. For example, in this embodiment, separate projection means, camera, and measurement means are used. However, even if some of them are integrated, for example, they function without any problem.
また近年では投影手段機能のついたスマートフォンなども販売されているが、そこに測定手段を追加して本システムを構成することも可能である。また、第二の座標変換情報は、平面推定の際と同様にロバスト推定を用いることも可能である。また、本実施例で用いた初期画像を用いた座標変換情報の推定手法は十分に精度が高いが、ユーザに所定のポイントの接触を促す手法をとればより精度の高い情報推定が可能である。 In recent years, smartphones and the like having a projecting means function are also sold, but it is also possible to configure the system by adding measuring means thereto. The second coordinate conversion information can also use robust estimation as in the case of plane estimation. In addition, the coordinate conversion information estimation method using the initial image used in the present embodiment is sufficiently accurate, but more accurate information estimation is possible by using a method that prompts the user to touch a predetermined point. .
１ 画像処理システム
１０ 画像処理装置
１１ 測定対象物
１１ａ 画像
１１ｂ 十字マーク
１１ｘ 対応点
１３ 測定手段
１５ 投影手段
１７ 情報処理装置
１９ カメラ（撮像手段）
１０１ 座標変換情報算出手段
１０２ 平面推定手段
１０３ 基準平面推定手段
１０５ 座標変換情報判定手段
１０７ 接触判定手段
１０８ 変換手段
１０９ イベント発生手段
DESCRIPTION OF SYMBOLS 1 Image processing system 10 Image processing apparatus 11 Measurement object 11a Image 11b Cross mark 11x Corresponding point 13 Measuring means 15 Projecting means 17 Information processing apparatus 19 Camera (imaging means)
101 coordinate conversion information calculation means 102 plane estimation means 103 reference plane estimation means 105 coordinate conversion information determination means 107 contact determination means 108 conversion means 109 event generation means
Claims (9)
前記基準平面から一定の距離の範囲内に存在する物体を、前記画像に接触する物体であると判定する接触判定手段と、
を備えた
ことを特徴とする画像処理装置。 Plane estimation means for estimating a reference plane of the image based on the distance between the measurement object including the image and the measurement means for measuring the measurement object;
Contact determination means for determining that an object existing within a certain distance from the reference plane is an object in contact with the image;
An image processing apparatus comprising:
前記投影された画像を撮像手段で撮像した画像データにおける前記対応点に相当する位置とに基づいて座標変換情報を算出する座標変換情報算出手段を更に備えた
ことを特徴とする請求項２に記載の画像処理装置。 Corresponding points set in the image projected by the projection means;
The coordinate conversion information calculation unit that calculates coordinate conversion information based on a position corresponding to the corresponding point in image data obtained by imaging the projected image with an imaging unit is further provided. Image processing apparatus.
前記最小二乗法による二乗誤差和が予め決められた設定値よりも小さいときは、前記基準平面の推定が成功したと判定し、
前記二乗誤差和が、前記設定値よりも大きいときは前記基準平面の推定が失敗したものと判定する基準平面推定手段を更に備えた
ことを特徴とする請求項３または請求項４に記載の画像処理装置。 When estimating the reference plane using a least squares method based on the measured distance,
When the square error sum by the least square method is smaller than a predetermined set value, it is determined that the estimation of the reference plane is successful,
5. The image according to claim 3, further comprising a reference plane estimation unit that determines that the estimation of the reference plane has failed when the square error sum is larger than the set value. Processing equipment.
前記投影手段により投影されている画像における任意の対応点と、
前記撮像手段により撮像された画像データにおける、前記任意の対応点に相当する位置とに基づいて、
前記投影手段により投影されている画像へ前記撮像手段により撮像された画像データを変換する第二の座標変換情報を算出する
ことを特徴とする請求項５に記載の画像処理装置。 If the reference plane estimation fails,
Any corresponding points in the image projected by the projection means;
Based on the position corresponding to the arbitrary corresponding point in the image data imaged by the imaging means,
6. The image processing apparatus according to claim 5, wherein second coordinate conversion information for converting image data captured by the imaging unit into an image projected by the projection unit is calculated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012255055A JP2014102183A (en) | 2012-11-21 | 2012-11-21 | Image processing apparatus and image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012255055A JP2014102183A (en) | 2012-11-21 | 2012-11-21 | Image processing apparatus and image processing system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014102183A true JP2014102183A (en) | 2014-06-05 |
Family
ID=51024798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012255055A Pending JP2014102183A (en) | 2012-11-21 | 2012-11-21 | Image processing apparatus and image processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014102183A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016099742A (en) * | 2014-11-19 | 2016-05-30 | 株式会社東芝 | Information processing device, video projection device, information processing method and program |
| JP2016122179A (en) * | 2014-12-25 | 2016-07-07 | パナソニックＩｐマネジメント株式会社 | Projection device and projection method |
| WO2017213124A1 (en) * | 2016-06-08 | 2017-12-14 | パラマウントベッド株式会社 | Rehabilitation assistance control device and computer program |
| JP2017217491A (en) * | 2017-07-04 | 2017-12-14 | パラマウントベッド株式会社 | Rehabilitation support system and computer program |
-
2012
- 2012-11-21 JP JP2012255055A patent/JP2014102183A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016099742A (en) * | 2014-11-19 | 2016-05-30 | 株式会社東芝 | Information processing device, video projection device, information processing method and program |
| JP2016122179A (en) * | 2014-12-25 | 2016-07-07 | パナソニックＩｐマネジメント株式会社 | Projection device and projection method |
| WO2017213124A1 (en) * | 2016-06-08 | 2017-12-14 | パラマウントベッド株式会社 | Rehabilitation assistance control device and computer program |
| JP2017217268A (en) * | 2016-06-08 | 2017-12-14 | パラマウントベッド株式会社 | Rehabilitation support control device and computer program |
| CN109219426A (en) * | 2016-06-08 | 2019-01-15 | 八乐梦医用床有限公司 | Rehabilitation training sub-controlling unit and computer program |
| JP2017217491A (en) * | 2017-07-04 | 2017-12-14 | パラマウントベッド株式会社 | Rehabilitation support system and computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6195915B2 (en) | Image measuring device | |
| US9470511B2 (en) | Point-to-point measurements using a handheld device | |
| TWI544447B (en) | System and method for augmented reality | |
| US9398210B2 (en) | Methods and systems for dealing with perspective distortion in connection with smartphone cameras | |
| JP6089722B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US9633450B2 (en) | Image measurement device, and recording medium | |
| JP5802247B2 (en) | Information processing device | |
| US10310675B2 (en) | User interface apparatus and control method | |
| US9303982B1 (en) | Determining object depth information using image data | |
| CN102508578B (en) | Projection positioning device and method as well as interaction system and method | |
| KR20160117207A (en) | Image analyzing apparatus and image analyzing method | |
| KR101533320B1 (en) | Apparatus for acquiring 3 dimension object information without pointer | |
| US11015930B2 (en) | Method for 2D picture based conglomeration in 3D surveying | |
| TW201510771A (en) | Pointing direction detecting device and its method, program and computer readable-medium | |
| JP2016091457A (en) | Input device, fingertip-position detection method, and computer program for fingertip-position detection | |
| JP2014102183A (en) | Image processing apparatus and image processing system | |
| CN110766751B (en) | Unmanned aerial vehicle hovering precision self-measuring method based on ground marker | |
| TWI417774B (en) | Optical distance determination device, optical touch monitor system and method for measuring distance of a touch point on an optical touch panel | |
| US9041689B1 (en) | Estimating fingertip position using image analysis | |
| JP2016217944A (en) | Measurement device and measurement method | |
| JP2005267257A (en) | Handwritten information input system | |
| TWI699705B (en) | Position determination methods and systems for vehicle, and related computer program prodcuts | |
| KR102243884B1 (en) | Method for inspecting product based on vector modeling and Apparatus thereof | |
| JP6342832B2 (en) | Input device | |
| CN116974400B (en) | Screen touch recognition method, device, equipment and storage medium |