JP6464624B2 - Image processing system, image processing apparatus, method, and program - Google Patents
Image processing system, image processing apparatus, method, and program Download PDFInfo
- Publication number
- JP6464624B2 JP6464624B2 JP2014185878A JP2014185878A JP6464624B2 JP 6464624 B2 JP6464624 B2 JP 6464624B2 JP 2014185878 A JP2014185878 A JP 2014185878A JP 2014185878 A JP2014185878 A JP 2014185878A JP 6464624 B2 JP6464624 B2 JP 6464624B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- drawing instruction
- effective image
- image processing
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、ユーザが指示した描画画像を生成して表示する画像処理システムに関し、より詳細には、描画画像の座標の算出精度を向上させる画像処理システム、画像処理装置、方法およびプログラムに関する。 The present invention relates to an image processing system that generates and displays a drawing image instructed by a user, and more particularly to an image processing system, an image processing apparatus, a method, and a program that improve the calculation accuracy of coordinates of a drawing image.
従来、企業や教育機関、行政機関等における会議等において、ＰＣ等の情報処理装置が提供する画像を表示すると共に、ユーザが指示した任意の描画を表示する可能な画像処理システムが利用されている。 2. Description of the Related Art Conventionally, an image processing system capable of displaying an image provided by an information processing apparatus such as a PC and displaying an arbitrary drawing instructed by a user is used at a meeting in a company, an educational institution, an administrative organization, or the like. .
このような画像処理システムの一例として、特許文献１は、光を発散する光源型指示部材と、ユーザが光源型指示部材を用いて指示した描画指示座標に描画画像を表示する画像処理装置とを含む光学式座標入力装置を開示する。この光学式座標入力装置では、画像処理装置の周辺部に設置された入射光検出部が、光源型指示部材が発する光を検知し、その入射角に基づいて描画指示座標を算出する。 As an example of such an image processing system, Patent Literature 1 discloses a light source type indicating member that diverges light and an image processing device that displays a drawing image at drawing instruction coordinates specified by a user using the light source type indicating member. An optical coordinate input device is disclosed. In this optical coordinate input device, an incident light detection unit installed in the peripheral part of the image processing device detects light emitted from the light source type indicating member, and calculates drawing instruction coordinates based on the incident angle.
しかしながら、特許文献１が開示する光学式座標入力装置では、光源型指示部材の発する光が、ユーザの把持手等によって部分的に遮断された場合、入射光検出部から見た発光点と本来の発光点との間にズレが生じる恐れがある。このため、実際に算出した光の入射角と、本来の算出されるべき光の入射角との誤差が生じ、その結果、描画指示座標に誤差が生じて描画精度が低下するという問題があった。 However, in the optical coordinate input device disclosed in Patent Document 1, when the light emitted from the light source type indicating member is partially blocked by a user's gripping hand or the like, the light emission point viewed from the incident light detection unit and the original There is a risk of deviation from the light emitting point. For this reason, there is an error between the actually calculated light incident angle and the light incident angle that should be originally calculated. As a result, there is a problem in that the drawing instruction coordinates have an error and the drawing accuracy is lowered. .
本発明は上述した課題を解決するものであり、ユーザが描画指示した座標の誤差を防止して描画精度を向上させる画像処理システム、画像処理装置、方法およびプログラムを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide an image processing system, an image processing apparatus, a method, and a program that improve the drawing accuracy by preventing an error in coordinates instructed by a user to draw.
本発明の画像処理システムは、描画画像を処理する画像処理装置と、発光手段を備える描画指示装置とを含む。画像処理装置は、当該画像処理装置の表示手段の周辺部に設置された複数の撮影装置が提供する撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択し、有効画像を用いて描画画像の座標を算出する。画像処理装置は、ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択する。 The image processing system of the present invention includes an image processing apparatus that processes a drawn image and a drawing instruction apparatus that includes a light emitting unit. The image processing device selects an effective image to be used for calculating the coordinates of the drawn image from among the captured images provided by the plurality of imaging devices installed in the periphery of the display unit of the image processing device, and selects the effective image. To calculate the coordinates of the drawn image. The image processing apparatus selects an effective image in which the light emitting means of the drawing instruction apparatus in the captured image is not lost by the user's gripping hand.
本発明の画像処理システムは、ユーザが描画指示した座標の誤差を防止して描画精度を向上させることができる。 The image processing system of the present invention can improve drawing accuracy by preventing an error in coordinates instructed by a user to draw.
図１は、本発明の画像処理システム１００を示す。画像処理システム１００は、画像処理装置１１０と、画像提供装置１２０とを含む。画像処理装置１１０は、画像提供装置１２０が提供する画像を表示すると共に、ユーザが描画指示装置１３０を用いて指示した描画画像を生成して表示する装置である。 FIG. 1 shows an image processing system 100 of the present invention. The image processing system 100 includes an image processing device 110 and an image providing device 120. The image processing apparatus 110 is an apparatus that displays an image provided by the image providing apparatus 120 and generates and displays a drawing image instructed by the user using the drawing instruction apparatus 130.
画像処理装置１１０は、撮影装置１１１ａ〜１１１ｄと、表示部１１２とを備える。撮影装置１１１ａ〜１１１ｄは、表示部１１２の周辺部に設置され、表示部１１２の表面部を撮影する装置である。 The image processing apparatus 110 includes photographing apparatuses 111 a to 111 d and a display unit 112. The imaging devices 111 a to 111 d are devices that are installed in the periphery of the display unit 112 and image the surface portion of the display unit 112.
図１に示す実施形態では、撮影装置１１１ａ〜１１１ｄが、表示部１１２の４つの角に設置される。他の実施形態では、撮影装置を表示部１１２の２または３つの角に設置してもよい。さらに他の実施形態では、複数の撮影装置を表示部１１２の角以外の周辺部に設置してもよく、また、複数の撮影装置を角および角以外の周辺部に設置してもよい。さらに、図１に示す実施形態では、撮影装置１１１ａ〜１１１ｄが画像処理装置１１０と一体的に構成されるが、他の実施形態では、撮影装置１１１ａ〜１１１ｄを独立した装置として構成してもよい。 In the embodiment shown in FIG. 1, the imaging devices 111 a to 111 d are installed at four corners of the display unit 112. In other embodiments, the imaging device may be installed at two or three corners of the display unit 112. In still another embodiment, a plurality of imaging devices may be installed in a peripheral portion other than the corner of the display unit 112, and a plurality of imaging devices may be installed in a peripheral portion other than the corner and the corner. Furthermore, in the embodiment shown in FIG. 1, the imaging devices 111a to 111d are configured integrally with the image processing device 110, but in other embodiments, the imaging devices 111a to 111d may be configured as independent devices. .
表示部１１２は、ユーザが描画指示装置１３０を用いて指示した描画画像を表示する手段である。描画指示装置１３０は、光を発する発光部を備え、ユーザが把持可能な装置である。 The display unit 112 is a unit that displays a drawing image instructed by the user using the drawing instruction device 130. The drawing instruction device 130 includes a light emitting unit that emits light, and is a device that can be held by a user.
画像提供装置１２０は、画像処理装置１１０の表示部１１２に表示すべき画像を提供する情報処理装置である。画像提供装置１２０は、有線または無線通信により、表示対象の画像を画像処理装置１１０に提供する。 The image providing apparatus 120 is an information processing apparatus that provides an image to be displayed on the display unit 112 of the image processing apparatus 110. The image providing apparatus 120 provides an image to be displayed to the image processing apparatus 110 by wired or wireless communication.
図２は、画像処理装置１１０のハードウェア構成を示す図である。以下、図２を参照して、画像処理装置１１０のハードウェア機能について説明する。 FIG. 2 is a diagram illustrating a hardware configuration of the image processing apparatus 110. Hereinafter, the hardware function of the image processing apparatus 110 will be described with reference to FIG.
画像処理装置１１０は、ＣＰＵ２００と、ＲＯＭ２０１と、ＲＡＭ２０２と、ハードディスク装置（ＨＤＤ）２０３と、ネットワークインタフェース（Ｉ／Ｆ）２０４と、撮影装置１１１ａ〜１１１ｄと、表示部１１２とを備える。 The image processing apparatus 110 includes a CPU 200, a ROM 201, a RAM 202, a hard disk device (HDD) 203, a network interface (I / F) 204, photographing devices 111a to 111d, and a display unit 112.
ＣＰＵ２００は、本発明のプログラムを実行する演算装置である。ＲＯＭ２０１は、ブートプログラム等のデータが保存される不揮発性メモリである。ＲＡＭ２０２は、プログラムの実行空間を提供する不揮発性メモリである。ＨＤＤ２０３は、本発明のプログラム等のデータが保存される不揮発性メモリである。通信制御装置２０４は、画像提供装置１２０および描画指示装置１３０との通信を制御する装置である。ＣＰＵ２００は、種々のＯＳの下で本発明のプログラムをＨＤＤ２０３から取得し、ＲＡＭ２０２に展開して実行することにより、後述する機能を画像処理装置１１０上で実現する。 The CPU 200 is an arithmetic device that executes the program of the present invention. The ROM 201 is a non-volatile memory that stores data such as a boot program. The RAM 202 is a nonvolatile memory that provides a program execution space. The HDD 203 is a non-volatile memory that stores data such as the program of the present invention. The communication control device 204 is a device that controls communication with the image providing device 120 and the drawing instruction device 130. The CPU 200 obtains the program of the present invention from the HDD 203 under various OSs, develops it in the RAM 202, and executes it, thereby realizing functions to be described later on the image processing apparatus 110.
図３は、画像処理装置１１０の機能構成を示す図である。以下、図３を参照して、画像処理装置１１０の機能について説明する。 FIG. 3 is a diagram illustrating a functional configuration of the image processing apparatus 110. Hereinafter, the function of the image processing apparatus 110 will be described with reference to FIG.
画像処理装置１１０は、撮影装置制御部３００と、接触位置情報受信部３０１と、傾斜情報受信部３０２と、表示制御部３０３と、有効画像選択部３０４と、描画座標算出部３０９と、描画画像生成部３１０と、把持手情報更新部３１１とを有する。本実施形態では、これらの手段はＲＡＭ２０２に展開されるプログラムに実装されるが、他の実施形態では、これらの手段をＡＳＩＣ等の半導体集積回路によって実現してもよい。 The image processing device 110 includes an imaging device control unit 300, a contact position information reception unit 301, a tilt information reception unit 302, a display control unit 303, an effective image selection unit 304, a drawing coordinate calculation unit 309, and a drawing image. A generation unit 310 and a grasping hand information update unit 311 are included. In the present embodiment, these means are implemented in a program developed in the RAM 202, but in other embodiments, these means may be realized by a semiconductor integrated circuit such as an ASIC.
撮影装置制御部３００は、撮影装置１１１ａ〜１１１ｄを制御する手段である。撮影装置制御部３００は、撮影装置１１１ａ〜１１１ｄに撮影処理を実行させて撮影画像を生成する。 The imaging device control unit 300 is means for controlling the imaging devices 111a to 111d. The imaging device control unit 300 causes the imaging devices 111a to 111d to perform an imaging process to generate a captured image.
接触位置情報受信部３０１は、画像処理装置１１０の表示部１１２に接触した物体の座標を示す接触位置情報を受信する手段である。表示部１１２に接触センサが設置される実施形態では、接触位置情報受信部３０１は、当該接触センサが提供する接触位置情報を受信し、画像処理装置１１０の記憶装置に保存する。 The contact position information receiving unit 301 is means for receiving contact position information indicating the coordinates of an object that has touched the display unit 112 of the image processing apparatus 110. In an embodiment in which a contact sensor is installed on the display unit 112, the contact position information receiving unit 301 receives the contact position information provided by the contact sensor and stores it in the storage device of the image processing apparatus 110.
傾斜情報受信部３０２は、描画指示装置１３０の傾斜方向を示す傾斜情報を受信する手段である。描画指示装置１３０が当該描画指示装置の傾斜方向を検出するセンサを備える実施形態では、傾斜情報受信部３０２は、描画指示装置１３０が提供する傾斜情報を受信する。 The inclination information receiving unit 302 is means for receiving inclination information indicating the inclination direction of the drawing instruction apparatus 130. In an embodiment in which the drawing instruction device 130 includes a sensor that detects the inclination direction of the drawing instruction device, the inclination information receiving unit 302 receives inclination information provided by the drawing instruction device 130.
表示制御部３０３は、画像処理装置１１０の表示部１１２を制御する手段である。表示制御部３０３は、描画画像生成部３１０が生成する描画画像を表示部１１２に表示する。 The display control unit 303 is means for controlling the display unit 112 of the image processing apparatus 110. The display control unit 303 displays the drawing image generated by the drawing image generation unit 310 on the display unit 112.
有効画像選択部３０４は、撮影装置１１１ａ〜１１１ｄの撮影画像の中から描画画像の座標の算出に使用する画像（以下、「有効画像」とする。）を選択する手段である。有効画像選択部３０４は、接触位置情報判別部３０５と、有効画像判断部３０６と、傾斜方向判断部３０７と、把持手情報保存部３０８とを備える。 The effective image selection unit 304 is means for selecting an image (hereinafter referred to as “effective image”) used for calculating the coordinates of the drawn image from the captured images of the imaging apparatuses 111a to 111d. The effective image selection unit 304 includes a contact position information determination unit 305, an effective image determination unit 306, an inclination direction determination unit 307, and a gripping hand information storage unit 308.
接触位置情報判別部３０５は、接触位置情報受信部３０１が受信した接触位置情報を判別して、描画指示装置１３０の接触位置情報と、ユーザの把持手の接触位置情報とに分類する手段である。接触位置情報判別部３０５は、接触位置情報によって形成される接触領域の大きさに基づいて、描画指示装置１３０の接触位置情報と、把持手の接触位置情報とを判別することができる。 The contact position information determination unit 305 is a unit that determines the contact position information received by the contact position information reception unit 301 and classifies the contact position information into the contact position information of the drawing instruction device 130 and the contact position information of the user's gripping hand. . The contact position information determination unit 305 can determine contact position information of the drawing instruction device 130 and contact position information of the gripper based on the size of the contact area formed by the contact position information.
具体的には、描画指示装置１３０の接触領域は、描画指示装置１３０の先端部の大きさと同等であることが想定されるため、描画指示装置１３０の先端部と同等の大きさの接触領域を描画指示装置１３０の接触領域とみなし、接触位置情報判別部３０５は、当該接触領域を形成する接触位置情報を、描画指示装置１３０の接触位置情報であると判断し、それ以外の大きさの接触領域を、把持手の接触位置情報であると判断する。 Specifically, since the contact area of the drawing instruction device 130 is assumed to be equal to the size of the tip portion of the drawing instruction device 130, the contact area having the same size as the tip portion of the drawing instruction device 130 is set. The contact position information determination unit 305 regards the contact position information that forms the contact area as the contact position information of the drawing instruction apparatus 130, and regards the contact position information of other sizes as the contact area of the drawing instruction apparatus 130. The area is determined to be contact position information of the gripping hand.
有効画像判断部３０６は、ユーザの把持手の位置や描画指示装置１３０の傾斜方向、撮影画像の生成元等の情報を用いて、有効画像を判断する手段である。 The effective image determination unit 306 is a unit that determines an effective image using information such as the position of the user's gripping hand, the inclination direction of the drawing instruction device 130, and the generation source of the captured image.
傾斜方向判断部３０７は、描画指示装置１３０の傾斜方向を判断する手段である。傾斜方向判断部３０７は、描画指示装置１３０が提供する傾斜情報または撮影装置１１１ａ〜１１１ｄの撮影画像を用いて、描画指示装置１３０の傾斜方向を判断する。 The tilt direction determination unit 307 is a unit that determines the tilt direction of the drawing instruction device 130. The inclination direction determination unit 307 determines the inclination direction of the drawing instruction apparatus 130 using the inclination information provided by the drawing instruction apparatus 130 or the captured images of the imaging apparatuses 111a to 111d.
把持手情報保存部３０８は、ユーザの把持手の位置を示す把持手情報を画像処理装置１１０の記憶装置に保存する手段である。 The gripping hand information storage unit 308 is means for storing gripping hand information indicating the position of the user's gripping hand in the storage device of the image processing apparatus 110.
描画座標算出部３０９は、ユーザが描画を指示した座標（以下、「描画座標」とする。）を算出する手段である。描画座標算出部３０９は、撮影装置１１１ａ〜１１１ｄの撮影画像を使用して描画座標を算出する。撮影装置１１１ａ〜１１１ｄの撮影画像には、図４に示すように、それぞれ描画指示装置１３０の発光部が含まれる。描画座標算出部３０９は、各撮影装置の撮影画像に含まれる発光部の中心点と、各撮影装置の中心点とを結ぶ直線を算出し、これらの直線の交点の座標を描画座標として算出する。 The drawing coordinate calculation unit 309 is a means for calculating coordinates (hereinafter referred to as “drawing coordinates”) at which the user has instructed drawing. The drawing coordinate calculation unit 309 calculates drawing coordinates using the captured images of the imaging devices 111a to 111d. The captured images of the imaging devices 111a to 111d each include a light emitting unit of the drawing instruction device 130 as shown in FIG. The drawing coordinate calculation unit 309 calculates a straight line connecting the center point of the light emitting unit included in the captured image of each imaging device and the center point of each imaging device, and calculates the coordinates of the intersection of these straight lines as the drawing coordinates. .
描画画像生成部３１０は、描画座標に基づいて描画画像を生成する手段である。描画画像生成部３１０は、描画座標が示す画素の値を所定の値に変更して描画画像を生成する。 The drawing image generation unit 310 is a unit that generates a drawing image based on the drawing coordinates. The drawing image generation unit 310 changes the pixel value indicated by the drawing coordinates to a predetermined value and generates a drawing image.
把持手情報更新部３１１は、画像処理装置１１０の記憶装置に保存されている把持手情報を更新する手段である。 The gripping hand information update unit 311 is means for updating the gripping hand information stored in the storage device of the image processing apparatus 110.
図５は、本発明の画像処理装置が実行する処理を示すフローチャートである。以下、図５を参照して、撮影装置１１１ａ〜１１１ｄの撮影画像から有効画像を選択し、描画画像を生成する処理について説明する。 FIG. 5 is a flowchart showing processing executed by the image processing apparatus of the present invention. Hereinafter, with reference to FIG. 5, a process for selecting a valid image from the captured images of the image capturing apparatuses 111 a to 111 d and generating a drawing image will be described.
図５の処理は、ステップＳ５００から開始し、ステップＳ５０１で有効画像選択部３０４が、後述する有効画像の選択処理を実行して、描画画像の位置の特定に使用する有効画像を選択する。ステップＳ５０２では、描画座標算出部３０９が、有効画像の選択処理で選択された有効画像を用いて描画座標を算出する。ステップＳ５０３では、描画画像生成部３１０が、ステップＳ５０２で算出した描画座標を用いて描画画像を生成する。ステップＳ５０４では、表示制御部３０３が描画画像を表示部１１２に表示し、ステップＳ５０５で処理が終了する。 The process of FIG. 5 starts from step S500, and in step S501, the effective image selection unit 304 executes an effective image selection process to be described later, and selects an effective image used for specifying the position of the drawing image. In step S502, the drawing coordinate calculation unit 309 calculates the drawing coordinates using the effective image selected in the effective image selection process. In step S503, the drawing image generation unit 310 generates a drawing image using the drawing coordinates calculated in step S502. In step S504, the display control unit 303 displays the drawn image on the display unit 112, and the process ends in step S505.
図６は、有効画像の選択処理の一実施形態を示すフローチャートである。以下、図６を参照して、表示部１１２に対する接触位置情報を用いてユーザの把持手の位置を特定し、有効画像を選択する処理について説明する。 FIG. 6 is a flowchart illustrating an embodiment of an effective image selection process. Hereinafter, with reference to FIG. 6, processing for specifying the position of the user's gripping hand using the contact position information on the display unit 112 and selecting an effective image will be described.
図６に示す処理はステップＳ６００から開始し、ステップＳ６０１で有効画像選択部３０４の接触位置情報判別部３０５が、画像処理装置１１０の記憶装置に保存されている最新の接触位置情報を取得する。ステップＳ６０２では、接触位置情報判別部３０５は、ステップＳ６０１で取得した接触位置情報を判別して、描画指示装置１３０の接触位置情報と、当該描画指示装置を把持するユーザの把持手の接触位置情報とに分類する。 The process shown in FIG. 6 starts from step S600, and in step S601, the contact position information determination unit 305 of the effective image selection unit 304 acquires the latest contact position information stored in the storage device of the image processing apparatus 110. In step S602, the contact position information determination unit 305 determines the contact position information acquired in step S601, the contact position information of the drawing instruction device 130, and the contact position information of the gripping hand of the user holding the drawing instruction device. And classify.
ステップＳ６０３では、有効画像判断部３０６が、描画指示装置１３０の接触位置情報とユーザの接触位置情報とを使用して、ユーザの把持手の位置を判断する。ユーザの把持手の位置が描画指示装置１３０の右側の場合、すなわち、ユーザが右手で描画指示装置１３０を握っている場合、ステップＳ６０４に処理が分岐する。ステップＳ６０４では、有効画像判断部３０６は、ユーザの把持手と反対側の撮影装置、すなわち、画像処理装置１１０の左側に設置されている撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択し、ステップＳ６０６で処理が終了する。 In step S <b> 603, the valid image determination unit 306 determines the position of the user's gripping hand using the contact position information of the drawing instruction device 130 and the user's contact position information. If the position of the user's gripping hand is on the right side of the drawing instruction apparatus 130, that is, if the user is holding the drawing instruction apparatus 130 with the right hand, the process branches to step S604. In step S604, the effective image determination unit 306 selects, as an effective image, a captured image provided by the imaging device on the side opposite to the user's gripping hand, that is, the imaging devices 111a and 111b installed on the left side of the image processing device 110. In step S606, the process ends.
ユーザの把持手が描画指示装置１３０の右側に有る場合、図７に示すように、右側の撮影装置１１１ｃの撮影画像に含まれる描画指示装置１３０の発光部の一部が欠損することがある。描画座標算出部３０９が、このような撮影画像を用いて発光部の中心点を算出すると、算出した発光部の中心点と本来の中心点との間に誤差が生じ、その結果、描画座標に誤差が生じてしまう。このため、ユーザの把持手が描画指示装置１３０の右側に有る場合は、有効画像判断部３０６は、画像処理装置１１０の右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を選択せず、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択する。 When the user's gripping hand is on the right side of the drawing instruction apparatus 130, as shown in FIG. 7, a part of the light emitting unit of the drawing instruction apparatus 130 included in the captured image of the right imaging apparatus 111c may be lost. When the drawing coordinate calculation unit 309 calculates the center point of the light emitting unit using such a photographed image, an error occurs between the calculated center point of the light emitting unit and the original center point. An error will occur. Therefore, when the user's gripping hand is on the right side of the drawing instruction device 130, the effective image determination unit 306 does not select the captured images provided by the right imaging devices 111c and 111d of the image processing device 110, but on the left side. The captured images provided by the imaging devices 111a and 111b are selected as effective images.
一方、ユーザの把持手の位置が描画指示装置１３０の左側の場合、すなわち、ユーザが左手で描画指示装置１３０を握っている場合、ステップＳ６０５に処理が分岐する。ステップＳ６０５では、有効画像判断部３０６は、ユーザの把持手と反対側の撮影装置、すなわち、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択し、ステップＳ６０６で処理が終了する。 On the other hand, if the position of the user's gripping hand is on the left side of the drawing instruction device 130, that is, if the user is holding the drawing instruction device 130 with the left hand, the process branches to step S605. In step S605, the effective image determination unit 306 selects a captured image provided by the imaging device on the side opposite to the user's gripping hand, that is, the right imaging devices 111c and 111d, as an effective image, and the process ends in step S606. .
図８は、有効画像の選択処理の別の実施形態を示すフローチャートである。以下、図８を参照して、描画指示装置１３０の傾斜情報を用いて描画指示装置１３０の傾斜方向を特定し、有効画像を選択する処理について説明する。 FIG. 8 is a flowchart showing another embodiment of the effective image selection process. Hereinafter, with reference to FIG. 8, a process for specifying the tilt direction of the drawing instruction apparatus 130 using the inclination information of the drawing instruction apparatus 130 and selecting an effective image will be described.
図８に示す処理はステップＳ８００から開始し、ステップＳ８０１で傾斜方向判断部３０７が、描画指示装置１３０が提供する傾斜情報を取得する。ステップＳ８０２では、傾斜方向判断部３０７は、描画指示装置１３０の傾斜方向を判断する。 The process illustrated in FIG. 8 starts from step S800, and in step S801, the tilt direction determination unit 307 acquires tilt information provided by the drawing instruction apparatus 130. In step S <b> 802, the tilt direction determination unit 307 determines the tilt direction of the drawing instruction apparatus 130.
本実施形態では、描画指示装置１３０は、その傾斜方向を検知する傾き検知センサを備える。描画指示装置１３０の把持部は、図９に示すように、手前側（ユーザ側）部分と、奥側（ユーザと反対側）部分とがあり、ユーザは、描画指示装置１３０を用いて描画を指示するとき、手前側部分がユーザ側になるように描画指示装置１３０を把持する。 In the present embodiment, the drawing instruction device 130 includes a tilt detection sensor that detects the tilt direction. As shown in FIG. 9, the grip unit of the drawing instruction device 130 has a front side (user side) portion and a back side (opposite side of the user) portion, and the user draws using the drawing instruction device 130. When instructing, the drawing instruction device 130 is held so that the front side portion is on the user side.
傾き検知センサは、描画指示装置１３０が左側に傾斜した場合は、描画指示装置１３０が左側に傾斜している旨を示す傾斜情報を画像処理装置１１０に送信する。一方、描画指示装置１３０が右側に傾斜した場合は、傾き検知センサは、描画指示装置１３０が右側に傾斜している旨を示す傾斜情報を画像処理装置１１０に送信する。傾斜方向判断部３０７は、これらの傾斜情報を用いて描画指示装置１３０の傾斜方向を判断することができる。 When the drawing instruction device 130 is inclined to the left side, the inclination detection sensor transmits inclination information indicating that the drawing instruction device 130 is inclined to the left side to the image processing device 110. On the other hand, when the drawing instruction apparatus 130 is inclined to the right side, the inclination detection sensor transmits inclination information indicating that the drawing instruction apparatus 130 is inclined to the right side to the image processing apparatus 110. The tilt direction determination unit 307 can determine the tilt direction of the drawing instruction apparatus 130 using the tilt information.
描画指示装置１３０が右側に傾斜していると判断した場合、ステップＳ８０３に処理が分岐する。ステップＳ８０３では、有効画像判断部３０６が、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択し、ステップＳ８０５で処理が終了する。 If it is determined that the drawing instruction device 130 is tilted to the right, the process branches to step S803. In step S803, the effective image determination unit 306 selects the captured image provided by the left imaging devices 111a and 111b as an effective image, and the process ends in step S805.
本実施形態では、描画指示装置１３０の傾斜方向が描画指示装置の右側であると判断した場合は、ユーザが右手で描画指示装置１３０を把持しているとみなし、把持手と反対側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択する。 In the present embodiment, when it is determined that the inclination direction of the drawing instruction device 130 is the right side of the drawing instruction device, it is assumed that the user is holding the drawing instruction device 130 with the right hand, and the photographing device on the opposite side to the holding hand. The captured images provided by 111a and 111b are selected as effective images.
一方、描画指示装置１３０が左側に傾斜している判断した場合、ステップＳ８０４に処理が分岐する。ステップＳ８０４では、有効画像判断部３０６が、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択し、ステップＳ８０５で処理が終了する。 On the other hand, if it is determined that the drawing instruction device 130 is tilted to the left, the process branches to step S804. In step S804, the effective image determination unit 306 selects the captured image provided by the right imaging devices 111c and 111d as an effective image, and the process ends in step S805.
本実施形態では、描画指示装置１３０の傾斜方向が描画指示装置の左側であると判断した場合は、ユーザが左手で描画指示装置１３０を把持しているとみなし、把持手と反対側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択する。 In the present embodiment, when it is determined that the inclination direction of the drawing instruction device 130 is the left side of the drawing instruction device, it is assumed that the user is holding the drawing instruction device 130 with the left hand, and the imaging device on the opposite side of the holding hand The captured images provided by 111c and 111d are selected as effective images.
図１０は、有効画像の選択処理の他の実施形態を示すフローチャートである。以下、図１０を参照して、撮影装置１１１ａ〜１１１ｄの撮影画像を用いて描画指示装置１３０の傾斜方向を特定し、有効画像を選択する処理について説明する。 FIG. 10 is a flowchart showing another embodiment of the effective image selection process. Hereinafter, with reference to FIG. 10, a process of specifying an effective image by specifying the inclination direction of the drawing instruction apparatus 130 using the captured images of the imaging apparatuses 111 a to 111 d will be described.
図１０に示す処理はステップＳ１０００から開始し、ステップＳ１００１で傾斜方向判断部３０７が、撮影装置１１１ａ〜１１１ｄが提供する撮影画像を取得する。ステップＳ１００２では、傾斜方向判断部３０７は、描画指示装置１３０の傾斜方向が判断可能か否か判断する。 The process illustrated in FIG. 10 starts from step S1000, and in step S1001, the tilt direction determination unit 307 acquires captured images provided by the imaging devices 111a to 111d. In step S <b> 1002, the tilt direction determination unit 307 determines whether the tilt direction of the drawing instruction apparatus 130 can be determined.
本実施形態では、描画指示装置１３０は、図１１に示すように半球形状の発光部を備える。撮影画像に含まれる描画指示装置１３０の発光部の形状は、描画指示装置１３０が傾斜していない場合と、描画指示装置１３０が撮影装置側に傾斜している場合と、描画指示装置１３０が撮影装置の反対側に傾斜している場合とで異なる。 In the present embodiment, the drawing instruction device 130 includes a hemispherical light emitting unit as shown in FIG. The shape of the light emitting unit of the drawing instruction device 130 included in the photographed image is obtained when the drawing instruction device 130 is not inclined, when the drawing instruction device 130 is inclined toward the imaging device, and when the drawing instruction device 130 is photographed. It differs depending on whether it is inclined to the opposite side of the device.
傾斜方向判断部３０７は、描画指示装置１３０が傾斜している状態の発光部の形状を表すパターン画像と、撮影画像とのパターンマッチングを行い、傾斜している状態の発光部の形状が含まれる撮影画像が存在するか否か判断する。傾斜している状態の発光部の形状が含まれる撮影画像が存在する場合、傾斜方向判断部３０７は、描画指示装置１３０の傾斜方向が判断可能であると判断する。一方、傾斜している状態の発光部の形状が含まれる撮影画像が存在しなかった場合、傾斜方向判断部３０７は、傾斜方向判断部３０７は、描画指示装置１３０の傾斜方向が判断不可能であると判断する。 The tilt direction determination unit 307 performs pattern matching between the pattern image representing the shape of the light emitting unit in a state where the drawing instruction device 130 is tilted and the captured image, and includes the shape of the light emitting unit in the tilted state. It is determined whether or not a photographed image exists. When there is a captured image that includes the shape of the light emitting unit that is tilted, the tilt direction determination unit 307 determines that the tilt direction of the drawing instruction device 130 can be determined. On the other hand, when there is no photographed image including the shape of the light emitting unit that is tilted, the tilt direction determining unit 307 cannot determine the tilt direction of the drawing instruction device 130. Judge that there is.
ステップＳ１００２で描画指示装置１３０の傾斜方向が判断可能であると判断した場合（ｙｅｓ）、ステップＳ１００３に処理が分岐する。Ｓ１００３では、傾斜方向判断部３０７は、傾斜している状態の発光部の形状が含まれる撮影画像を使用して、描画指示装置１３０の傾斜方向を判断する。 If it is determined in step S1002 that the tilt direction of the drawing instruction apparatus 130 can be determined (yes), the process branches to step S1003. In step S <b> 1003, the tilt direction determination unit 307 determines the tilt direction of the drawing instruction apparatus 130 using a captured image including the shape of the light emitting unit that is tilted.
本実施形態では、傾斜方向判断部３０７は、描画指示装置１３０が撮影装置側に傾斜している状態の発光部の形状を表すパターン画像または撮影装置側の反対側に傾斜している状態の発光部の形状を表すパターン画像と、傾斜している状態の発光部の形状が含まれる撮影画像とのパターンマッチングを行う。 In the present embodiment, the tilt direction determination unit 307 emits a pattern image representing the shape of the light emitting unit in a state in which the drawing instruction device 130 is tilted toward the image capturing device or light emission in a state tilted to the opposite side of the image capturing device. Pattern matching between the pattern image representing the shape of the portion and the captured image including the shape of the light emitting portion in an inclined state is performed.
当該撮影画像内に撮影装置側に傾斜している状態の発光部の形状が含まれる場合、傾斜方向判断部３０７は、描画指示装置１３０が当該撮影装置側に傾斜していると判断し、ステップＳ１００４に処理が分岐する。一方、当該撮影画像内に撮影装置の反対側に傾斜している状態の発光部の形状が含まれる場合、傾斜方向判断部３０７は、描画指示装置１３０が当該撮影装置の反対側に傾斜していると判断し、ステップＳ１００９に処理が分岐する。 If the captured image includes the shape of the light emitting unit that is inclined toward the imaging device, the inclination direction determination unit 307 determines that the drawing instruction device 130 is inclined toward the imaging device, and the step Processing branches to S1004. On the other hand, when the captured image includes the shape of the light emitting unit that is inclined to the opposite side of the imaging device, the inclination direction determination unit 307 causes the drawing instruction device 130 to be inclined to the opposite side of the imaging device. The process branches to step S1009.
ステップＳ１００４では、有効画像判断部３０６が、撮影装置側に傾斜している状態の発光部の形状が含まれる撮影画像の生成元の撮影装置を判断する。本実施形態では、撮影画像には、当該撮影画像を生成した撮影画像の識別情報が付加されており、有効画像判断部３０６は、当該撮影画像の識別情報を用いて、生成元の撮影装置を判断することができる。 In step S <b> 1004, the effective image determination unit 306 determines the imaging device that is the generation source of the captured image including the shape of the light emitting unit that is inclined toward the imaging device. In the present embodiment, identification information of the captured image that generated the captured image is added to the captured image, and the effective image determination unit 306 uses the identification information of the captured image to identify the generation device. Judgment can be made.
撮影画像の生成元が右側の撮影装置１１１ｃ，１１１ｄである場合、ステップＳ１００５に処理が分岐する。ステップＳ１００５では、有効画像判断部３０６は、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択する。ステップＳ１００６では、把持手情報保存部３０８は、把持手が右手である旨を示す把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１０１５で処理が終了する。 If the photographed image is generated from the right photographing devices 111c and 111d, the process branches to step S1005. In step S1005, the effective image determination unit 306 selects a captured image provided by the left imaging devices 111a and 111b as an effective image. In step S1006, the gripping hand information storage unit 308 stores gripping hand information indicating that the gripping hand is the right hand in the storage device of the image processing apparatus 110, and the process ends in step S1015.
描画指示装置１３０が右側の撮影装置１１１ｃ，１１１ｄの方向に傾斜する場合は、描画指示装置１３０の把持手が右手である可能性が高く、ユーザの右手によって撮影画像内の描画指示装置１３０の発光部の形状が欠損している可能性が高い。このため、画像処理装置１１０は、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を描画座標の算出に使用せず、左側の撮影装置１１１ａ，１１１ｂが提供する描画指示装置１３０の発光部の形状が欠損していない撮影画像のみを描画座標の算出に使用する。これにより、ユーザが描画指示した座標の誤差を防止して描画精度を向上させることができる。 When the drawing instruction device 130 is inclined in the direction of the right photographing devices 111c and 111d, the gripping hand of the drawing instruction device 130 is highly likely to be the right hand, and the user's right hand emits light from the drawing instruction device 130 in the photographed image. There is a high possibility that the shape of the part is missing. For this reason, the image processing apparatus 110 does not use the captured image provided by the right imaging apparatuses 111c and 111d for calculation of the drawing coordinates, and the shape of the light emitting unit of the drawing instruction apparatus 130 provided by the left imaging apparatuses 111a and 111b. Only photographed images without missing are used for calculating drawing coordinates. As a result, it is possible to improve the drawing accuracy by preventing an error in the coordinates designated by the user.
一方、撮影画像の生成元が左側の撮影装置１１１ａ，１１１ｂである場合、ステップＳ１００７に処理が分岐する。ステップＳ１００７では、有効画像判断部３０６は、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択する。ステップＳ１００８では、把持手情報更新部３１１は、把持手が右手である旨を示す把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１０１５で処理が終了する。 On the other hand, when the photographed image is generated from the left photographing devices 111a and 111b, the process branches to step S1007. In step S1007, the effective image determination unit 306 selects a captured image provided by the right imaging devices 111c and 111d as an effective image. In step S1008, the gripping hand information update unit 311 stores gripping hand information indicating that the gripping hand is the right hand in the storage device of the image processing apparatus 110, and the process ends in step S1015.
描画指示装置１３０が左側の撮影装置１１１ａ，１１１ｄの方向に傾斜する場合は、描画指示装置１３０の把持手が左手である可能性が高く、ユーザの左手によって撮影画像内の描画指示装置１３０の発光部の形状が欠損している可能性が高い。このため、画像処理装置１１０は、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を描画座標の算出に使用せず、右側の撮影装置１１１ｃ，１１１ｄが提供する、描画指示装置１３０の発光部の形状が欠損していない撮影画像のみを描画座標の算出に使用する。これにより、ユーザが描画指示した座標の誤差を防止して描画精度を向上させることができる。 When the drawing instruction device 130 is inclined in the direction of the left photographing devices 111a and 111d, the gripping hand of the drawing instruction device 130 is highly likely to be the left hand, and the user's left hand emits light from the drawing instruction device 130 in the photographed image. There is a high possibility that the shape of the part is missing. For this reason, the image processing apparatus 110 does not use the captured images provided by the left imaging apparatuses 111a and 111b for calculation of the drawing coordinates, but instead of the light emitting unit of the drawing instruction apparatus 130 provided by the right imaging apparatuses 111c and 111d. Only photographed images that are not missing in shape are used to calculate drawing coordinates. As a result, it is possible to improve the drawing accuracy by preventing an error in the coordinates designated by the user.
ステップＳ１００３で描画指示装置１３０の傾斜方向が撮影装置の反対側であると判断した場合は、ステップＳ１００９に処理が分岐する。ステップＳ１００９では、有効画像判断部３０６が、撮影装置と反対側に傾斜している状態の発光部の形状が含まれる撮影画像の生成元の撮影装置を判断する。 If it is determined in step S1003 that the tilt direction of the drawing instruction device 130 is on the opposite side of the imaging device, the process branches to step S1009. In step S <b> 1009, the effective image determination unit 306 determines a shooting device that is a generation source of a shot image including the shape of the light emitting unit that is inclined to the opposite side of the shooting device.
撮影画像の生成元が右側の撮影装置１１１ｃ，１１１ｄである場合、ステップＳ１０１０に処理が分岐する。ステップＳ１０１０では、有効画像判断部３０６は、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択する。ステップＳ１０１１では、把持手情報保存部３０８は、把持手が左手である旨を示す把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１０１５で処理が終了する。 When the photographed image is generated from the right photographing devices 111c and 111d, the process branches to step S1010. In step S1010, the effective image determination unit 306 selects a captured image provided by the right imaging devices 111c and 111d as an effective image. In step S1011, the gripping hand information storage unit 308 stores gripping hand information indicating that the gripping hand is the left hand in the storage device of the image processing apparatus 110, and the process ends in step S1015.
描画指示装置１３０が右側の撮影装置１１１ｃ，１１１ｄの反対側、すなわち、左側の撮影装置１１１ａ，１１１ｂの方向に傾斜する場合は、描画指示装置１３０の把持手が左手である可能性が高く、ユーザの左手によって撮影画像内の描画指示装置１３０の発光部の形状が欠損している可能性が高い。このため、画像処理装置１１０は、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を描画座標の算出に使用せず、右側の撮影装置１１１ｃ，１１１ｄが提供する、描画指示装置１３０の発光部の形状が欠損していない撮影画像のみを描画座標の算出に使用する。これにより、ユーザが描画指示した座標の誤差を防止して描画精度を向上させることができる。 When the drawing instruction device 130 is tilted in the direction opposite to the right imaging devices 111c and 111d, that is, in the direction of the left imaging devices 111a and 111b, the gripping hand of the drawing instruction device 130 is likely to be the left hand, and the user There is a high possibility that the shape of the light emitting part of the drawing instruction device 130 in the photographed image is missing with the left hand. For this reason, the image processing apparatus 110 does not use the captured images provided by the left imaging apparatuses 111a and 111b for calculation of the drawing coordinates, but instead of the light emitting unit of the drawing instruction apparatus 130 provided by the right imaging apparatuses 111c and 111d. Only photographed images that are not missing in shape are used to calculate drawing coordinates. As a result, it is possible to improve the drawing accuracy by preventing an error in the coordinates designated by the user.
一方、ステップＳ１００９で撮影画像の生成元が左側の撮影装置１１１ａ，１１１ｂであると判断した場合、ステップＳ１０１２に処理が分岐する。ステップＳ１０１２では、有効画像判断部３０６は、左側の撮影装置１１１ａ，１１１ｂが提供する撮影画像を有効画像として選択する。ステップＳ１０１３では、把持手情報保存部３０８は、把持手が左手である旨を示す把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１０１５で処理が終了する。 On the other hand, if it is determined in step S1009 that the photographed image is generated from the left photographing devices 111a and 111b, the process branches to step S1012. In step S1012, the effective image determination unit 306 selects a captured image provided by the left imaging devices 111a and 111b as an effective image. In step S1013, the gripping hand information storage unit 308 stores gripping hand information indicating that the gripping hand is the left hand in the storage device of the image processing apparatus 110, and the process ends in step S1015.
描画指示装置１３０が左側の撮影装置１１１ａ，１１１ｂの反対側、すなわち、右側の撮影装置１１１ｃ，１１１ｄの方向に傾斜する場合は、描画指示装置１３０の把持手が右手である可能性が高く、ユーザの右手によって撮影画像内の描画指示装置１３０の発光部の形状が欠損している可能性が高い。このため、画像処理装置１１０は、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を描画座標の算出に使用せず、左側の撮影装置１１１ａ，１１１ｂが提供する、描画指示装置１３０の発光部の形状が欠損していない撮影画像のみを描画座標の算出に使用する。これにより、ユーザが描画指示した座標の誤差を防止して描画精度を向上させることができる。 When the drawing instruction device 130 is tilted in the direction opposite to the left imaging devices 111a and 111b, that is, in the direction of the right imaging devices 111c and 111d, the gripping hand of the drawing instruction device 130 is likely to be the right hand, and the user There is a high possibility that the shape of the light emitting unit of the drawing instruction device 130 in the photographed image is missing with the right hand. For this reason, the image processing apparatus 110 does not use the captured images provided by the right imaging apparatuses 111c and 111d for calculation of the drawing coordinates, but instead of the light emitting unit of the drawing instruction apparatus 130 provided by the left imaging apparatuses 111a and 111b. Only photographed images that are not missing in shape are used to calculate drawing coordinates. As a result, it is possible to improve the drawing accuracy by preventing an error in the coordinates designated by the user.
ステップＳ１００２で描画指示装置１３０の傾斜方向が判断不可能であると判断した場合（ｎｏ）、ステップＳ１０１４に処理が分岐する。ステップＳ１０１４では、有効画像判断部３０６は、既に画像処理装置１１０の記憶装置に保存されている把持手情報を用いて、有効画像を選択し、ステップＳ１０１５で処理が終了する。 If it is determined in step S1002 that the inclination direction of the drawing instruction apparatus 130 cannot be determined (no), the process branches to step S1014. In step S1014, the valid image determination unit 306 selects a valid image using the gripping hand information already stored in the storage device of the image processing apparatus 110, and the process ends in step S1015.
より詳細には、把持手情報が、把持手が左手である旨を示す場合、有効画像判断部３０６は、右側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択する。一方、把持手情報が、把持手が右手である旨を示す場合、有効画像判断部３０６は、左側の撮影装置１１１ｃ，１１１ｄが提供する撮影画像を有効画像として選択する。 More specifically, when the gripping hand information indicates that the gripping hand is the left hand, the effective image determination unit 306 selects the captured image provided by the right imaging devices 111c and 111d as an effective image. On the other hand, when the gripping hand information indicates that the gripping hand is the right hand, the effective image determination unit 306 selects the captured image provided by the left imaging devices 111c and 111d as an effective image.
図１２は、把持手情報の更新処理の一実施形態を示すフローチャートである。以下、図１２を参照して、ユーザによる描画動作が終了した場合に、把持手情報更新部３１１が実行する処理について説明する。 FIG. 12 is a flowchart illustrating an embodiment of the update process of the gripping hand information. Hereinafter, with reference to FIG. 12, a process executed by the grasping hand information update unit 311 when the drawing operation by the user is completed will be described.
図１２に示す処理は、ユーザによる描画動作が終了することにより、ステップＳ１２００から開始し、ステップＳ１２０１で把持手情報更新部３１１が、ユーザの描画動作によって生成された描画線が直線であるか否か判断する。描画線が直線でない場合は（ｎｏ）、ステップＳ１２０６で処理が終了する。一方、描画線が直線である場合は（ｙｅｓ）、ステップＳ１２０２に処理が分岐する。 The process shown in FIG. 12 starts from step S1200 when the drawing operation by the user is completed. In step S1201, the grasping hand information update unit 311 determines whether the drawing line generated by the user's drawing operation is a straight line. Judge. If the drawing line is not a straight line (no), the process ends in step S1206. On the other hand, if the drawing line is a straight line (yes), the process branches to step S1202.
ステップＳ１２０２では、把持手情報更新部３１１は、描画直線が所定の長さ以上であるか否か判断する。所定の長さは、描画方向の判断に有用な任意の長さとすることができる。描画直線が所定の長さよりも短い場合は（ｎｏ）、ステップＳ１２０６で処理が終了する。一方、描画直線が所定の長さ以上である場合は（ｙｅｓ）、ステップＳ１２０３に処理が分岐する。 In step S1202, the grasping hand information update unit 311 determines whether the drawing straight line is equal to or longer than a predetermined length. The predetermined length can be any length useful for determining the drawing direction. If the drawing straight line is shorter than the predetermined length (no), the process ends in step S1206. On the other hand, if the drawing straight line is longer than the predetermined length (yes), the process branches to step S1203.
ステップＳ１２０３では、把持手情報更新部３１１は、描画動作の方向を判断する。本実施形態では、描画直線を構成する座標には、それぞれ描画が指示された時間を示す情報が付加されており、把持手情報更新部３１１は、これらの座標および時間情報を用いて、描画動作の方向を判断することができる。 In step S1203, the grasping hand information update unit 311 determines the direction of the drawing operation. In the present embodiment, information indicating the time at which drawing is instructed is added to the coordinates constituting the drawing line, and the gripping hand information update unit 311 uses these coordinates and time information to perform a drawing operation. Can be determined.
ステップＳ１２０３で描画動作の方向が左から右であると判断した場合は、ステップＳ１２０４に処理が分岐する。ステップＳ１２０４では、把持手情報更新部３１１は、描画指示装置１３０を把持する把持手が右手である旨の把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１２０６で処理が終了する。本実施形態では、描画動作の方向が左から右の場合、ユーザが右手で直線を描いている可能性が高いことから、ユーザの把持手は右手であるとみなして、把持手が右手である旨の把持手情報を保存する。 If it is determined in step S1203 that the direction of the drawing operation is from left to right, the process branches to step S1204. In step S1204, the gripping hand information update unit 311 stores gripping hand information indicating that the gripping hand gripping the drawing instruction apparatus 130 is the right hand in the storage device of the image processing apparatus 110, and the process ends in step S1206. In this embodiment, when the direction of the drawing operation is from left to right, it is highly likely that the user is drawing a straight line with the right hand, so the user's gripping hand is regarded as the right hand and the gripping hand is the right hand The gripping hand information is saved.
ステップＳ１２０３で描画動作の方向が右から左であると判断した場合は、ステップＳ１２０５に処理が分岐する。ステップＳ１２０５では、把持手情報更新部３１１は、描画指示装置１３０を把持する把持手が左手である旨の把持手情報を画像処理装置１１０の記憶装置に保存し、ステップＳ１２０６で処理が終了する。本実施形態では、描画動作の方向が右から左の場合、ユーザが左手で直線を描いている可能性が高いことから、ユーザの把持手は左手であるとみなして、把持手が左手である旨の把持手情報を保存する。 If it is determined in step S1203 that the direction of the drawing operation is from right to left, the process branches to step S1205. In step S1205, the gripping hand information update unit 311 stores gripping hand information indicating that the gripping hand gripping the drawing instruction apparatus 130 is the left hand in the storage device of the image processing apparatus 110, and the process ends in step S1206. In this embodiment, when the direction of the drawing operation is from right to left, it is highly likely that the user is drawing a straight line with the left hand, so the user's gripping hand is regarded as the left hand and the gripping hand is the left hand The gripping hand information is saved.
ステップＳ１２０３で描画動作の方向が、右から左または右から左以外であると判断した場合は、ステップＳ１２０６で処理が終了する。 If it is determined in step S1203 that the direction of the drawing operation is other than right to left or right to left, the process ends in step S1206.
これまで本発明の特定の実施形態について説明してきたが、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態の構成要素を変更若しくは削除し、または上述した実施形態の構成要素に他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができる。いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。 Although specific embodiments of the present invention have been described so far, the present invention is not limited to the above-described embodiments, and the constituent elements of the above-described embodiments are changed or deleted, or the above-described embodiments are described. Changes can be made within a range that can be conceived by those skilled in the art, such as adding other components to the components. Any aspect is included in the scope of the present invention as long as the effects of the present invention are exhibited.
１００…画像処理システム、１１０…画像処理装置、１１１ａ，１１１ｂ，１１１ｃ，１１１ｄ…撮影装置、１１２…表示部、１２０…画像提供装置、１３０…描画指示装置 DESCRIPTION OF SYMBOLS 100 ... Image processing system, 110 ... Image processing apparatus, 111a, 111b, 111c, 111d ... Imaging | photography apparatus, 112 ... Display part, 120 ... Image provision apparatus, 130 ... Drawing instruction | indication apparatus
Claims (10)
前記画像処理装置は、
前記画像処理装置の表示手段の周辺部に設置された複数の撮影装置が提供する撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択する有効画像選択手段と、
前記有効画像を用いて描画画像の座標を算出する描画座標算出手段とを備え、
前記有効画像選択手段は、
ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択し、
前記描画指示装置の傾斜方向を示す傾斜情報を用いて前記描画指示装置の傾斜方向を特定し、有効画像を選択することを特徴とする、画像処理システム。 An image processing system including an image processing device that processes a drawn image and a drawing instruction device that includes a light emitting unit,
The image processing apparatus includes:
Effective image selection means for selecting an effective image to be used for calculating coordinates of the drawn image from among the captured images provided by a plurality of imaging devices installed in the periphery of the display means of the image processing device;
Drawing coordinate calculation means for calculating coordinates of a drawing image using the effective image,
The effective image selection means includes
Select an effective image in which the light emitting means of the drawing instruction device in the captured image is not lost by the user's gripping hand ,
An image processing system characterized by specifying an inclination direction of the drawing instruction apparatus using inclination information indicating an inclination direction of the drawing instruction apparatus and selecting an effective image.
前記画像処理装置は、
前記画像処理装置の表示手段の周辺部に設置された複数の撮影装置が提供する撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択する有効画像選択手段と、
前記有効画像を用いて描画画像の座標を算出する描画座標算出手段とを備え、
前記有効画像選択手段は、
ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択し、
前記表示手段に接触したユーザの把持手および描画指示装置の位置を示す接触位置情報を用いてユーザの把持手の位置を特定し、有効画像を選択することを特徴とする、画像処理システム。 An image processing system including an image processing device that processes a drawn image and a drawing instruction device that includes a light emitting unit,
The image processing apparatus includes:
Effective image selection means for selecting an effective image to be used for calculating coordinates of the drawn image from among the captured images provided by a plurality of imaging devices installed in the periphery of the display means of the image processing device;
Drawing coordinate calculation means for calculating coordinates of a drawing image using the effective image,
The effective image selection means includes
Select an effective image in which the light emitting means of the drawing instruction device in the captured image is not lost by the user's gripping hand,
Using a contact position information indicating a position in front SL user gripping hand and drawing instruction device in contact with the display means to identify the position of the user's gripping hand, and selects an effective image, images processing system .
前記画像処理装置の表示手段の周辺部に設置された複数の撮影装置が提供する撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択するステップと、
前記有効画像を用いて描画画像の座標を算出するステップと
を含み、
前記有効画像を選択するステップは、
ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択するステップと、
前記描画指示装置の傾斜方向を示す傾斜情報を用いて前記描画指示装置の傾斜方向を特定し、有効画像を選択するステップとを含む、方法。 A method executed by an image processing system including an image processing device that processes a drawn image and a drawing instruction device that includes a light emitting unit, the method comprising:
Selecting an effective image to be used for calculating the coordinates of the rendered image from among the captured images provided by a plurality of imaging devices installed in the periphery of the display means of the image processing device;
Calculating the coordinates of the drawn image using the effective image, and
The step of selecting the effective image includes
Selecting an effective image in which the light emitting means of the drawing instruction device in the captured image is not lost by the user's gripping hand ;
Identifying the tilt direction of the drawing instruction device using tilt information indicating the tilt direction of the drawing instruction device, and selecting an effective image.
前記画像処理装置は、
前記画像処理装置の表示手段の周辺部に設置された複数の撮影装置が発光手段を備える描画指示装置を撮影して生成した撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択する有効画像選択手段と
前記有効画像を用いて描画画像の座標を算出する描画座標算出手段とを備え、
前記有効画像選択手段は、
ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択し、
前記描画指示装置の傾斜方向を示す傾斜情報を用いて前記描画指示装置の傾斜方向を特定し、有効画像を選択することを特徴とする、画像処理装置。 An image processing apparatus for processing a drawn image,
The image processing apparatus includes:
An effective image used for calculating coordinates of the drawn image is selected from the shot images generated by shooting the drawing instruction device provided with the light emitting means by the plurality of shooting devices installed in the periphery of the display means of the image processing device. Effective image selection means for selecting; and drawing coordinate calculation means for calculating coordinates of a drawing image using the effective image;
The effective image selection means includes
Select an effective image in which the light emitting means of the drawing instruction device in the captured image is not lost by the user's gripping hand ,
An image processing apparatus characterized by specifying an inclination direction of the drawing instruction apparatus using inclination information indicating an inclination direction of the drawing instruction apparatus and selecting an effective image.
前記画像処理装置の表示手段の周辺部に設置された複数の撮影装置が発光手段を備える描画指示装置を撮影して生成した撮影画像の中から、描画画像の座標の算出に使用する有効画像を選択するステップと、
前記有効画像を用いて描画画像の座標を算出するステップと
を実行させるプログラムであって、
前記有効画像を選択するステップは、
ユーザの把持手によって撮影画像内の描画指示装置の発光手段が欠損していない有効画像を選択するステップと、
前記描画指示装置の傾斜方向を示す傾斜情報を用いて前記描画指示装置の傾斜方向を特定し、有効画像を選択するステップとを含む、プログラム。 For image processing devices that process drawn images,
An effective image used for calculating coordinates of the drawn image is selected from the shot images generated by shooting the drawing instruction device provided with the light emitting means by the plurality of shooting devices installed in the periphery of the display means of the image processing device. A step to choose;
Calculating the coordinates of the drawn image using the effective image, and
The step of selecting the effective image includes
Selecting an effective image in which the light emitting means of the drawing instruction device in the captured image is not lost by the user's gripping hand ;
And specifying an inclination direction of the drawing instruction apparatus using inclination information indicating an inclination direction of the drawing instruction apparatus and selecting an effective image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014185878A JP6464624B2 (en) | 2014-09-12 | 2014-09-12 | Image processing system, image processing apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014185878A JP6464624B2 (en) | 2014-09-12 | 2014-09-12 | Image processing system, image processing apparatus, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016058002A JP2016058002A (en) | 2016-04-21 |
| JP6464624B2 true JP6464624B2 (en) | 2019-02-06 |
Family
ID=55758725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014185878A Expired - Fee Related JP6464624B2 (en) | 2014-09-12 | 2014-09-12 | Image processing system, image processing apparatus, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6464624B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018005543A (en) * | 2016-07-01 | 2018-01-11 | 株式会社リコー | Image processing device, image processing system and image processing method |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002003316A1 (en) * | 2000-07-05 | 2002-01-10 | Smart Technologies Inc. | Camera-based touch system |
| JP2004045321A (en) * | 2002-07-15 | 2004-02-12 | Mitsubishi Electric Corp | Position measuring system |
| US7492357B2 (en) * | 2004-05-05 | 2009-02-17 | Smart Technologies Ulc | Apparatus and method for detecting a pointer relative to a touch surface |
| DE102007021537B4 (en) * | 2006-12-13 | 2020-01-02 | Lg Display Co., Ltd. | Display unit with multi-touch detection function |
| US20100201812A1 (en) * | 2009-02-11 | 2010-08-12 | Smart Technologies Ulc | Active display feedback in interactive input systems |
| JP2013190980A (en) * | 2012-03-13 | 2013-09-26 | Sharp Corp | Coordinate input device, coordinate input system, and coordinate input method |
| JP2014099139A (en) * | 2012-10-16 | 2014-05-29 | Sharp Corp | Coordinate input device and coordinate input system |
-
2014
- 2014-09-12 JP JP2014185878A patent/JP6464624B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016058002A (en) | 2016-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10923004B2 (en) | Information processing apparatus, information processing method, and computer program product for arranging a planar image within a panoramic image | |
| US10204404B2 (en) | Image processing device and image processing method | |
| JP5213183B2 (en) | Robot control system and robot control program | |
| US20180292987A1 (en) | Modifying key size on a touch screen based on fingertip location | |
| KR20160144179A (en) | Method for providing user interface in user terminal including camera | |
| JP2019501747A5 (en) | ||
| JP2012050041A (en) | Image conversion apparatus, image processing apparatus, and image processing system | |
| US9807383B2 (en) | Wearable video headset and method for calibration | |
| US20140354784A1 (en) | Shooting method for three dimensional modeling and electronic device supporting the same | |
| JP6440909B2 (en) | Cable movable range display device, cable movable range display method, and cable movable range display program | |
| US20160353021A1 (en) | Control apparatus, display control method and non-transitory computer readable medium | |
| US9406136B2 (en) | Information processing device, information processing method and storage medium for identifying communication counterpart based on image including person | |
| JP6464624B2 (en) | Image processing system, image processing apparatus, method, and program | |
| JPWO2018025825A1 (en) | Imaging system | |
| US20180027221A1 (en) | Apparatus and methods for bringing an object to life | |
| JP6456551B1 (en) | OPTICAL DEVICE CONTROL DEVICE, OPTICAL DEVICE CONTROL METHOD, AND OPTICAL DEVICE CONTROL PROGRAM | |
| JP6314564B2 (en) | Image processing apparatus, image processing method, and program | |
| KR102370326B1 (en) | Image processing method and image processing apparatus for generating 3d content using 2d images | |
| JP2018005543A (en) | Image processing device, image processing system and image processing method | |
| JP6641525B2 (en) | Optical device control device, optical device control method, and optical device control program | |
| JP2000222098A (en) | Hand pointing device, instruction position displaying method and recording medium | |
| JPWO2019225595A1 (en) | Dictionary learning device, information processing device, dictionary learning method and computer program | |
| JP2020131296A (en) | Control device and program | |
| JP4783859B1 (en) | Image conversion apparatus, image processing system, image conversion method, program, and information recording medium | |
| US20240078832A1 (en) | Joint detection apparatus, learning-model generation apparatus, joint detection method, learning-model generation method, and computer readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180717 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180711 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20180726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180910 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181211 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181224 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6464624 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |