JP2018005543A - Image processing device, image processing system and image processing method - Google Patents
Image processing device, image processing system and image processing method Download PDFInfo
- Publication number
- JP2018005543A JP2018005543A JP2016131350A JP2016131350A JP2018005543A JP 2018005543 A JP2018005543 A JP 2018005543A JP 2016131350 A JP2016131350 A JP 2016131350A JP 2016131350 A JP2016131350 A JP 2016131350A JP 2018005543 A JP2018005543 A JP 2018005543A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- imaging
- image
- processing apparatus
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims abstract description 105
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 abstract description 24
- 238000010586 diagram Methods 0.000 description 17
- 101100463787 Pectobacterium carotovorum subsp. carotovorum peh gene Proteins 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理システム及び画像処理方法に関する。 The present invention relates to an image processing apparatus, an image processing system, and an image processing method.
従来、タッチパネル及び電子ペン等を用いて、いわゆるホワイトボードのように、ユーザが書き込んだ文字及び図形、記号、絵又はこれらの組み合わせ（以下単に「文字等」という。）を表示装置に表示する方法が知られている。 2. Description of the Related Art Conventionally, a method of displaying characters and figures written by a user, symbols, pictures, or a combination thereof (hereinafter simply referred to as “characters”) on a display device using a touch panel, an electronic pen, or the like, as in a so-called whiteboard. It has been known.
この方法では、ユーザが書き込み等の操作を行う点の座標を検出する方法が行われる。
具体的には、いわゆるペン発光方式が、この方法では用いられる。そして、ペン発光方式において、座標検出システムが、まず、ディスプレイ上の位置を指示する指示具が備える発光手段から発光される光を検出する。次に、座標検出システムが、光の強度が所定の閾値を下回るか否かを判定する。そして、光の強度が所定の閾値を下回ると判定されると、座標検出システムが、指示具と、検出部との間に遮蔽物があることを通知する方法が知られている（例えば、特許文献１等）。
In this method, a method of detecting the coordinates of a point where the user performs an operation such as writing is performed.
Specifically, a so-called pen light emission method is used in this method. In the pen light emission method, the coordinate detection system first detects light emitted from the light emitting means provided in the pointing tool that indicates the position on the display. Next, the coordinate detection system determines whether the light intensity is below a predetermined threshold. And when it is determined that the light intensity falls below a predetermined threshold, a method is known in which the coordinate detection system notifies that there is a shield between the pointing tool and the detection unit (for example, a patent). Literature 1 etc.).
他にも、まず、座標入力装置は、複数の検出手段によって、複数の指又は指示具の影又は像をそれぞれ検出する。次に、影又は像が重複して観測されると、座標入力装置が、指又は指示具の太さデータを参照して、重複しない場合の影又は像の角度幅を推定する。続いて、座標入力装置が、推定された角度幅と、実際に観測された角度とに基づいて、指又は指示具の存在する方向を示す角度を算出する。このようにして、座標入力装置は、算出された角度から指示入力が行われた座標を計算する（例えば、特許文献２等）。 In addition, the coordinate input device first detects the shadows or images of a plurality of fingers or pointing tools by a plurality of detection units. Next, when a shadow or an image is observed in duplicate, the coordinate input device estimates the angular width of the shadow or the image when there is no overlap with reference to the thickness data of the finger or the pointing tool. Subsequently, the coordinate input device calculates an angle indicating the direction in which the finger or the pointing tool exists based on the estimated angular width and the actually observed angle. In this way, the coordinate input device calculates the coordinates at which the instruction is input from the calculated angle (for example, Patent Document 2).
しかしながら、例えば、操作を入力するのに用いられる電子ペン等の操作器と、操作器を撮像する撮像装置とが、ユーザの手等によって遮断される場合がある。このような場合等では、撮像装置は、操作器又は操作器の所定の箇所を撮像できない場合がある。そして、撮像装置が操作器又は操作器の所定の箇所を撮像できない状態で生成した画像データが座標計算等に用いられると、座標の検出精度が悪くなることが課題となる。 However, for example, an operation device such as an electronic pen used to input an operation and an imaging device that images the operation device may be blocked by a user's hand or the like. In such a case, the imaging device may not be able to image the operation device or a predetermined portion of the operation device. Then, when image data generated in a state where the imaging device cannot capture an operating device or a predetermined portion of the operating device is used for coordinate calculation or the like, the problem is that the coordinate detection accuracy deteriorates.
本発明の１つの側面は、座標の検出精度を良くすることを目的とする。 One aspect of the present invention aims to improve the accuracy of coordinate detection.
一態様における、操作器を撮像する複数の第１撮像装置に接続される画像処理装置は、
それぞれの前記第１撮像装置から、それぞれの第１画像データを入力する入力部と、
前記第１画像データに基づいて、それぞれの前記第１撮像装置が前記操作器に対して遮蔽されているか否かをそれぞれ判定する判定部と、
前記判定に基づいて、前記第１撮像装置のうち、前記操作器又は前記操作器の所定の箇所を撮像できる第２撮像装置を決定する決定部と、
前記第２撮像装置から入力される第２画像データに基づいて、前記操作器の座標を計算する座標計算部と
を備える。
In one aspect, an image processing device connected to a plurality of first imaging devices that capture an image of an operating device,
Input units for inputting the respective first image data from the respective first imaging devices;
A determination unit configured to determine whether each of the first imaging devices is shielded from the operation device based on the first image data;
Based on the determination, a determination unit that determines a second imaging device that can capture an image of the operating device or a predetermined portion of the operating device among the first imaging devices;
A coordinate calculation unit that calculates coordinates of the operation device based on second image data input from the second imaging device.
座標の検出精度を良くすることができる。 Coordinate detection accuracy can be improved.
以下、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below.
＜第１実施形態＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成例を示す概念図である。図示するように、画像処理システム１は、複数の第１撮像装置の例である４台のカメラと、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の画像処理装置１０とを備える。なお、第１撮像装置は、３つ以上であればよい。
<First Embodiment>
FIG. 1 is a conceptual diagram showing an example of the overall configuration of an image processing system according to an embodiment of the present invention. As illustrated, the image processing system 1 includes four cameras, which are examples of a plurality of first imaging devices, and an image processing device 10 such as a PC (Personal Computer). Note that there may be three or more first imaging devices.
図示するように、例えば、それぞれのカメラの視野角が約９０°であるとすると、表示装置の例であるディスプレイＤＩＳの平面全体を撮像しやすいように、各カメラは、四隅等に設置される。以下、図において、４台のカメラのうち、左上に図示するカメラを左上カメラＣＡＭ１１という。同様に、４台のカメラのうち、右上に図示するカメラを右上カメラＣＡＭ１２という。さらに、４台のカメラのうち、右下に図示するカメラを右下カメラＣＡＭ１３という。さらにまた、４台のカメラのうち、左下に図示するカメラを左下カメラＣＡＭ１４という。 As shown in the figure, for example, if the viewing angle of each camera is about 90 °, each camera is installed at four corners or the like so as to easily capture the entire plane of the display DIS as an example of the display device. . Hereinafter, in the figure, among the four cameras, the camera illustrated in the upper left is referred to as the upper left camera CAM11. Similarly, of the four cameras, the camera shown in the upper right is called the upper right camera CAM12. Further, of the four cameras, the camera illustrated in the lower right is referred to as a lower right camera CAM13. Furthermore, of the four cameras, the camera illustrated in the lower left is referred to as a lower left camera CAM14.
図示するように、画像処理装置１０は、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４が撮像したそれぞれの画像データを入力し、画像データに基づいて、電子ペンＰＥ等の被写体が位置する座標、すなわち、位置を計算する。 As shown in the figure, the image processing apparatus 10 inputs image data captured by the upper left camera CAM11, upper right camera CAM12, lower right camera CAM13, and lower left camera CAM14, and based on the image data, a subject such as an electronic pen PE Is calculated, ie the position.
画像処理システム１及びディスプレイＤＩＳは、例えば、以下のように用いられる。例えば、ユーザは、操作器の例である電子ペンＰＥを用いて、タッチ操作及び手書きで文字等を書き込む等の操作を行う。具体的には、ディスプレイＤＩＳ上の任意の点に文字等を書き込む場合には、ユーザは、文字等を書き込む位置に、電子ペンＰＥをディスプレイＤＩＳに接触させる。そして、各カメラは、電子ペンＰＥを撮像して画像データをそれぞれ生成する。このようにして生成されるそれぞれの画像データに基づいて、電子ペンＰＥ又は電子ペンＰＥの所定の箇所の座標が計算される。 The image processing system 1 and the display DIS are used as follows, for example. For example, the user performs an operation such as writing a character or the like by a touch operation or handwriting, using the electronic pen PE which is an example of an operation device. Specifically, when writing a character or the like at an arbitrary point on the display DIS, the user brings the electronic pen PE into contact with the display DIS at a position where the character or the like is written. Each camera captures the electronic pen PE to generate image data. Based on each image data generated in this manner, the coordinates of the electronic pen PE or a predetermined portion of the electronic pen PE are calculated.
また、座標は、例えば、以下のように計算される。 The coordinates are calculated as follows, for example.
図２は、本発明の一実施形態に係る画像処理装置による座標の計算例を示す概念図である。まず、以下の説明では、いわゆる電子ペンＰＥのペン先が所定の箇所である例で説明する。すなわち、図示するように、この例は、電子ペンＰＥのペン先が位置する座標が計算結果として出力される例である。なお、所定の箇所は、電子ペンの位置を示す電子ペンのペン先以外の箇所でもよい。 FIG. 2 is a conceptual diagram illustrating a coordinate calculation example by the image processing apparatus according to the embodiment of the present invention. First, in the following description, an example in which the pen tip of the so-called electronic pen PE is a predetermined location will be described. That is, as illustrated, this example is an example in which coordinates where the pen tip of the electronic pen PE is positioned are output as a calculation result. The predetermined location may be a location other than the pen tip of the electronic pen indicating the position of the electronic pen.
なお、以下の説明では、電子ペンＰＥの所定の箇所を示す３次元の座標系を「世界座標系」という。図示する例では、図において横方向がＸ軸となり、図において奥行き方向がＹ軸となる。そして、図において縦方向がＺ軸となる。また、ディスプレイＤＩＳ上の世界座標系は、Ｚ軸の値が一定であるとし、Ｚ軸の値の記載を省略して、世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）と示す。さらに、カメラの主点、すなわち、カメラが有する撮像素子の中心位置等を主点ＣＡＭＯＲとする。 In the following description, a three-dimensional coordinate system indicating a predetermined portion of the electronic pen PE is referred to as a “world coordinate system”. In the illustrated example, the horizontal direction is the X axis in the figure, and the depth direction is the Y axis in the figure. In the drawing, the vertical direction is the Z axis. In the world coordinate system on the display DIS, the value of the Z axis is assumed to be constant, the description of the value of the Z axis is omitted, and the world coordinate (X world , Y world ) is indicated. Further, the principal point of the camera, that is, the center position of the image pickup element of the camera is defined as the principal point CAMOR.
一方で、各カメラによって撮像された画像における座標を以下の説明では「カメラ座標系」（「イメージ座標系」という場合もある。）という。 On the other hand, the coordinates in an image captured by each camera are referred to as “camera coordinate system” (also referred to as “image coordinate system” in the following description).
世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を計算するには、図示するように、まず、複数のカメラが撮像した画像データのうち、２つの画像データ（以下「左画像データＩＭＧＬ」及び「右画像データＩＭＧＲ」という。）が画像処理装置によって選択される。なお、左画像データＩＭＧＬにおけるカメラ座標を「（ｘ１，ｙ１）」とし、一方で、右画像データＩＭＧＲにおけるカメラ座標を「（ｘ２，ｙ２）」とする。図示するように、各カメラは、主点ＣＡＭＯＲを基点に撮像するため、被写体は、図示するように、主点ＣＡＭＯＲと、被写体とを結んだ線がカメラ座標系の平面と交わる位置の画素に撮像される。 In order to calculate the world coordinates (X world , Y world ), as shown in the drawing, first, two pieces of image data (hereinafter referred to as “left image data IMGL” and “right image data” out of image data captured by a plurality of cameras are used. IMGR ") is selected by the image processing apparatus. The camera coordinates in the left image data IMGL are “(x 1 , y 1 )”, while the camera coordinates in the right image data IMGR are “(x 2 , y 2 )”. As shown in the figure, since each camera captures images with the principal point CAMOR as a base point, as shown in FIG. Imaged.
そして、（ｘ１，ｙ１）及び（ｘ２，ｙ２）が求まると、画像処理装置は、三角測量等によって、世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を計算することができる。すなわち、例えば、画像処理装置は、以下の処理によって、世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を計算することができる。 When (x 1 , y 1 ) and (x 2 , y 2 ) are obtained, the image processing apparatus can calculate the world coordinates (X world , Y world ) by triangulation or the like. That is, for example, the image processing apparatus can calculate the world coordinates (X world , Y world ) by the following processing.
図３は、本発明の一実施形態に係る画像処理装置による座標の計算例を示すフローチャートである。 FIG. 3 is a flowchart showing an example of coordinate calculation by the image processing apparatus according to the embodiment of the present invention.
＜画像データの入力例＞（ステップＳ０１）
ステップＳ０１では、画像処理装置は、画像データを入力する。具体的には、まず、画像処理装置は、図１に示す左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４から、２つの画像データを入力する。
<Input Example of Image Data> (Step S01)
In step S01, the image processing apparatus inputs image data. Specifically, first, the image processing apparatus inputs two pieces of image data from the upper left camera CAM11, the upper right camera CAM12, the lower right camera CAM13, and the lower left camera CAM14 shown in FIG.
＜各画像データにおけるそれぞれのカメラ座標の算出例＞（ステップＳ０２）
ステップＳ０２では、画像処理装置は、各画像データにおけるそれぞれのカメラ座標を算出する。すなわち、画像処理装置は、電子ペンのペン先を示す画素のカメラ座標を算出する。このように、各画像データにおけるそれぞれのカメラ座標が算出されると、図２に示す（ｘ１，ｙ１）及び（ｘ２，ｙ２）が求まる。
<Example of Calculation of Each Camera Coordinate in Each Image Data> (Step S02)
In step S02, the image processing apparatus calculates each camera coordinate in each image data. That is, the image processing apparatus calculates the camera coordinates of a pixel indicating the pen tip of the electronic pen. Thus, when the camera coordinates in each image data are calculated, (x 1 , y 1 ) and (x 2 , y 2 ) shown in FIG. 2 are obtained.
＜三角測量による世界座標の計算例＞（ステップＳ０３）
ステップＳ０３では、画像処理装置は、三角測量等によって世界座標を計算する。すなわち、ステップＳ０３では、画像処理装置は、ステップＳ０２で計算される（ｘ１，ｙ１）及び（ｘ２，ｙ２）に基づいて、図２に示すように、三角測量等によって、世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を計算する。
<Example of calculation of world coordinates by triangulation> (Step S03)
In step S03, the image processing apparatus calculates world coordinates by triangulation or the like. That is, in step S03, the image processing apparatus performs world coordinates by triangulation or the like as shown in FIG. 2 based on (x 1 , y 1 ) and (x 2 , y 2 ) calculated in step S02. Calculate (X world , Y world ).
＜世界座標の出力例＞（ステップＳ０４）
ステップＳ０４では、画像処理装置は、世界座標を出力する。すなわち、画像処理装置は、ステップＳ０３で計算された世界座標（Ｘｗｏｒｌｄ，Ｙｗｏｒｌｄ）を出力する。
<Example of output of world coordinates> (step S04)
In step S04, the image processing apparatus outputs world coordinates. That is, the image processing apparatus outputs the world coordinates (X world , Y world ) calculated in step S03.
＜画像処理装置のハードウェア構成例＞
図４は、本発明の一実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。例えば、画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０Ｈ１、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１０Ｈ２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０Ｈ３、キーボード１０Ｈ４及びマウス１０Ｈ５を有する。さらに、画像処理装置１０は、ハードディスク１０Ｈ６、グラフィックボード１０Ｈ７、ネットワークカード１０Ｈ８、Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ９及びプログラム読取装置１０Ｈ１０を有する。
<Hardware configuration example of image processing apparatus>
FIG. 4 is a block diagram illustrating a hardware configuration example of an image processing apparatus according to an embodiment of the present invention. For example, the image processing apparatus 10 includes a CPU (Central Processing Unit) 10H1, a ROM (Read-Only Memory) 10H2, a RAM (Random Access Memory) 10H3, a keyboard 10H4, and a mouse 10H5. The image processing apparatus 10 further includes a hard disk 10H6, a graphic board 10H7, a network card 10H8, an I / F (interface) 10H9, and a program reading apparatus 10H10.
ＣＰＵ１０Ｈ１は、各処理を実現させるための演算及びデータ加工を行う演算装置である。また、ＣＰＵ１０Ｈ１は、各ハードウェアを制御する制御装置である。さらに、ＣＰＵ１０Ｈ１は、プログラムに基づいて動作する装置である。 The CPU 10H1 is an arithmetic device that performs calculations and data processing for realizing each process. The CPU 10H1 is a control device that controls each hardware. Further, the CPU 10H1 is a device that operates based on a program.
ＲＯＭ１０Ｈ２は、プログラム及びパラメータ等を含むデータを記憶する記憶装置である。 The ROM 10H2 is a storage device that stores data including programs, parameters, and the like.
ＲＡＭ１０Ｈ３は、プログラム及びパラメータ等を含むデータを記憶する主記憶装置である。そして、ＲＡＭ１０Ｈ３は、ＣＰＵ１０Ｈ１が処理を行う際に作業領域を提供する装置である。 The RAM 10H3 is a main storage device that stores data including programs and parameters. The RAM 10H3 is a device that provides a work area when the CPU 10H1 performs processing.
キーボード１０Ｈ４及びマウス１０Ｈ５は、入力装置の一例である。すなわち、キーボード１０Ｈ４及びマウス１０Ｈ５は、ユーザが画像処理装置１０に対して、コマンド及びクリック等の操作を入力するためのインタフェースとなる。 The keyboard 10H4 and the mouse 10H5 are examples of input devices. That is, the keyboard 10 </ b> H <b> 4 and the mouse 10 </ b> H <b> 5 serve as interfaces for the user to input operations such as commands and clicks to the image processing apparatus 10.
ハードディスク１０Ｈ６は、補助記憶装置の一例である。図示するように、ハードディスク１０Ｈ６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、デバイスドライバ及び各種アプリケーションプログラム等のデータを記憶する。 The hard disk 10H6 is an example of an auxiliary storage device. As illustrated, the hard disk 10H6 stores data such as an OS (Operating System), device drivers, and various application programs.
グラフィックボード１０Ｈ７は、画像及びＣＰＵ１０Ｈ１による処理結果等を表示する出力装置である。なお、グラフィックボード１０Ｈ７には、ディスプレイ等の外部装置が接続され、グラフィックボード１０Ｈ７が画像等を外部装置に出力して、外部装置が画像等をユーザに表示する。 The graphic board 10H7 is an output device that displays images, processing results by the CPU 10H1, and the like. An external device such as a display is connected to the graphic board 10H7, the graphic board 10H7 outputs an image or the like to the external device, and the external device displays the image or the like to the user.
ネットワークカード１０Ｈ８は、有線又は無線によって、ネットワークを介して、外部装置とデータを送受信するためのインタフェースである。例えば、ネットワークカード１０Ｈ８は、コネクタ及び処理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等である。 The network card 10H8 is an interface for transmitting and receiving data to and from an external device via a network by wire or wireless. For example, the network card 10H8 is a connector and a processing IC (Integrated Circuit).
Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ９は、外部装置をケーブル等を介して接続させるインタフェースである。例えば、Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１０Ｈ９は、コネクタ及び処理ＩＣ等である。 The I / F (interface) 10H9 is an interface for connecting an external device via a cable or the like. For example, an I / F (interface) 10H9 is a connector and a processing IC.
プログラム読取装置１０Ｈ１０は、記録媒体１１等に記憶されるプログラムを読み取る装置である。例えば、記録媒体１１が光学ディスクである場合には、プログラム読取装置１０Ｈ１０は、光学ディスクドライブ等である。 The program reading device 10H10 is a device that reads a program stored in the recording medium 11 or the like. For example, when the recording medium 11 is an optical disk, the program reading device 10H10 is an optical disk drive or the like.
このように、画像処理装置１０は、プログラム等に基づいて動作するＰＣ、サーバ、ワークステーション又はモバイル機器等の情報処理装置である。すなわち、画像処理装置１０は、コンピュータである。 As described above, the image processing apparatus 10 is an information processing apparatus such as a PC, a server, a workstation, or a mobile device that operates based on a program or the like. That is, the image processing apparatus 10 is a computer.
なお、画像処理装置１０は、図示する構成に限られない。例えば、画像処理装置１０は、ＣＰＵ等を補助する補助装置を更に有する構成でもよい。 Note that the image processing apparatus 10 is not limited to the illustrated configuration. For example, the image processing apparatus 10 may further include an auxiliary device that assists the CPU and the like.
＜操作器のハードウェア構成例＞
図５は、本発明の一実施形態に係る操作器のハードウェア構成例を示す模式図である。例えば、電子ペンＰＥは、図示するように、発光部ＰＥＨ１と、支持部ＰＥＨ２とを有する構成であるのが望ましい。以下、図示する構成を例に説明する。
<Hardware configuration example of the controller>
FIG. 5 is a schematic diagram illustrating a hardware configuration example of the operation device according to the embodiment of the present invention. For example, as shown in the drawing, the electronic pen PE desirably has a light emitting unit PEH1 and a support unit PEH2. Hereinafter, the configuration shown in the figure will be described as an example.
発光部ＰＥＨ１は、筆記用具においてインクが滲み出る箇所、すなわち、ペン先等の位置が望ましい。また、発光部ＰＥＨ１は、図示するように、ディスプレイＤＩＳの表面に接触する箇所に近い箇所であるのが望ましい。なお、発光部ＰＥＨ１は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）又は有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）等によって実現される。また、発光部ＰＥＨ１は、カメラが有する撮像素子が感知する可視光及び赤外光を発光する。 The light emitting part PEH1 is preferably a part where ink oozes out in the writing instrument, that is, a position of a pen tip or the like. Further, as shown in the drawing, the light emitting portion PEH1 is desirably a location close to a location that contacts the surface of the display DIS. The light emitting unit PEH1 is realized by, for example, an LED (Light Emitting Diode) or an organic EL (Electro-Luminescence). In addition, the light emitting unit PEH1 emits visible light and infrared light that are sensed by the image pickup device of the camera.
支持部ＰＥＨ２は、電子ペンＰＥを用いる際に、ユーザが手で持つ箇所である。つまり、ユーザは、支持部ＰＥＨ２を握って、電子ペンＰＥによる操作を行う。 The support part PEH2 is a part that the user has with his hand when using the electronic pen PE. That is, the user holds the support part PEH2 and performs an operation with the electronic pen PE.
また、所定の箇所は、例えば、発光部ＰＥＨ１が設置される位置である。 Moreover, a predetermined location is a position where light emission part PEH1 is installed, for example.
＜全体処理例＞
図６は、本発明の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。
<Example of overall processing>
FIG. 6 is a flowchart showing an example of overall processing by the image processing apparatus according to the embodiment of the present invention.
＜第１画像データの入力例＞（ステップＳ１１）
ステップＳ１１では、画像処理装置は、第１画像データを入力する。すなわち、画像処理装置は、各カメラが撮像したそれぞれの画像データ（以下「第１画像データ」という。）を入力する。
<Example of Inputting First Image Data> (Step S11)
In step S11, the image processing apparatus inputs first image data. That is, the image processing apparatus inputs respective image data captured by each camera (hereinafter referred to as “first image data”).
＜各第１撮像装置が指示器に対して遮蔽されているか否かの判定例＞（ステップＳ１２）
ステップＳ１２では、画像処理装置は、各カメラが電子ペンに対して遮蔽されているか否かをそれぞれ判定する。具体的には、図５に示すように、電子ペンが発光部を有する例では、電子ペンと、カメラとの間に、何らかの物体があると、カメラと、電子ペンとは遮蔽されるため、第１画像データに、発光部が発光した光が写らない又は光を写す画素数が少ない場合が多い。また、発光部が発光した光を撮像した画素は、明るい光を撮像するため、輝度が高くなる。
<Example of Determining Whether Each First Imaging Device is Shielded from the Indicator> (Step S12)
In step S12, the image processing apparatus determines whether each camera is shielded from the electronic pen. Specifically, as shown in FIG. 5, in the example in which the electronic pen has a light emitting unit, if there is any object between the electronic pen and the camera, the camera and the electronic pen are shielded. In many cases, the first image data does not include the light emitted from the light emitting unit or the number of pixels that capture the light is small. Moreover, since the pixel which imaged the light which the light emission part emitted light images bright light, its brightness | luminance becomes high.
したがって、画像処理装置は、所定の輝度以上の画素が、所定の画素数以上であるか否かに基づいて、各カメラが電子ペンに対して遮蔽されているか否かをそれぞれ判定する。具体的には、各第１画像データ内に、明るい画素の画素数が所定の画素数以上ある場合には、発光部が撮像できている場合であるため、画像処理装置は、カメラと、電子ペンとは遮蔽されていない、すなわち、電子ペンのペン先を撮像できるカメラであると判定する。 Accordingly, the image processing apparatus determines whether each camera is shielded from the electronic pen based on whether or not the number of pixels having a predetermined luminance or higher is equal to or higher than a predetermined number of pixels. Specifically, in each first image data, when the number of bright pixels is equal to or greater than the predetermined number of pixels, it is a case where the light emitting unit has been imaged. It is determined that the pen is not shielded, that is, the camera can image the pen tip of the electronic pen.
一方で、各第１画像データ内に、明るい画素の画素数が所定の画素数未満である場合には、発光部が撮像できていない場合であるため、画像処理装置は、カメラと、電子ペンとは遮蔽されていると判定する。 On the other hand, when the number of bright pixels is less than the predetermined number of pixels in each first image data, it is a case where the light emitting unit has not been imaged. Therefore, the image processing apparatus includes a camera, an electronic pen, and the like. Is determined to be shielded.
なお、判定に用いられる所定の輝度及び所定の画素数は、あらかじめ設定される値等である。また、判定は、指示器をパターンマッチング等によって検出する方法でもよい。 Note that the predetermined luminance and the predetermined number of pixels used for the determination are values set in advance. The determination may be a method of detecting the indicator by pattern matching or the like.
以下の説明では、判定の結果に基づいて、第１撮像装置のうち、電子ペンのペン先を撮像できる撮像装置を「第２撮像装置」という。また、第２撮像装置の数を数えると、各カメラが撮像した電子ペンのペン先と、主点ＣＡＭＯＲ（図２）とを結ぶ直線の交差する数（以下「交差点」という。）が算出できる。 In the following description, an imaging device capable of imaging the pen tip of the electronic pen among the first imaging devices based on the determination result is referred to as a “second imaging device”. Further, when the number of second imaging devices is counted, the number of intersections of straight lines connecting the pen tip of the electronic pen imaged by each camera and the principal point CAMOR (FIG. 2) (hereinafter referred to as “intersection”) can be calculated. .
具体的には、第２撮像装置が４つ、すなわち、すべてのカメラが電子ペンのペン先を撮像できる場合には、「４交差点」となる。同様に、第２撮像装置が３つ、すなわち、第１撮像装置のうち、１つが遮蔽されてる場合には、「３交差点」となる。さらに、第２撮像装置が２つ、すなわち、第１撮像装置のうち、２つが遮蔽されてる場合には、「２交差点」となる。 Specifically, when there are four second imaging devices, that is, when all the cameras can image the pen tip of the electronic pen, it is “four intersections”. Similarly, when there are three second imaging devices, that is, one of the first imaging devices is shielded, it is “3 intersections”. Furthermore, when there are two second image pickup devices, that is, two of the first image pickup devices are shielded, it becomes a “two intersection”.
図７は、本発明の一実施形態に係る画像処理装置による判定例を示す図である。例えば、図６に示すステップＳ１２が行われると、以下のような判定の結果となる。 FIG. 7 is a diagram showing a determination example by the image processing apparatus according to the embodiment of the present invention. For example, when step S12 shown in FIG. 6 is performed, the following determination result is obtained.
図７（Ａ）は、判定の結果が「４交差点」となる例を示す。図示するように、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４のいずれのカメラも、電子ペンＰＥのペン先を撮像することができる状態である。 FIG. 7A shows an example in which the determination result is “4 intersections”. As shown in the drawing, any of the upper left camera CAM11, the upper right camera CAM12, the lower right camera CAM13, and the lower left camera CAM14 is in a state where it can capture the pen tip of the electronic pen PE.
図７（Ｂ）は、判定の結果が「３交差点」となる例を示す。図示するように、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４のうち、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２及び左下カメラＣＡＭ１４の３つが第２撮像装置と判定される。一方で、右下カメラＣＡＭ１３は、カメラと、電子ペンＰＥのペン先との間に、ユーザの手ＨＮがあるため、右下カメラＣＡＭ１３と、電子ペンＰＥのペン先とが遮蔽されていると判定される第１撮像装置の例である。 FIG. 7B shows an example in which the determination result is “3 intersections”. As illustrated, among the upper left camera CAM11, the upper right camera CAM12, the lower right camera CAM13, and the lower left camera CAM14, three of the upper left camera CAM11, the upper right camera CAM12, and the lower left camera CAM14 are determined as the second imaging device. On the other hand, since the lower right camera CAM13 has the user's hand HN between the camera and the pen tip of the electronic pen PE, the lower right camera CAM13 and the pen tip of the electronic pen PE are shielded. It is an example of the 1st imaging device to be determined.
図７（Ｃ）は、判定の結果が「２交差点」となる例を示す。図示するように、左上カメラＣＡＭ１１、右上カメラＣＡＭ１２、右下カメラＣＡＭ１３及び左下カメラＣＡＭ１４のうち、右上カメラＣＡＭ１２及び右下カメラＣＡＭ１３の２つが第２撮像装置と判定される。一方で、左上カメラＣＡＭ１１及び左下カメラＣＡＭ１４は、カメラと、電子ペンＰＥのペン先との間に、ユーザの手ＨＮがあるため、左上カメラＣＡＭ１１及び左下カメラＣＡＭ１４と、電子ペンＰＥのペン先とが遮蔽されていると判定される第１撮像装置の例である。 FIG. 7C shows an example in which the determination result is “2 intersections”. As shown in the figure, out of the upper left camera CAM11, the upper right camera CAM12, the lower right camera CAM13, and the lower left camera CAM14, the upper right camera CAM12 and the lower right camera CAM13 are determined as the second imaging devices. On the other hand, since the upper left camera CAM11 and the lower left camera CAM14 have the user's hand HN between the camera and the pen tip of the electronic pen PE, the upper left camera CAM11 and the lower left camera CAM14 and the pen tip of the electronic pen PE It is an example of the 1st imaging device with which it is determined that is shielded.
＜「４交差点」であるか否かの判断例＞（ステップＳ１３）
図６に戻り、ステップＳ１３では、画像処理装置は、「４交差点」であるか否かを判断する。例えば、図７（Ａ）に示すような状態であると、第２撮像装置は、４つとなるため、画像処理装置は、「４交差点」であると判断する。次に、「４交差点」であると画像処理装置が判断すると、画像処理装置は、ステップＳ１６に進む。一方で、「４交差点」でないと画像処理装置が判断すると、画像処理装置は、ステップＳ１４に進む。
<Judgment example of whether it is "4 intersections"> (step S13)
Returning to FIG. 6, in step S <b> 13, the image processing apparatus determines whether it is a “four intersection”. For example, in the state shown in FIG. 7A, since there are four second imaging devices, the image processing device determines that there are “four intersections”. Next, when the image processing apparatus determines that the intersection is “4 intersections”, the image processing apparatus proceeds to step S16. On the other hand, when the image processing apparatus determines that the intersection is not “4 intersections”, the image processing apparatus proceeds to step S14.
＜「３交差点」であるか否かの判断例＞（ステップＳ１４）
ステップＳ１４では、画像処理装置は、「３交差点」であるか否かを判断する。例えば、図７（Ｂ）に示すような状態であると、第２撮像装置は、３つとなるため、画像処理装置は、「３交差点」であると判断する。次に、「３交差点」であると画像処理装置が判断すると、画像処理装置は、ステップＳ１７に進む。一方で、「３交差点」でないと画像処理装置が判断すると、画像処理装置は、ステップＳ１５に進む。
<Judgment example of whether or not “3 intersections”> (step S14)
In step S <b> 14, the image processing apparatus determines whether the intersection is “3 intersections”. For example, in the state shown in FIG. 7B, there are three second imaging devices, so the image processing device determines that there are three intersections. Next, when the image processing apparatus determines that the intersection is “3 intersections”, the image processing apparatus proceeds to step S17. On the other hand, when the image processing apparatus determines that the intersection is not “3 intersections”, the image processing apparatus proceeds to step S15.
＜「２交差点」であるか否かの判断例＞（ステップＳ１５）
ステップＳ１５では、画像処理装置は、「２交差点」であるか否かを判断する。例えば、図７（Ｃ）に示すような状態であると、第２撮像装置は、２つとなるため、画像処理装置は、「２交差点」であると判断する。次に、「２交差点」であると画像処理装置が判断すると、画像処理装置は、ステップＳ１８に進む。一方で、「２交差点」でないと画像処理装置が判断すると、画像処理装置は、処理を終了する。
<Judgment example of whether or not “2 intersection”> (step S15)
In step S15, the image processing apparatus determines whether it is a “two intersection”. For example, in the state as shown in FIG. 7C, there are two second imaging devices, so the image processing device determines that there are two intersections. Next, when the image processing apparatus determines that the intersection is “2 intersections”, the image processing apparatus proceeds to step S18. On the other hand, when the image processing apparatus determines that it is not “two intersections”, the image processing apparatus ends the processing.
＜第２撮像装置のうち、４つの撮像装置を用いる座標の計算例＞（ステップＳ１６）
ステップＳ１６では、画像処理装置は、第２撮像装置のうち、４つの撮像装置を用いて座標を計算する。具体的には、ステップＳ１６が行われる場合は、４つの撮像装置のいずれもが電子ペンのペン先を撮像できる撮像装置である。したがって、画像処理装置は、４つの撮像装置のうち、２つの撮像装置を選んで、選ばれた各撮像装置が撮像するそれぞれの画像データに基づいて、座標を計算する。例えば、選ばれた２つの撮像装置を用いて、画像処理装置は、図３に示す処理によって、座標を計算する。
<Example of Calculation of Coordinates Using Four Imaging Devices Among Second Imaging Devices> (Step S16)
In step S <b> 16, the image processing device calculates coordinates using four imaging devices of the second imaging device. Specifically, when step S16 is performed, any of the four imaging devices is an imaging device that can image the pen tip of the electronic pen. Therefore, the image processing apparatus selects two imaging apparatuses from among the four imaging apparatuses, and calculates coordinates based on the respective image data captured by each selected imaging apparatus. For example, using the two selected imaging devices, the image processing device calculates coordinates by the processing shown in FIG.
４つの撮像装置から２つの撮像装置を選ぶため、組み合わせは、「４Ｃ２＝６通り」となる。したがって、画像処理装置は、座標を最大６通り計算して、６通りの計算結果を出力することができる。 Since two imaging devices are selected from the four imaging devices, the combination is “ 4 C 2 = 6”. Accordingly, the image processing apparatus can calculate up to six coordinates and output six calculation results.
＜第２撮像装置のうち、３つの撮像装置を用いる座標の計算例＞（ステップＳ１７）
ステップＳ１７では、画像処理装置は、第２撮像装置のうち、３つの撮像装置を用いて座標を計算する。具体的には、ステップＳ１７が行われる場合は、３つの撮像装置が電子ペンのペン先を撮像できる撮像装置である。したがって、画像処理装置は、３つの撮像装置のうち、２つの撮像装置を選んで、選ばれた各撮像装置が撮像するそれぞれの画像データに基づいて、座標を計算する。例えば、選ばれた２つの撮像装置を用いて、画像処理装置は、図３に示す処理によって、座標を計算する。
<Example of Calculation of Coordinates Using Three Imaging Devices Among Second Imaging Devices> (Step S17)
In step S <b> 17, the image processing device calculates coordinates using three imaging devices of the second imaging device. Specifically, when step S17 is performed, the three imaging devices are imaging devices capable of imaging the pen tip of the electronic pen. Therefore, the image processing apparatus selects two imaging apparatuses from among the three imaging apparatuses, and calculates coordinates based on the respective image data captured by each selected imaging apparatus. For example, using the two selected imaging devices, the image processing device calculates coordinates by the processing shown in FIG.
３つの撮像装置から２つの撮像装置を選ぶため、組み合わせは、「３Ｃ２＝３通り」となる。したがって、画像処理装置は、座標を最大３通り計算して、３通りの計算結果を出力することができる。 Since two imaging devices are selected from the three imaging devices, the combination is “ 3 C 2 = 3”. Therefore, the image processing apparatus can calculate up to three kinds of coordinates and output three kinds of calculation results.
＜第２撮像装置を用いる座標の計算例＞（ステップＳ１８）
ステップＳ１８では、画像処理装置は、第２撮像装置を用いて座標を計算する。具体的には、ステップＳ１８が行われる場合は、２つの撮像装置が電子ペンのペン先を撮像できる撮像装置である。したがって、画像処理装置は、２つの第２撮像装置が撮像するそれぞれの画像データに基づいて、座標を計算する。例えば、２つの第２撮像装置を用いて、画像処理装置は、図３に示す処理によって、座標を計算する。
<Example of Coordinate Calculation Using Second Imaging Device> (Step S18)
In step S18, the image processing device calculates coordinates using the second imaging device. Specifically, when step S18 is performed, the two imaging devices are imaging devices that can image the pen tip of the electronic pen. Therefore, the image processing device calculates coordinates based on the respective image data captured by the two second imaging devices. For example, using two second imaging devices, the image processing device calculates coordinates by the processing shown in FIG.
なお、座標は、例えば、以下のような点が計算される。 For example, the following points are calculated as coordinates.
図８は、本発明の一実施形態に係る計算される座標の一例を示す図である。例えば、各カメラが撮像した電子ペンのペン先と、主点ＣＡＭＯＲ（図２）とを結ぶ４つの直線は、図８（Ａ）に示すように、交点ＣＰの１点で一致する。 FIG. 8 is a diagram illustrating an example of calculated coordinates according to an embodiment of the present invention. For example, four straight lines connecting the pen tip of the electronic pen imaged by each camera and the principal point CAMOR (FIG. 2) coincide with each other at one intersection point CP as shown in FIG. 8A.
しかし、外乱又は計算誤差等があると、図８（Ｂ）に示すように、４つの直線が１点で一致しない場合がある。このような場合には、画像処理装置は、最尤推定法等に基づいて、誤差が最小となる、いわゆる最尤点を計算し、交点と計算してもよい。他にも、画像処理装置は、図８（Ｂ）に示すように、４つの直線が形成する三角形の図心等又は各交点の平均値等を交点ＣＰと計算してもよい。さらに、画像処理装置は、４つの直線のうち、信頼度が高い直線を２本選んで、交点を計算する等でもよい。 However, if there is a disturbance or calculation error, the four straight lines may not coincide at one point, as shown in FIG. In such a case, the image processing apparatus may calculate a so-called maximum likelihood point that minimizes the error based on a maximum likelihood estimation method or the like, and calculate the intersection. In addition, as shown in FIG. 8B, the image processing apparatus may calculate the centroid of a triangle formed by four straight lines or the average value of each intersection as the intersection CP. Furthermore, the image processing apparatus may calculate two intersections by selecting two straight lines with high reliability from the four straight lines.
＜画像データ例＞
図９は、本発明の一実施形態に係る画像データの一例を示す図である。図示するように、ディスプレイＤＩＳの表面における任意の点（以下（指示位置ＴＰ）という。）が電子ペンのペン先で指示されるとすると、例えば、左上カメラＣＡＭ１１が撮像する画像データＩＭＧに、電子ペンのペン先を示すｂｌｏｂＢＬが写る。また、図示するように、指示位置ＴＰと、ｂｌｏｂＢＬとは、投影関係となる。したがって、ｂｌｏｂＢＬの位置、すなわち、ｂｌｏｂＢＬを追跡すると、画像処理装置は、逆投影から指示位置ＴＰを算出することができる。
<Example of image data>
FIG. 9 is a diagram illustrating an example of image data according to an embodiment of the present invention. As shown in the figure, if an arbitrary point on the surface of the display DIS (hereinafter referred to as “instructed position TP”) is indicated by the pen tip of the electronic pen, for example, the image data IMG captured by the upper left camera CAM11 is electronically A blobBL indicating the pen tip is shown. Moreover, as shown in the figure, the designated position TP and blobBL have a projection relationship. Accordingly, when the position of blobBL, that is, blobBL is tracked, the image processing apparatus can calculate the designated position TP from back projection.
なお、ｂｌｏｂ（Ｂｉｎａｒｙ Ｌａｒｇｅ Ｏｂｊｅｃｔ）は、例えば、"ｈｔｔｐ:／／ｗｗｗ.ｅｉｚｏｊｏｈｏ.ｃｏ.ｊｐ／ｉ／ｉ_ｐｄｆ／０００４.ｐｄｆ"等に記載される通り、画像内に存在する特定のグレイスケールの値又は値の範囲を持ったピクセルの「かたまり」のことを指す。 Note that blob (Binary Large Object) is a specific gray scale in an image as described in, for example, “http://www.eizojoho.co.jp/i/i_pdf/0004.pdf”. Refers to a “chunk” of pixels having a value or range of values.
＜処理結果例＞
図６に示す全体処理が行われると、例えば、処理結果によって、以下のような効果が得られる。
<Example of processing results>
When the entire process shown in FIG. 6 is performed, for example, the following effects are obtained depending on the processing result.
図１０は、本発明の一実施形態に係る効果の一例を示す図である。例えば、図示するように、電子ペンＰＥのペン先を撮像できる撮像装置が選ばれて、画像データが撮像される。そのため、画像処理装置は、ユーザの手ＨＮ等によって、電子ペンＰＥと、カメラとが遮蔽されている状態を写す画像データを除外して座標を検出することができる。電子ペンＰＥと、カメラとが遮蔽されている状態を写す画像データが用いられると、誤検出等が発生する場合が多い。そこで、誤検出等が発生しやすい画像データを除外して座標を検出すると、画像処理装置は、座標の検出精度を良くすることができる。したがって、図示するように、画像処理装置は、電子ペンＰＥを用いて、ユーザが書き込む文字等を示す軌跡ＬＣを精度良く検出できる。 FIG. 10 is a diagram illustrating an example of the effect according to the embodiment of the present invention. For example, as shown in the drawing, an image pickup device that can pick up the pen tip of the electronic pen PE is selected, and image data is picked up. Therefore, the image processing apparatus can detect the coordinates by excluding the image data showing the state where the electronic pen PE and the camera are shielded by the user's hand HN or the like. When image data that captures the state where the electronic pen PE and the camera are shielded is used, erroneous detection or the like often occurs. Therefore, if the coordinates are detected by excluding image data that is likely to be erroneously detected, the image processing apparatus can improve the coordinate detection accuracy. Therefore, as shown in the figure, the image processing apparatus can accurately detect a locus LC indicating a character or the like written by the user using the electronic pen PE.
特に、図示するように２つの指示器が用いられるような、複数の指示器が同時に使用される場合には、電子ペンＰＥと、カメラとがユーザの手ＨＮ又は袖等によって、遮蔽されやすくなる。一方で、本実施形態のように、電子ペンＰＥのペン先を撮像できる撮像装置が選ばれると、画像処理装置は、各座標の検出精度を良くする効果を奏する。 In particular, when a plurality of indicators are used at the same time as two indicators are used as shown in the figure, the electronic pen PE and the camera are easily shielded by the user's hand HN or sleeve. . On the other hand, when an imaging device capable of imaging the pen tip of the electronic pen PE is selected as in the present embodiment, the image processing device has an effect of improving the detection accuracy of each coordinate.
また、誤検出等が起こる原因は、例えば、以下のような「手付き」が発生することが考えられる。 Further, the cause of erroneous detection or the like can be caused by the following “hand-on”.
図１１は、本発明の一実施形態に係る「手付き」の一例を示す図である。図示するように、ユーザが電子ペンＰＥを用いて書き込みの操作等を行う場合には、ディスプレイＤＩＳの表面に、ユーザの手ＨＮ等の体の一部又は袖等の衣服が接触する場合がある。このように、電子ペンＰＥ以外の物体がディスプレイの表面に接触する「手付き」の現象が起きる場合がある。このような「手付き」が起きている点は、電子ペンＰＥが接触していると、誤検出される場合がある。一方で、電子ペンＰＥのペン先を撮像できる撮像装置が選ばれると、画像処理装置は、「手付き」による誤検出の影響を少なくし、各座標の検出精度を良くする効果を奏する。 FIG. 11 is a diagram illustrating an example of “with hands” according to an embodiment of the present invention. As shown in the figure, when the user performs a writing operation or the like using the electronic pen PE, a part of the body such as the user's hand HN or clothing such as a sleeve may come into contact with the surface of the display DIS. . As described above, a “hand-on” phenomenon may occur in which an object other than the electronic pen PE contacts the surface of the display. Such a “hand-on” point may be erroneously detected when the electronic pen PE is in contact. On the other hand, when an imaging device capable of imaging the pen tip of the electronic pen PE is selected, the image processing device has an effect of reducing the influence of erroneous detection due to “hand-on” and improving the detection accuracy of each coordinate.
＜比較例＞
図１２は、比較例における座標の検出結果例を示す図である。例えば、常に、４つの撮像装置が用いられる例である。比較例であっても、電子ペンＰＥと、カメラとが遮蔽されていない状態であれば、図１２（Ａ）のように、軌跡ＬＣが精度良く検出される場合が多い。一方で、電子ペンＰＥと、カメラとが遮蔽されている状態で、特に、「手付き」が起きると、電子ペンＰＥが接触する点が、図１２（Ｂ）のように、第１接触点Ｐ１及び第２接触点Ｐ２等であるのに、他の点（以下「ゴースト点ＰＧ」という。）が検出される場合がある。このように、第１接触点Ｐ１及び第２接触点Ｐ２等が、誤ってゴースト点ＰＧと検出されると、座標の検出精度が悪くなる場合がある。例えば、以下のような影響がある。
<Comparative example>
FIG. 12 is a diagram illustrating an example of coordinate detection results in the comparative example. For example, this is an example in which four imaging devices are always used. Even in the comparative example, as long as the electronic pen PE and the camera are not shielded, the locus LC is often detected with high accuracy as shown in FIG. On the other hand, in the state where the electronic pen PE and the camera are shielded, particularly when “hand-on” occurs, the point where the electronic pen PE contacts is the first contact point P1 as shown in FIG. In addition, other points (hereinafter referred to as “ghost points PG”) may be detected in spite of the second contact point P2 and the like. Thus, if the first contact point P1, the second contact point P2, etc. are erroneously detected as the ghost point PG, the coordinate detection accuracy may deteriorate. For example, there are the following effects.
図１３は、比較例における誤検出の影響の一例を示す図である。例えば、図１２（Ａ）と同様に座標が検出されると、図１３（Ａ）に示すように、軌跡ＬＣが精度良く検出される。次に、図１２（Ｂ）に示すような誤検出があると、軌跡ＬＣは、誤検出されたゴースト点ＰＧ（図１２（Ｂ））の座標に続くように、誤った線ＭＩＳとなる場合がある。図示するように、誤った線ＭＩＳは、電子ペンＰＥが指示する座標とは、異なる座標である。そのため、図示するように、誤検出によって、ユーザが意図しない文字等が書き込まれてしまう場合がある。 FIG. 13 is a diagram illustrating an example of the influence of erroneous detection in the comparative example. For example, when coordinates are detected as in FIG. 12A, the locus LC is detected with high accuracy as shown in FIG. Next, when there is an erroneous detection as shown in FIG. 12B, the locus LC becomes an incorrect line MIS so as to follow the coordinates of the erroneously detected ghost point PG (FIG. 12B). There is. As shown in the drawing, the erroneous line MIS has different coordinates from the coordinates indicated by the electronic pen PE. Therefore, as shown in the figure, characters or the like not intended by the user may be written due to erroneous detection.
＜機能構成例＞
図１４は、本発明の一実施形態に係る画像処理システム及び画像処理装置の機能構成例を示す機能ブロック図である。例えば、画像処理システム１は、複数の第１撮像装置ＣＡＭと、入力部１Ｆ１と、判定部１Ｆ２と、決定部１Ｆ３と、座標計算部１Ｆ４とを備える。なお、図示する例は、第１撮像装置ＣＡＭを４つとする例である。
<Functional configuration example>
FIG. 14 is a functional block diagram illustrating a functional configuration example of an image processing system and an image processing apparatus according to an embodiment of the present invention. For example, the image processing system 1 includes a plurality of first imaging devices CAM, an input unit 1F1, a determination unit 1F2, a determination unit 1F3, and a coordinate calculation unit 1F4. The illustrated example is an example in which there are four first imaging devices CAM.
入力部１Ｆ１は、それぞれの第１撮像装置ＣＡＭから、それぞれの第１画像データを入力する。例えば、入力部１Ｆ１は、Ｉ／Ｆ１０Ｈ９（図４）又はネットワークカード１０Ｈ８（図４）等によって実現される。 The input unit 1F1 inputs each first image data from each first imaging device CAM. For example, the input unit 1F1 is realized by the I / F 10H9 (FIG. 4) or the network card 10H8 (FIG. 4).
判定部１Ｆ２は、第１画像データに基づいて、それぞれの第１撮像装置ＣＡＭが操作器Ｉ／Ｆに対して遮蔽されているか否かをそれぞれ判定する。例えば、判定部１Ｆ２は、ＣＰＵ１０Ｈ１（図４）等によって実現される。 The determination unit 1F2 determines whether each first imaging device CAM is shielded from the operation device I / F based on the first image data. For example, the determination unit 1F2 is realized by the CPU 10H1 (FIG. 4) or the like.
決定部１Ｆ３は、判定部１Ｆ２による判定に基づいて、第１撮像装置ＣＡＭのうち、操作器ＩＦ又は操作器ＩＦの所定の箇所を撮像できる第２撮像装置を決定する。例えば、決定部１Ｆ３は、ＣＰＵ１０Ｈ１（図４）等によって実現される。 Based on the determination by the determination unit 1F2, the determination unit 1F3 determines the second imaging device that can image the operation unit IF or a predetermined portion of the operation unit IF in the first imaging device CAM. For example, the determination unit 1F3 is realized by the CPU 10H1 (FIG. 4) or the like.
座標計算部１Ｆ４は、第２撮像装置から入力される第２画像データに基づいて、操作器ＩＦの座標を計算する。例えば、座標計算部１Ｆ４は、ＣＰＵ１０Ｈ１（図４）等によって実現される。 The coordinate calculation unit 1F4 calculates the coordinates of the operation unit IF based on the second image data input from the second imaging device. For example, the coordinate calculation unit 1F4 is realized by the CPU 10H1 (FIG. 4) or the like.
まず、画像処理システム１が有する画像処理装置は、入力部１Ｆ１によって、それぞれの第１撮像装置ＣＡＭから、それぞれの第１画像データを入力する。次に、画像処理装置は、判定部１Ｆ２によって、それぞれの第１画像データに基づいて、それぞれの第１撮像装置ＣＡＭが操作器ＩＦに対して遮蔽されているか否かをそれぞれ判定する。例えば、図６に示すステップＳ１２のように、画像処理装置は、判定を行う。そして、判定の結果から、画像処理装置は、操作器ＩＦ又は操作器ＩＦの所定の箇所を撮像できる第２撮像装置を特定することができる。第２撮像装置は、撮像装置と、操作器ＩＦとの間に遮蔽する物体がないため、操作器ＩＦによって指定される位置を示す第２画像データを撮像することができる。このように、画像処理装置は、座標計算部１Ｆ４によって、第２画像データに基づいて、操作器ＩＦの座標を計算する。このようにすると、誤検出等が少ないため、画像処理装置は、座標の検出精度を良くすることができる。 First, the image processing apparatus included in the image processing system 1 inputs each first image data from each first imaging device CAM by the input unit 1F1. Next, in the image processing apparatus, the determination unit 1F2 determines whether each first imaging device CAM is shielded from the operation unit IF based on each first image data. For example, as in step S <b> 12 illustrated in FIG. 6, the image processing apparatus performs determination. Then, from the determination result, the image processing apparatus can specify the second imaging device capable of imaging the operation unit IF or a predetermined portion of the operation unit IF. Since there is no object to be shielded between the imaging device and the operation device IF, the second imaging device can capture the second image data indicating the position specified by the operation device IF. As described above, the image processing apparatus calculates the coordinates of the operation unit IF based on the second image data by the coordinate calculation unit 1F4. In this way, since there are few false detections etc., the image processing apparatus can improve the coordinate detection accuracy.
＜その他の実施形態＞
なお、本発明に係る実施形態は、アセンブラ言語、Ｃ言語等の低水準言語又はオブジェクト指向プログラミング言語等の高水準言語で記述されるコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。また、プログラムは、補助記憶装置、フラッシュメモリ又はブルーレイディスク等の光学ディスク等のコンピュータで読み取り可能な記録媒体に格納して頒布することができる。さらに、プログラムは、電気通信回線を通じて頒布することができる。
<Other embodiments>
The embodiment according to the present invention may be realized by a program for causing a computer described in a low-level language such as an assembler language or C language or a high-level language such as an object-oriented programming language to execute an image processing method. Good. The program can be stored and distributed in a computer-readable recording medium such as an auxiliary storage device, a flash memory, or an optical disc such as a Blu-ray disc. Furthermore, the program can be distributed through a telecommunication line.
画像処理装置は、１つの情報処理装置でなくともよい。つまり、本発明に係る実施形態は、１以上の情報処理装置を有する画像処理システムによって実現されてもよい。すなわち、ネットワーク等で接続される複数の情報処理装置によって、各処理は、冗長、分散又は並列に実行されてもよい。 The image processing apparatus may not be a single information processing apparatus. That is, the embodiment according to the present invention may be realized by an image processing system having one or more information processing apparatuses. In other words, each process may be executed redundantly, in a distributed manner or in parallel by a plurality of information processing devices connected via a network or the like.
また、各処理の一部又は全部は、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の電子回路で実現されてもよい。さらに、各処理の一部又は全部は、例えば、ファームウェア等で実現されてもよい。 Moreover, a part or all of each process may be implement | achieved by electronic circuits, such as a field programmable gate array (FPGA) or ASIC (Application Specific Integrated Circuit). Furthermore, a part or all of each process may be realized by, for example, firmware.
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims. Can be changed.
１ 画像処理システム
１０ 画像処理装置
ＣＡＭ１１ 左上カメラ
ＣＡＭ１２ 右上カメラ
ＣＡＭ１３ 右下カメラ
ＣＡＭ１４ 左下カメラ
ＤＩＳ ディスプレイ
ＰＥ 電子ペン
DESCRIPTION OF SYMBOLS 1 Image processing system 10 Image processing apparatus CAM11 Upper left camera CAM12 Upper right camera CAM13 Lower right camera CAM14 Lower left camera DIS Display PE Electronic pen
Claims (7)
それぞれの前記第１撮像装置から、それぞれの第１画像データを入力する入力部と、
前記第１画像データに基づいて、それぞれの前記第１撮像装置が前記操作器に対して遮蔽されているか否かをそれぞれ判定する判定部と、
前記判定に基づいて、前記第１撮像装置のうち、前記操作器又は前記操作器の所定の箇所を撮像できる第２撮像装置を決定する決定部と、
前記第２撮像装置から入力される第２画像データに基づいて、前記操作器の座標を計算する座標計算部と
を備える画像処理装置。 An image processing device connected to a plurality of first imaging devices that image an operating device,
Input units for inputting the respective first image data from the respective first imaging devices;
A determination unit configured to determine whether each of the first imaging devices is shielded from the operation device based on the first image data;
Based on the determination, a determination unit that determines a second imaging device that can capture an image of the operating device or a predetermined portion of the operating device among the first imaging devices;
An image processing apparatus comprising: a coordinate calculation unit that calculates coordinates of the operation device based on second image data input from the second imaging device.
前記判定部は、前記発光部が発光する光に基づいた所定の輝度以上の画素があるか否か又は前記所定の輝度以上の画素の画素数に基づいて、遮蔽されているか否かを判定する請求項１に記載の画像処理装置。 The operating device has a light emitting unit,
The determination unit determines whether or not there is a pixel having a predetermined luminance or higher based on light emitted from the light emitting unit, or whether or not the pixel is blocked based on the number of pixels having the predetermined luminance or higher. The image processing apparatus according to claim 1.
前記座標は、前記表示装置の表面における位置を示す請求項１乃至３のいずれか１項に記載の画像処理装置。 The image processing device is connected to a display device,
The image processing apparatus according to claim 1, wherein the coordinates indicate a position on a surface of the display device.
それぞれの前記第１撮像装置から、それぞれの第１画像データを入力する入力部と、
前記第１画像データに基づいて、それぞれの前記第１撮像装置が前記操作器に対して遮蔽されているか否かをそれぞれ判定する判定部と、
前記判定に基づいて、前記第１撮像装置のうち、前記操作器又は前記操作器の所定の箇所を撮像できる第２撮像装置を決定する決定部と、
前記第２撮像装置から入力される第２画像データに基づいて、前記操作器の座標を計算する座標計算部と
を備える画像処理システム。 An image processing system having a plurality of first imaging devices that image an operating device and one or more image processing devices connected to the first imaging device,
Input units for inputting the respective first image data from the respective first imaging devices;
A determination unit configured to determine whether each of the first imaging devices is shielded from the operation device based on the first image data;
Based on the determination, a determination unit that determines a second imaging device that can capture an image of the operating device or a predetermined portion of the operating device among the first imaging devices;
An image processing system comprising: a coordinate calculation unit that calculates coordinates of the operation device based on second image data input from the second imaging device.
前記画像処理装置が、それぞれの前記第１撮像装置から、それぞれの第１画像データを入力する入力手順と、
前記画像処理装置が、前記第１画像データに基づいて、それぞれの前記第１撮像装置が前記操作器に対して遮蔽されているか否かをそれぞれ判定する判定手順と、
前記画像処理装置が、前記判定に基づいて、前記第１撮像装置のうち、前記操作器又は前記操作器の所定の箇所を撮像できる第２撮像装置を決定する決定手順と、
前記画像処理装置が、前記第２撮像装置から入力される第２画像データに基づいて、前記操作器の座標を計算する座標計算手順と
を含む画像処理方法。 An image processing method performed by an image processing device connected to a plurality of first imaging devices that image an operation device,
An input procedure in which the image processing device inputs each first image data from each first imaging device;
A determination procedure for determining whether each of the first imaging devices is shielded from the operation device based on the first image data;
A determination procedure in which the image processing apparatus determines, based on the determination, a second imaging device capable of imaging the operation device or a predetermined portion of the operation device, of the first imaging devices;
An image processing method including: a coordinate calculation procedure in which the image processing device calculates the coordinates of the operation device based on second image data input from the second imaging device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016131350A JP2018005543A (en) | 2016-07-01 | 2016-07-01 | Image processing device, image processing system and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016131350A JP2018005543A (en) | 2016-07-01 | 2016-07-01 | Image processing device, image processing system and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018005543A true JP2018005543A (en) | 2018-01-11 |
Family
ID=60949281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016131350A Pending JP2018005543A (en) | 2016-07-01 | 2016-07-01 | Image processing device, image processing system and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018005543A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111256662A (en) * | 2018-11-30 | 2020-06-09 | 卡西欧计算机株式会社 | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
| JP2020095005A (en) * | 2018-11-30 | 2020-06-18 | カシオ計算機株式会社 | Position information acquisition system, position information acquisition device, position information acquisition method, and program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013190863A (en) * | 2012-03-12 | 2013-09-26 | Sharp Corp | Optical touch panel device and optical touch panel |
| JP2013190980A (en) * | 2012-03-13 | 2013-09-26 | Sharp Corp | Coordinate input device, coordinate input system, and coordinate input method |
| US20150077763A1 (en) * | 2013-09-13 | 2015-03-19 | Ricoh Company, Ltd. | Coordinate detection system and information processing apparatus |
| JP2015207260A (en) * | 2014-04-23 | 2015-11-19 | 株式会社リコー | Coordinate input system, light emission intensity control method in coordinate input system, information processing device and program |
| JP2016024518A (en) * | 2014-07-17 | 2016-02-08 | 株式会社リコー | Coordinate detection system, coordinate detection method, information processing device and program |
| JP2016058002A (en) * | 2014-09-12 | 2016-04-21 | 株式会社リコー | Image processing system, image processing device, method and program |
-
2016
- 2016-07-01 JP JP2016131350A patent/JP2018005543A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013190863A (en) * | 2012-03-12 | 2013-09-26 | Sharp Corp | Optical touch panel device and optical touch panel |
| JP2013190980A (en) * | 2012-03-13 | 2013-09-26 | Sharp Corp | Coordinate input device, coordinate input system, and coordinate input method |
| US20150077763A1 (en) * | 2013-09-13 | 2015-03-19 | Ricoh Company, Ltd. | Coordinate detection system and information processing apparatus |
| JP2015056112A (en) * | 2013-09-13 | 2015-03-23 | 株式会社リコー | Coordinate detection system, information processor, program, storage medium, and coordinate detection method |
| JP2015207260A (en) * | 2014-04-23 | 2015-11-19 | 株式会社リコー | Coordinate input system, light emission intensity control method in coordinate input system, information processing device and program |
| JP2016024518A (en) * | 2014-07-17 | 2016-02-08 | 株式会社リコー | Coordinate detection system, coordinate detection method, information processing device and program |
| JP2016058002A (en) * | 2014-09-12 | 2016-04-21 | 株式会社リコー | Image processing system, image processing device, method and program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111256662A (en) * | 2018-11-30 | 2020-06-09 | 卡西欧计算机株式会社 | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
| JP2020095005A (en) * | 2018-11-30 | 2020-06-18 | カシオ計算機株式会社 | Position information acquisition system, position information acquisition device, position information acquisition method, and program |
| US11361466B2 (en) | 2018-11-30 | 2022-06-14 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
| JP7131487B2 (en) | 2018-11-30 | 2022-09-06 | カシオ計算機株式会社 | Position information acquisition system, position information acquisition device, position information acquisition method and program |
| US11816861B2 (en) | 2018-11-30 | 2023-11-14 | Casio Computer Co., Ltd. | Position information acquisition device, position information acquisition method, recording medium, and position information acquisition system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10360696B2 (en) | Image processing apparatus, image processing method, and program | |
| US10318152B2 (en) | Modifying key size on a touch screen based on fingertip location | |
| JP2008250949A (en) | Image processor, control program, computer-readable recording medium, electronic equipment and control method of image processor | |
| JP2008250950A (en) | Image processor, control program, computer-readable recording medium, electronic equipment and control method of image processor | |
| EP2672363A2 (en) | Display device and method using a plurality of display panels | |
| JP2008250951A (en) | Image processor, control program, computer-readable recording medium, electronic equipment, and control method of image processor | |
| JP2008250951A5 (en) | ||
| JP2016162162A (en) | Contact detection device, projector device, electronic blackboard device, digital signage device, projector system, and contact detection method | |
| US20170160875A1 (en) | Electronic apparatus having a sensing unit to input a user command adn a method thereof | |
| JP2018005543A (en) | Image processing device, image processing system and image processing method | |
| JP6229554B2 (en) | Detection apparatus and detection method | |
| US10379677B2 (en) | Optical touch device and operation method thereof | |
| US20150241997A1 (en) | Coordinate detection system, information processing apparatus, method of detecting coordinate, and program | |
| US9721353B2 (en) | Optical positional information detection apparatus and object association method | |
| JP2017027311A (en) | Information processing unit, control method therefor, program, and storage medium | |
| JP6417939B2 (en) | Handwriting system and program | |
| JP2018155934A (en) | Display control device, display control method, display control program, and display control system | |
| US10943109B2 (en) | Electronic apparatus, method for controlling thereof and the computer readable recording medium | |
| JP2013134549A (en) | Data input device and data input method | |
| JP2011258102A (en) | Input device | |
| JP2017068437A (en) | Body detection apparatus, body detection method, and body detection program | |
| JP6471679B2 (en) | Display device and display method | |
| JP2018010578A (en) | Image processing apparatus, image processing system and image processing method | |
| US10175825B2 (en) | Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image | |
| US20160370880A1 (en) | Optical input method and optical virtual mouse utilizing the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190417 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200721 |