JP2014119915A - Image display unit and pointer device - Google Patents
Image display unit and pointer device Download PDFInfo
- Publication number
- JP2014119915A JP2014119915A JP2012273927A JP2012273927A JP2014119915A JP 2014119915 A JP2014119915 A JP 2014119915A JP 2012273927 A JP2012273927 A JP 2012273927A JP 2012273927 A JP2012273927 A JP 2012273927A JP 2014119915 A JP2014119915 A JP 2014119915A
- Authority
- JP
- Japan
- Prior art keywords
- spot
- image
- unit
- reference point
- pointer device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、表示画像に照射されるスポットの位置の検出に関する。 The present invention relates to detection of the position of a spot irradiated on a display image.
従来、任意の位置に表示された表示画像内の特定の部位を指示するためにポインター装置からスポットを照射することが知られている。また、ディスプレイに照射されたスポットの位置を検出するため、スポットが表示されるディスプレイの表示面を規定する辺を基準に、スポットの位置を算出するものが知られている（例えば、特許文献１参照）。 Conventionally, it is known to irradiate a spot from a pointer device in order to indicate a specific part in a display image displayed at an arbitrary position. Further, in order to detect the position of the spot irradiated on the display, there is known one that calculates the spot position on the basis of the side that defines the display surface of the display on which the spot is displayed (for example, Patent Document 1). reference).
画像が表示される領域はディスプレイに限定されず、映写幕や、壁等、様々な場所に表示が行われる場合がある。このような場合、画像が表示される場所の辺や外周が固定されていないため、上記特許文献１に記載された発明を適用して、スポットの座標を検出することができなかった。また、ディスプレイの辺が背景色と同化することで辺を検出できない場合も考えられる。 The area where the image is displayed is not limited to the display, and the display may be performed in various places such as a projection screen and a wall. In such a case, since the side and outer periphery of the place where the image is displayed are not fixed, it is impossible to detect the coordinates of the spot by applying the invention described in Patent Document 1. Further, there may be a case where the side of the display cannot be detected by assimilating the background color.
本発明は、上記課題にかんがみてなされたもので、画像をどのような条件で表示する場合でも、この画像に照射されるスポットの位置を検出することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to detect the position of a spot irradiated on an image, regardless of the conditions under which the image is displayed.
上記課題を解決するために、本発明では、画像を表示する画像表示装置において、前記画像内に少なくとも２点以上の基準点を形成する基準点形成部と、表示された前記画像と、同画像に照射されたスポットとを含んだ撮像画像を形成する撮像部と、前記形成された撮像画像における、前記基準点と前記スポットとの相対的な位置関係に基づいて、前記スポットの位置を算出する位置算出部と、を有する。 In order to solve the above problems, according to the present invention, in an image display device that displays an image, a reference point forming unit that forms at least two reference points in the image, the displayed image, and the image The position of the spot is calculated based on the relative positional relationship between the reference point and the spot in the formed captured image, and an imaging unit that forms a captured image including the spot irradiated on A position calculation unit.
上記のように構成された発明では、まず、基準点形成部は、画像内に少なくとも２点以上の基準点を形成する。基準点は２点以上であればどのようなものであってもよく、画像処理によりこの基準点を認識できるものであればよい。例えば、２点が画像の周囲を移動するものであってもよい。そして、撮像画像部は、各基準点と照射されたスポットとを含んだ撮像画像を取得する。さらに、位置算出部は、取得された撮像画像における、基準点とスポットとの相対的な位置関係に基づいて、同スポットの位置を算出する。
そのため、画像に含まれる基準点に基づいてスポットの位置を算出することができるため、画像が表示される条件に依存することなくスポットの位置を算出することができる。
In the invention configured as described above, first, the reference point forming unit forms at least two or more reference points in the image. Any reference point may be used as long as it is two or more, and any reference point can be recognized by image processing. For example, two points may move around the image. And a captured image part acquires the captured image containing each reference point and the irradiated spot. Further, the position calculation unit calculates the position of the spot based on the relative positional relationship between the reference point and the spot in the acquired captured image.
Therefore, since the position of the spot can be calculated based on the reference point included in the image, the position of the spot can be calculated without depending on the condition for displaying the image.
また、このように算出されたスポット位置を用いた好適な手法の一例として、前記算出されたスポットの位置に基づいて、所定の処理を実行させる命令を発行する命令発行部を有する構成としてもよい。
上記のように構成された発明では、算出されたスポット位置に基づいて対応する処理を実行させるための命令を発行する構成とすることで、スポットをマウスのように使用することが可能となる。
In addition, as an example of a suitable method using the spot position calculated in this way, a configuration may be provided that includes a command issuing unit that issues a command for executing a predetermined process based on the calculated spot position. .
In the invention configured as described above, the spot can be used like a mouse by issuing a command for executing a corresponding process based on the calculated spot position.
そして、前記スポットの移動量を検出する動き検出部を有し、前記位置算出部は、前記相対的な位置関係に基づいて算出した前記スポットの位置を、前記検出された移動量で補正して、前記スポットの位置を求める構成としてもよい。
上記のように構成された発明では、一度算出したスポットの位置を基準点として、その後の位置を移動量により補正する。そのため、撮像画像をもとにスポットの位置を求めた後は、移動量により補正を行えばよいため、処理負荷を低減することができる。
And it has a motion detection part which detects the amount of movement of the spot, and the position calculation part corrects the position of the spot calculated based on the relative positional relationship with the detected amount of movement. The spot position may be obtained.
In the invention configured as described above, the position of the spot once calculated is used as a reference point, and the subsequent position is corrected by the movement amount. For this reason, after obtaining the spot position based on the captured image, it is only necessary to perform correction based on the movement amount, so that the processing load can be reduced.
さらに、前記位置算出部は、前記相対的な位置関係に基づいて前記スポットの位置を算出した後、前記画像から前記基準点を消去する構成としてもよい。
上記のように構成された発明では、画面からスポットを消去することができるため、画面の視認性を向上させることができる。
Furthermore, the position calculation unit may be configured to delete the reference point from the image after calculating the position of the spot based on the relative positional relationship.
In the invention configured as described above, since the spots can be erased from the screen, the visibility of the screen can be improved.
また、前記位置算出部は、前記撮像画像における前記基準点と前記スポットとの前記相対的な位置関係を補正した後、前記スポットの位置を算出する、構成としてもよい。
例えば、撮像画像に含まれる基準点とスポットとの位置関係は、撮像部の位置関係によっても変化する。そのため、このような位置関係を事前に補正することで、より精度良くスポットの位置を算出することができる。
The position calculation unit may be configured to calculate the position of the spot after correcting the relative positional relationship between the reference point and the spot in the captured image.
For example, the positional relationship between the reference point and the spot included in the captured image also changes depending on the positional relationship of the imaging unit. Therefore, the position of the spot can be calculated with higher accuracy by correcting such a positional relationship in advance.
そして、前記基準点形成部は、前記画像内に３点以上の基準点を形成する構成としてもよい。
上記のように構成された発明では、基準点の位置関係が台形状にゆがんでいる場合でも、位置関係を補正することができる。
The reference point forming unit may be configured to form three or more reference points in the image.
In the invention configured as described above, the positional relationship can be corrected even when the positional relationship of the reference points is distorted in a trapezoidal shape.
さらに、前記基準点形成部は、前記画像内に４点以上の基準点を形成する構成としてもよい。
上記のように構成された発明では、基準点の位置関係が多角形状にゆがんでいる場合でも、位置関係を補正することができる。
Furthermore, the reference point forming unit may be configured to form four or more reference points in the image.
In the invention configured as described above, the positional relationship can be corrected even when the positional relationship of the reference points is distorted in a polygonal shape.
また、当該画像表示装置は、画像を表示する表示装置と、前記表示装置により表示された画像に前記スポットを照射するポインター装置とを備え、前記撮像部は、前記ポインター装置に備えられ、前記ポインター装置は、前記撮像画像を前記表示装置に送信する送信部を備える構成としてもよい。
上記のように構成された発明では、スポットを照射するポインター装置により撮像画像を取得するため、より実用的に本発明を適用することができる。
The image display device includes a display device that displays an image, and a pointer device that irradiates the spot on the image displayed by the display device, and the imaging unit is provided in the pointer device, and the pointer The apparatus may include a transmission unit that transmits the captured image to the display device.
In the invention configured as described above, since the captured image is acquired by the pointer device that irradiates the spot, the present invention can be applied more practically.
また、本発明は、表示画像に対して光のスポットを照射するポインター装置に対しても適用することができる。 The present invention can also be applied to a pointer device that irradiates a display image with a light spot.
以下、下記の順序に従って本発明の実施形態を説明する。
１．第１の実施形態：
２．第２の実施形態：
３．第３の実施形態：
４．第４の実施形態：
５．その他の実施形態：
Hereinafter, embodiments of the present invention will be described in the following order.
1. First embodiment:
2. Second embodiment:
3. Third embodiment:
4). Fourth embodiment:
5. Other embodiments:
１．第１の実施形態：
図１は、本発明の画像表示装置を説明する図である。また、図２は、スクリーンＣＡに表示された画像を説明する図である。
画像表示装置１は、プロジェクター３０と、パーソナルコンピューター（以下、ＰＣとも記載する。）２０と、ポインター装置１０と、を備える。この画像表示装置１では、ＰＣ２０により生成された投影用データをプロジェクター３０によりスクリーンＣＡに投影させて表示させることができる。また、ポインター装置１０によりスクリーンＣＡに光のスポットＳｐを表示して、表示画像をこのスポットＳｐにより指示することができる。
ここで、本実施形態のスクリーンＣＡとは、画像を投影できる面を備えるものであれば良い。例えば、映写幕や、壁等も含まれる。
1. First embodiment:
FIG. 1 is a diagram for explaining an image display device of the present invention. FIG. 2 is a diagram for explaining an image displayed on the screen CA.
The image display device 1 includes a
Here, the screen CA of the present embodiment may be any screen as long as it has a surface that can project an image. For example, a projection screen and a wall are also included.
図３は、ポインター装置１０の構成を説明するブロック構成図である。ポインター装置１０は、例えば、携帯型の装置であり、ユーザーの操作によりレーザー光を照射することができる。ポインター装置１０は、レーザー照射部１１、撮像部１２、制御部１３、通信部１４、操作キー１５を備える。
FIG. 3 is a block diagram illustrating the configuration of the
レーザー照射部１１は、制御部１３と接続されている。レーザー照射部１１は、半導体レーザーを備え、制御部１３からの信号により、レーザー光を照射する。
撮像部１２は、制御部１３と接続されている。撮像部１２は、例えばＣＣＤ（Charge Coupled Device）を備え、制御部１３の制御のもと、撮像データを生成する。
通信部１４は、制御部１３と接続されている。通信部１４は、ＷｉＦｉ等の無線ＬＡＮによりＰＣ２０との通信を行う。また、通信部１４は、無線ＬＡＮ以外にも、赤外線通信や、他の無線方式、更には有線であってもよい。
The
The
The
操作キー１５は制御部１３と接続されている。操作キー１５を構成する一部のキーが操作されることで、レーザー照射部１１にレーザーを照射させる制御コマンドが制御部１３に送信される。また、操作キー１５を構成する一部のキーが操作されることで、撮像部１２に撮像データを取得させる制御コマンドが制御部１３に送信される。
The
制御部１３は、ポインター装置１０の駆動を統合的に制御する。制御部１３は、例えば、ＳＯＣ（System On Chip）等の集積回路により構成される。
The
図４は、ＰＣ２０の構成を説明するブロック構成図である。ＰＣ２０は、既存のパーソナルコンピューターにより実現することができる。ＰＣ２０は、通信部２１、Ｉ／Ｆ２２、メイン制御基板２３、操作入力部２４、メモリ２５を備える。
FIG. 4 is a block configuration diagram illustrating the configuration of the
通信部２１は、メイン制御基板２３に接続されている。通信部２１は、ポインター装置１０の通信部１４と無線ＬＡＮにより通信を行うことができる。また、通信部２１は無線ＬＡＮ以外にも、赤外線通信や、他の無線方式、更には有線であってもよい。
操作入力部２４は、メイン制御基板２３に対して所定の操作入力を行う。操作入力部２４は、例えば、キーボードやマウスにより実現される。
The
The
メイン制御基板２３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備えている。そして、ＣＰＵがＲＯＭに記録されたプログラムを実行することで、メイン制御基板２３は、ドライバー部２６、基準点形成部２７、位置算出部２８、命令発行部２９を機能的に備える。
The
ドライバー部２６は、Ｉ／Ｆ２２を通じて接続されたプロジェクター３０の駆動を制御する。例えば、ドライバー部２６は、メモリ２５に記録された画像データを投影用データに変換し、Ｉ／Ｆ２２を通じてプロジェクター３０に送信する。また、ドライバー部２６は、画像切り換え機能によりプロジェクター３０に送信する投影用データを切り替え、スクリーンＣＡに表示される画像を切り換えることができる。これら機能は、元となる画像データに含まれる操作アイコンを操作入力部２４の操作によりクリック等することで、行うことができる。
The
基準点形成部２７は、画像データに基準点データを合成する。そのため、ドライバー部２６が合成語の画像データを投影用データに変換して、プロジェクター３０に送信することで、プロジェクター３０は図２（ａ）に示す基準点ＤｐをスクリーンＣＡに表示することができる。
The reference
位置算出部２８は、撮像データに含まれるスポットＳｐの位置（スポット座標）を算出する。ここで、本実施形態では、スポット座標を、基準点Ｄｐとの間の相対的な位置を示す座標として用いる。
The
命令発行部２９は、位置算出部２８により算出されたスポット座標に応じて、ドライバー部２６に制御コマンドを発行する。例えば、メモリ２５には、画像データ上の座標と、この座標に対応する制御コマンドとを対応付けたコマンドリストＬ１を記録している。コマンドリストＬ１に記録される座標は、表示画像上の操作アイコンの位置に対応している。そのため、スポットＳｐが表示画像の操作アイコンを指示することで、このアイコンに応じた制御コマンドをドライバー部２６に発行することが可能となる。
The
プロジェクター３０は、液晶方式やＤＬＰ（Digital Light processing）方式等の既存のものを使用することができる。即ち、ＰＣ２０から送信される投影用データをスクリーンＣＡに投影できるものであればどのようなものであってもよい。また、本発明は、ポインター装置１０とＰＣ２０において特徴を有するため、構成の説明は省略する。
As the
次に、画像表示装置１によるスポット座標の算出方法と、算出されたスポット座標を用いた処理を説明する。
図５は、ポインター装置１０の処理を説明するフローチャートである。また、図６は、ＰＣ２０の処理を説明するフローチャートである。図５、図６に示す処理では、図２に示すように、表示画像に含まれる操作用のアイコンＧＩをスポットＳｐで指示することで、ＰＣ２０が表示画像を切り換える処理を例に説明を行う。
Next, a method for calculating spot coordinates by the image display device 1 and a process using the calculated spot coordinates will be described.
FIG. 5 is a flowchart for explaining processing of the
ユーザーがポインター装置１０の操作キー１５を操作して、スポットＳｐをスクリーンＣＡ上の表示画像に照射すると、図５のステップＳ１１で、制御部１３が操作キー１５が操作されたことを検出する（ステップＳ１１：ＹＥＳ）。そして、ステップＳ１２では、制御部１３は、操作情報をＰＣ２０に送信する。具体的には、制御部１３は操作キー１５の操作があったことを示す信号を通信部１４を通じてＰＣ２０に送信する。
When the user operates the
そのため、図６のステップＳ２１では、ＰＣ２０のメイン制御基板２３は、信号を通信部２１を通じて受信する（ステップＳ２１：ＹＥＳ）。そして、ステップＳ２２では、基準点形成部２７は、基準点ＤｐをスクリーンＣＡに表示させる。即ち、基準点形成部２７は、基準点Ｄｐを示す基準点データを画像データに合成する。そして、ドライバー部２６は、合成後の画像データを投影用データに変換し、Ｉ／Ｆ２２を通じてプロジェクター３０に送信する。そのため、プロジェクター３０は、基準点Ｄｐを含む画像をスクリーンＣＡに投影する。
Therefore, in step S21 of FIG. 6, the
次に、スクリーンＣＡに基準点Ｄｐを含んだ表示画像が投影された状態で、ユーザーがポインター装置１０を操作して表示画像を撮像する。そのため、図５のステップＳ１３では、制御部１３は、撮像部１２から撮像データを取得し（ステップＳ１３：ＹＥＳ）、この撮像データを通信部１４を通じてＰＣ２０に送信する（ステップＳ１４）。
Next, in a state where the display image including the reference point Dp is projected on the screen CA, the user operates the
図６のステップＳ２３では、ＰＣ２０は撮像データを受信すると（ステップＳ２３：ＹＥＳ）、ステップＳ２４では、位置算出部２８は、撮像データに基準点Ｄｐが含まれているかを判断する。撮像データに基準点Ｄｐが含まれているか否かの判断方法は、様々な手法を採用することができる。例えば、基準点Ｄｐの色データに基づいて、背景となるデータとの境界を検出してもよい。また、基準点Ｄｐの形に基づいて、周知のパターンマッチングにより背景となるデータとの境界を検出してもよい。
In step S23 of FIG. 6, when the
撮像データに基準点Ｄｐが含まれていない場合（ステップＳ２５：ＮＯ）、ステップＳ２１に戻る。一方、撮像データに基準点Ｄｐが含まれている場合（ステップＳ２５：ＹＥＳ）、ステップＳ２６では、位置算出部２８によりスポット座標が算出される。
When the reference point Dp is not included in the imaging data (step S25: NO), the process returns to step S21. On the other hand, when the reference point Dp is included in the imaging data (step S25: YES), the spot coordinates are calculated by the
図７は、ステップＳ２６の処理を詳細に説明するフローチャートである。また、図８は、スポット座標の算出方法を説明する図である。 FIG. 7 is a flowchart for explaining the process of step S26 in detail. FIG. 8 is a diagram for explaining a method of calculating spot coordinates.
ステップＳ２６では、撮像データに含まれる基準点Ｄｐ及びスポットＳｐの位置関係を論理座標系へ変換し、この論理座標系における座標値を算出する。図８（ｂ）に示す論理座標系は、基準点Ｄｐ１−Ｄｐ４に囲まれ、２軸（一例としてｘ軸、ｙ軸）により規定され、基準点Ｄｐ１を（０、０）とする均等な格子空間である。 In step S26, the positional relationship between the reference point Dp and the spot Sp included in the imaging data is converted into a logical coordinate system, and coordinate values in this logical coordinate system are calculated. The logical coordinate system shown in FIG. 8B is surrounded by the reference points Dp1 to Dp4, is defined by two axes (for example, the x axis and the y axis), and is an even grid with the reference point Dp1 as (0, 0). It is space.
そのため、まず、ステップＳ２６１では、位置算出部２８は、撮像データに含まれる基準点（Ｄｐ１〜Ｄｐ４）及びスポットＳｐをその位置関係を保ったまま抽出する。図８（ａ）に示すように、撮像データ内の基準点Ｄｐの位置は、撮像部１２に入射する光を２次元に投影したものである。そのため、各基準点Ｄｐ及びスポットＳｐの位置関係は、ポインター装置１０とスクリーンＣＡとの相対的な向きに依存して変化する。即ち、各基準点ＤｐとスポットＳｐの位置関係を、撮像部１２とスクリーンＣＡとが正面に位置する場合の位置関係に修正する必要がある。
Therefore, first, in step S261, the
そのため、ステップＳ２６２では、位置算出部２８は、基準点ＤｐとスポットＳｐとの位置関係を修正する。一例として、位置算出部２８は、下記式（１）をもとに位置の修正を行う。
Therefore, in step S262, the
ｘ’＝Ｌ・（ｘ−ａ）／（ｂ−ａ）
ｙ’＝Ｈ・（ｙ−ｃ）／（ｄ−ｃ） …（１）
ここで、（ｘ、ｙ）は、撮像データの隅Ｐを基準とした任意の点の座標、（ｘ’、ｙ’）は、補正後の座標、ａ、ｂ、ｃ、ｄは撮像データ内での基準点Ｄｐ１−Ｄｐ４で規定される領域の辺の中点の座標であって、隅Ｐを基準とする座標、Ｌはａ、ｂにより規定される長さ、Ｈはｃ、ｄにより規定される長さである。
x ′ = L · (x−a) / (b−a)
y ′ = H · (y−c) / (dc) (1)
Here, (x, y) is the coordinates of an arbitrary point based on the corner P of the imaging data, (x ′, y ′) is the coordinates after correction, and a, b, c, d are in the imaging data. Are the coordinates of the midpoint of the side of the region defined by the reference points Dp1-Dp4 at L, the coordinates based on the corner P, L is the length defined by a and b, and H is defined by c and d. Is the length to be.
図８に示す例では、基準点Ｄｐの数を４点としたが、基準点Ｄｐの数はこれに限定されない。表示画像内に４点以上の基準点Ｄｐが表示される場合、基準点Ｄｐで規定される領域が多角形状にゆがんでいる場合でも、位置関係を補正することができる。また、表示画像内に３点以上の基準点Ｄｐが表示される場合、基準点Ｄｐで規定される領域が台形状にゆがんでいる場合でも、位置関係を補正することができる。それ以外にも、２点の基準点Ｄｐが画像の周囲を移動するものであってもよい。 In the example shown in FIG. 8, the number of reference points Dp is four, but the number of reference points Dp is not limited to this. When four or more reference points Dp are displayed in the display image, the positional relationship can be corrected even when the region defined by the reference points Dp is distorted in a polygonal shape. Further, when three or more reference points Dp are displayed in the display image, the positional relationship can be corrected even when the region defined by the reference points Dp is distorted in a trapezoidal shape. In addition, the two reference points Dp may move around the image.
そして、ステップＳ２６３では、位置算出部２８は、補正後の基準点ＤｐとスポットＳｐを論理座標系にプロットし、この論理座標系内におけるスポットＳｐの仮の座標を算出する。例えば、図８（ｂ）に示すように、補正後の基準点Ｄｐ１の座標を（０、０）として、スポットＳｐの仮の座標が算出される。
In step S263, the
さらに、ステップＳ２６４では、位置算出部２８は、ステップＳ２５３で算出された仮の座標を補正し、スポット座標を算出する。この補正では、論理座標系の回転や、座標の倍率等が修正される。論理座標系は、基準点Ｄｐをもとに規定される座標であるため、スクリーンＣＡに表示される表示画像の回転、倍率によって論理座標系に回転や倍率変化が生じている可能性がある。そのため、ステップＳ２５３ではこれらを修正する。
Further, in step S264, the
図６に戻り、ステップＳ２７では、コマンド発行部２８は、ステップＳ２６で算出されたスポット座標に応じた制御コマンドを発行する。コマンド発行部２８は、コマンドリストＬ１を参照して、スポット座標に対応する制御コマンドを参照する。例えば、スポット座標が表示画像を切り換えるアイコンＧＩに対応する座標に位置する場合、コマンド発行部２８は、ドライバー部２６に投影用データを切り換えさせる制御コマンドを発行する。
Returning to FIG. 6, in step S27, the
ステップＳ２８では、ドライバー部２６は発行された制御コマンドによりプロジェクター３０に送信する投影用データを変化させる。そのため、図２（ｂ）に示すように、プロジェクター３０は変化後の表示画像をスクリーンＣＡに投影する。
In step S28, the
以上説明したように、この第１の実施形態では、画像がどのような条件で表示される場合であっても、スクリーンＣＡに照射されるスポットＳｐの位置を算出することができる。 As described above, in the first embodiment, the position of the spot Sp irradiated on the screen CA can be calculated regardless of the conditions under which the image is displayed.
２．第２の実施形態：
この第２の実施形態では、スポット座標の算出をポインター装置１０側でも実行できる構成において、第１の実施形態と異なる。
2. Second embodiment:
The second embodiment is different from the first embodiment in the configuration in which the calculation of spot coordinates can be executed also on the
図９は、第２の実施形態にかかるポインター装置１０の構成を説明するブロック図である。第２の実施形態では、ポインター装置１０は、レーザー照射部１１、撮像部１２、制御部１３、通信部１４、操作キー１５を備える。更に、この実施形態では、ポインター装置１０の制御部１３は、第２位置算出部１２８を機能的に備える。この第２位置算出部１２８は、ＰＣ２０が備える位置算出部２８と同様の機能を備える。また、ＰＣ２０の構成は、第１の実施形態と同様の構成とすることができる。
FIG. 9 is a block diagram illustrating the configuration of the
図１０は、第２の実施形態にかかるポインター装置１０の処理を説明するフローチャートである。また、図１１は、第２の実施形態にかかるＰＣ２０の処理を説明するフローチャートである。
FIG. 10 is a flowchart for explaining processing of the
ユーザーがポインター装置１０の操作キー１５を操作して、スポットＳｐをスクリーンＣＡに照射すると、図１０のステップＳ３１で、制御部１３が操作キー１５が操作されたことを検出する（ステップＳ３１：ＹＥＳ）。そして、ステップＳ３２では、制御部１３は、操作情報をＰＣ２０に送信する。
When the user operates the
図１１のステップＳ４１では、ＰＣ２０のメイン制御基板２３は、信号を通信部２１を通じて受信する（ステップＳ４１：ＹＥＳ）。そして、ステップＳ４２では、ＰＣ２０は、基準点ＤｐをスクリーンＣＡに表示させる。
In step S41 of FIG. 11, the
一方、スクリーンＣＡに基準点Ｄｐを含んだ表示画像が表示された状態で、ユーザーがポインター装置１０を操作して表示画像を撮像する。そのため、図１０のステップＳ３３では、制御部１３は、撮像部１２から撮像データを受信する。そして、ステップＳ３４では、ポインター装置１０の位置算出部１２７は、撮像データに基準点が含まれているかを判断する。
On the other hand, in a state where a display image including the reference point Dp is displayed on the screen CA, the user operates the
撮像データに基準点Ｄｐが含まれていない場合（ステップＳ３４：ＮＯ）、ステップＳ３１に戻る。一方、撮像データに基準点Ｄｐが含まれている場合（ステップＳ３４：ＹＥＳ）、ステップＳ３５では、位置算出部１２７によりスポット座標が算出される。第２位置算出部１２８によるスポット座標の算出手法は、第１の実施形態と同様の手法を用いればよく、その説明は省略する。
ステップＳ３６では、第２位置算出部１２８は、ステップＳ３５で算出されたスポット座標をＰＣ２０に送信する。
When the reference point Dp is not included in the imaging data (step S34: NO), the process returns to step S31. On the other hand, when the reference point Dp is included in the imaging data (step S34: YES), the spot coordinates are calculated by the position calculation unit 127 in step S35. The spot coordinate calculation method by the second
In step S36, the second
図１１のステップＳ４３では、ＰＣ２０はスポット座標を受信すると（ステップＳ４３：ＹＥＳ）、ステップＳ４４では、コマンド発行部２８は、受信されたスポット座標に応じた制御コマンドを発行する。
In step S43 of FIG. 11, when the
そして、ステップＳ４５では、ドライバー部２６は発行された制御コマンドによりプロジェクター３０に送信する投影用データを変化させる。そのため、図２（ｂ）に示すように、プロジェクター３０は変化後の表示画像をスクリーンＣＡに投影する。
In step S45, the
以上説明したように、第２の実施形態では、第１の実施形態の効果に加えて、以下の効果を奏する。即ち、ポインター装置１０側でスポット座標を算出することで、ＰＣ２０の処理を軽減することができる。また、スポット座標を算出する構成において、ＰＣ２０は既存の機能により対応することができる。
As described above, the second embodiment has the following effects in addition to the effects of the first embodiment. That is, the processing of the
３．第３の実施形態：
この第３の実施形態では、ポインター装置１０は、スポット座標を基準座標として時前に取得しておき、この基準座標にスポットの動きに応じた移動量を組み合わせてスポット座標を算出する構成において第１、２の実施形態と異なる。
3. Third embodiment:
In the third embodiment, the
図１２は、第３の実施形態にかかるポインター装置１０の構成を説明するブロック図である。ポインター装置１０は、レーザー照射部１１、撮像部１２、制御部１３、通信部１４、操作キー１５を備える。更に、この実施形態では、ポインター装置１０は、第１の実施形態の構成に加えて、第２位置算出部１２８、加速度センサー（移動量検出部）１２９を備える。
FIG. 12 is a block diagram illustrating the configuration of the
図１３は、第３の実施形態にかかるスポット座標の算出方法を説明する図である。図１３（ａ）に示すように、加速度センサー１２９は、ポインター装置１０の上面を基準として、Ｘ軸、Ｙ軸、Ｚ軸の加速度を算出することができる。そのため、第２位置算出部１２８は、各軸の加速度を積分して各軸の速度を算出することができる。さらに、第２位置算出部１２８は、ポインター装置１０の各軸の加速度（速度）が所定値以上（例えば０）から所定値に変化した時間を内部のタイマーにより計測しており、各時間と速度の掛算からある時間での移動量を求めることができる。そのため、基準点にこの移動量を加えることで、ある時間でのスポット座標を算出することができる。
FIG. 13 is a diagram for explaining a spot coordinate calculation method according to the third embodiment. As shown in FIG. 13A, the
図１４は、第３の実施形態にかかるポインター装置１０の処理を説明するフローチャートである。また、図１５は、第３の実施形態にかかるＰＣ２０の処理を説明するフローチャートである。
FIG. 14 is a flowchart for explaining processing of the
ユーザーがポインター装置１０を操作して、スポットＳｐをスクリーンＣＡに照射すると、図１４のステップＳ５１で、制御部１３が操作キー１５が操作されたことを検出する（ステップＳ５１：ＹＥＳ）。そして、ステップＳ５２では、制御部１３は、操作情報をＰＣ２０に送信する。
When the user operates the
図１５のステップＳ６１では、ＰＣ２０のメイン制御基板２３は、信号を通信部２１を通じて受信する（ステップＳ６１：ＹＥＳ）。そして、ステップＳ６２では、ＰＣ２０は、基準点ＤｐをスクリーンＣＡに表示させる。
In step S61 in FIG. 15, the
一方、ユーザーがポインター装置１０を操作して表示画像を撮像する。図１４のステップＳ５３では、制御部１３は、撮像部１２から撮像データを取得し（ステップＳ５３：ＹＥＳ）、ステップＳ５４では、この撮像データを通信部１４を通じてＰＣ２０に送信する。
On the other hand, the user operates the
図１５のステップＳ６３では、ＰＣ２０は撮像データを受信すると（ステップＳ６３：ＹＥＳ）、ステップＳ６４では、位置算出部２８は、撮像データに基準点Ｄｐが含まれているかを判断する。撮像データに基準点Ｄｐが含まれていない場合（ステップＳ６５：ＮＯ）、ステップＳ６１に戻る。一方、撮像データに基準点Ｄｐが含まれている場合（ステップＳ６５：ＹＥＳ）、ステップＳ６６では、位置算出部２８によりスポット座標が算出される。本実施形態では、このステップで算出されたスポット座標を基準座標として用いる。なお、スポット座標の算出方法は第１の実施形態と同じである。
In step S63 of FIG. 15, when the
そして、ステップＳ６７では、基準点形成部２７は基準点Ｄｐを消去する。そのため、図１３（ｂ）に示すように、表示画像から基準点Ｄｐが消去される。表示画像から基準点Ｄｐを消去する構成とすれば、画像に無関係な基準点Ｄｐが消去されるため、表示画像の視認性を向上させることができる。
そして、ステップＳ６８では、ＰＣ２０の基準点形成部２７は、基準点Ｄｐを消去したことを通信部２１を通じてポインター装置１０に送信する。
In step S67, the reference
In step S <b> 68, the reference
図１４のステップＳ５５では、ポインター装置１０が、基準点Ｄｐを消去したことを示す信号を受信すると（ステップＳ５５：ＹＥＳ）、ステップＳ５６では、制御部１３は、レーザー光を照射する操作キー１５が継続して操作されているか否かを判断する。操作キー１５が操作されていない場合（ステップＳ５６：ＮＯ）、スポットＳｐの照射が行われていないため、処理を終了する。
一方、操作キー１５が操作されている場合（ステップＳ５６：ＹＥＳ）、ステップＳ５７では、制御部１３は、スポットＳｐの照射が継続していることを示す情報を通信部１４を通じてＰＣ２０に送信する。
In step S55 of FIG. 14, when the
On the other hand, when the
そして、ステップＳ５８では、ポインター装置１０の第２位置算出部１２８は、加速度センサー１２９から入力される加速度に基づいてスポットＳｐの移動量を算出する。上記のように、第２位置算出部１２８は、加速度センサー１２９から出力されるＸ軸、Ｙ軸、Ｚ軸の各加速度に基づいて、各軸の移動量を算出することができる。
In step S58, the second
そして、ステップＳ５９では、ステップＳ５８で算出されたスポットＳｐの移動量をＰＣ２０に送信する。
一方、ＰＣ２０では、操作キー１５の操作が継続していることを受信し（図１５のステップＳ６９：ＹＥＳ）、ステップＳ７０では、ポインター装置１０から送信されたスポットＳｐの移動量をもとにスポット座標を補正する。
ステップＳ７０において修正された座標は、第１、第２の実施形態同様、コマンド発行部２８による制御コマンドの発行に使用される。
In step S59, the movement amount of the spot Sp calculated in step S58 is transmitted to the
On the other hand, the
The coordinates corrected in step S70 are used for issuing a control command by the
以上説明したように、この第３の実施形態では、撮像データから取得されたスポット座標を基準として、スポットＳｐの移動量に応じた値を加算してスポット座標を補正する。そのため、撮像データの送信は一回で良いため、処理負荷を低減することができる。 As described above, in the third embodiment, the spot coordinates are corrected by adding a value corresponding to the amount of movement of the spot Sp on the basis of the spot coordinates acquired from the imaging data. Therefore, the imaging data can be transmitted only once, so that the processing load can be reduced.
４．第４の実施形態：
第４の実施形態では、第３の実施形態と比べて、スポット座標をポインター装置１０で全て算出する構成において異なる。なお、ポインター装置１０、ＰＣ２０、プロジェクターの構成は、第３の実施形態と同様である。
4). Fourth embodiment:
The fourth embodiment is different from the third embodiment in the configuration in which all the spot coordinates are calculated by the
図１６は、第３の実施形態にかかるポインター装置１０の処理を説明するフローチャートである。また、図１７は、第３の実施形態にかかるＰＣ２０の処理を説明するフローチャートである。
FIG. 16 is a flowchart for explaining processing of the
ユーザーがポインター装置１０を操作して、スポットＳｐをスクリーンＣＡに照射すると、図１６のステップＳ８１で、制御部１３が操作キー１５が操作されたことを検出する（ステップＳ８１：ＹＥＳ）。そして、ステップＳ８２では、制御部１３は、操作情報をＰＣ２０に送信する。
When the user operates the
図１７のステップＳ１０１では、ＰＣ２０のメイン制御基板２３は、信号を通信部２１を通じて受信する（ステップＳ１０１：ＹＥＳ）。そして、ステップＳ１０２では、ＰＣ２０は、基準点ＤｐをスクリーンＣＡに表示させる。
In step S101 of FIG. 17, the
一方、スクリーンＣＡに基準点Ｄｐを含んだ表示画像が投影された状態で、ステップＳ８３では、表示画像を受信する（ステップＳ８３：ＹＥＳ）。
ステップＳ８４では、位置算出部２８は、撮像データに基準点Ｄｐが含まれているかを判断する。
On the other hand, in a state where the display image including the reference point Dp is projected on the screen CA, in step S83, the display image is received (step S83: YES).
In step S84, the
撮像データに基準点Ｄｐが含まれていない場合（ステップＳ８４：ＮＯ）、ステップＳ８１に戻る。一方、撮像データに基準点Ｄｐが含まれている場合（ステップＳ８４：ＹＥＳ）、ステップＳ８５では、位置算出部２８によりスポット座標が算出される。本実施形態でも第３の実施形態同様、このステップで算出されたスポット座標を基準座標として用いる。なお、スポット座標の算出方法は第１の実施形態と同じである。
When the reference point Dp is not included in the imaging data (step S84: NO), the process returns to step S81. On the other hand, when the reference point Dp is included in the imaging data (step S84: YES), the spot coordinates are calculated by the
ステップＳ８６では、ポインター装置１０は、基準点Ｄｐを消去するよう通信部１４を通じてＰＣ２０に命令を出力する。そのため、図１７のステップＳ１０３では、ＰＣ２０は、基準点Ｄｐを消去する命令を受信すると（ステップＳ１０３：ＹＥＳ）、ステップＳ１０４では、基準点Ｄｐを消去する。
In step S86, the
一方、図１６のステップＳ８７では、ポインター装置１０の位置算出部１２７は、レーザー光を照射する操作キー１５が継続して操作されているか否かを判断する。操作キー１５が操作されていない場合（ステップＳ８７：ＮＯ）、スポットＳｐの照射が行われていないため、処理を終了する。
一方、操作キー１５が操作されている場合（ステップＳ８７：ＹＥＳ）、ステップＳ８８では、位置算出部１２７は、スポットＳｐの照射が継続していることを示す情報を通信部１４を通じてＰＣ２０に送信する。
On the other hand, in step S87 of FIG. 16, the position calculation unit 127 of the
On the other hand, when the
そして、ステップＳ８９では、ポインター装置１０の第２位置算出部１２７は、基準座標にスポットＳｐの移動量を加算して現在のスポット座標を算出する。具体的な処理は、第３の実施形態と同様である。
そして、ステップＳ９０では、ステップＳ８９で算出されたスポット座標をＰＣ２０に送信する。
In step S89, the second position calculation unit 127 of the
In step S90, the spot coordinates calculated in step S89 are transmitted to the
一方、ＰＣ２０では、操作キー１５の操作が継続していることを受信し（ステップＳ１０５：ＹＥＳ）、ポインター装置１０からスポット座標を受信する（ステップＳ１０６：ＹＥＳ）。他の実施形態同様、受信したスポット座標は、コマンド発行部２８による制御コマンドの発行に使用される。
On the other hand, the
以上説明したように、この第４の実施形態では、第１−３の実施形態に加えて以下の効果を奏する。即ち、スポット座標を算出するための全ての処理をポインター装置１０により実行するため、ＰＣ２０はスポット座標の算出するために新たな構成を追加する必要がない。そのため、既存のＰＣ２０を流用することができる。
As described above, the fourth embodiment has the following effects in addition to the first to third embodiments. That is, since all processing for calculating the spot coordinates is executed by the
５．その他の実施形態：
本発明は様々な実施形態が存在する。
画像をスクリーンに表示することは一例に過ぎない。即ち、ディスプレイに表示された画像に対してスポットＳｐを照射する場合にも本発明は適用することができる。この場合、画像表示は、プロジェクターの変わりにディスプレイを備える。
5. Other embodiments:
There are various embodiments of the present invention.
Displaying an image on the screen is only an example. That is, the present invention can also be applied to the case where the spot Sp is irradiated to the image displayed on the display. In this case, the image display includes a display instead of the projector.
なお、本発明は上記実施例に限られるものでないことは言うまでもない。
即ち、上記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用してもよい。
公知技術であって上記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用してもよい。
公知技術等に基づいて当業者が上記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用してもよい。
Needless to say, the present invention is not limited to the above embodiments.
That is, the mutually replaceable members and configurations disclosed in the above embodiments may be applied by appropriately changing the combination.
Members and structures that are known techniques and can be mutually replaced with the members and structures disclosed in the above-described embodiments may be appropriately replaced, and combinations thereof may be changed and applied.
Those skilled in the art may appropriately replace the members and structures that can be assumed as substitutes for the members and structures disclosed in the above-described embodiments based on known techniques and the like, and change the combinations thereof.
１…画像表示装置、１０…ポインター装置、１１…レーザー照射部、１２…撮像部、１３…制御部、１４…通信部、１５…操作キー、２０…パーソナルコンピューター（ＰＣ）、２１…通信部、２２…Ｉ／Ｆ、２３…メイン制御基板、２４…操作入力部、２５…メモリ、２６…ドライバー部、２７…基準点形成部、２８…位置算出部、２９…命令発行部、３０…プロジェクター、 DESCRIPTION OF SYMBOLS 1 ... Image display apparatus, 10 ... Pointer apparatus, 11 ... Laser irradiation part, 12 ... Imaging part, 13 ... Control part, 14 ... Communication part, 15 ... Operation key, 20 ... Personal computer (PC), 21 ... Communication part, 22 ... I / F, 23 ... main control board, 24 ... operation input unit, 25 ... memory, 26 ... driver unit, 27 ... reference point forming unit, 28 ... position calculating unit, 29 ... command issuing unit, 30 ... projector,
Claims (8)
前記画像内に少なくとも２点以上の基準点を形成する基準点形成部と、
表示された前記画像と、同画像に照射されたスポットとを含んだ撮像画像を形成する撮像部と、
前記形成された撮像画像における、前記基準点と前記スポットとの相対的な位置関係に基づいて、前記スポットの位置を算出する位置算出部と、
前記算出されたスポットの位置に基づいて、所定の処理を実行させる命令を発行する命令発行部と、を有することを特徴とする画像表示装置。 In an image display device that displays an image,
A reference point forming unit for forming at least two reference points in the image;
An imaging unit that forms a captured image including the displayed image and a spot irradiated on the image;
A position calculation unit that calculates the position of the spot based on a relative positional relationship between the reference point and the spot in the formed captured image;
An image display device comprising: a command issuing unit that issues a command for executing a predetermined process based on the calculated spot position.
前記位置算出部は、前記相対的な位置関係に基づいて算出した前記スポットの位置を、前記検出された移動量で補正して、前記スポットの位置を算出する、請求項１に記載の画像表示装置。 A movement amount detection unit for detecting the movement amount of the spot;
The image display according to claim 1, wherein the position calculation unit calculates the position of the spot by correcting the position of the spot calculated based on the relative positional relationship with the detected movement amount. apparatus.
前記撮像部は、前記ポインター装置に備えられ、
前記ポインター装置は、前記撮像画像を前記表示装置に送信する送信部を備える、請求項１から請求項６のいずれか一項に記載の画像表示装置。 The image display device includes a display device that displays an image, and a pointer device that irradiates the spot on the image displayed by the display device,
The imaging unit is provided in the pointer device,
The image display device according to any one of claims 1 to 6, wherein the pointer device includes a transmission unit that transmits the captured image to the display device.
少なくとも２点以上の基準点を含む表示画像と、前記表示画像に照射されたスポットとを含んだ撮像画像を形成する撮像部と、
前記形成された撮像画像における、前記基準点と前記スポットとの相対的な位置関係に基づいて、前記スポットの位置を算出する位置算出部と、を有することを特徴とするポインター装置。 In the pointer device that irradiates the displayed image with a spot,
An imaging unit for forming a captured image including a display image including at least two reference points and a spot irradiated on the display image;
A pointer device, comprising: a position calculation unit that calculates a position of the spot based on a relative positional relationship between the reference point and the spot in the formed captured image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012273927A JP2014119915A (en) | 2012-12-14 | 2012-12-14 | Image display unit and pointer device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012273927A JP2014119915A (en) | 2012-12-14 | 2012-12-14 | Image display unit and pointer device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014119915A true JP2014119915A (en) | 2014-06-30 |
Family
ID=51174711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012273927A Pending JP2014119915A (en) | 2012-12-14 | 2012-12-14 | Image display unit and pointer device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014119915A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018163458A (en) * | 2017-03-24 | 2018-10-18 | 日本電気株式会社 | Portable terminal, server device, information processing system, control method and program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04335417A (en) * | 1991-05-10 | 1992-11-24 | Fujitsu Ltd | Pen type pointing device |
| JPH1185395A (en) * | 1997-09-08 | 1999-03-30 | Sharp Corp | Liquid crystal projector device with pointing function |
| JP2004110797A (en) * | 2002-08-30 | 2004-04-08 | Casio Comput Co Ltd | Instructed position detector, and instructed position detection system and instructed position detection method |
| JP2007086962A (en) * | 2005-09-21 | 2007-04-05 | Fuji Xerox Co Ltd | Screen position indicating system and screen position indicating method |
| JP2010146328A (en) * | 2008-12-19 | 2010-07-01 | Seiko Epson Corp | Projector, and method and program for controlling the same |
| JP2012129594A (en) * | 2010-12-13 | 2012-07-05 | Seiko Epson Corp | Projector and method for screen shape correction of projector |
| JP2012523630A (en) * | 2009-04-08 | 2012-10-04 | クゥアルコム・インコーポレイテッド | Improved handheld screen detection pointer |
-
2012
- 2012-12-14 JP JP2012273927A patent/JP2014119915A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04335417A (en) * | 1991-05-10 | 1992-11-24 | Fujitsu Ltd | Pen type pointing device |
| JPH1185395A (en) * | 1997-09-08 | 1999-03-30 | Sharp Corp | Liquid crystal projector device with pointing function |
| JP2004110797A (en) * | 2002-08-30 | 2004-04-08 | Casio Comput Co Ltd | Instructed position detector, and instructed position detection system and instructed position detection method |
| JP2007086962A (en) * | 2005-09-21 | 2007-04-05 | Fuji Xerox Co Ltd | Screen position indicating system and screen position indicating method |
| JP2010146328A (en) * | 2008-12-19 | 2010-07-01 | Seiko Epson Corp | Projector, and method and program for controlling the same |
| JP2012523630A (en) * | 2009-04-08 | 2012-10-04 | クゥアルコム・インコーポレイテッド | Improved handheld screen detection pointer |
| JP2012129594A (en) * | 2010-12-13 | 2012-07-05 | Seiko Epson Corp | Projector and method for screen shape correction of projector |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018163458A (en) * | 2017-03-24 | 2018-10-18 | 日本電気株式会社 | Portable terminal, server device, information processing system, control method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103176592B (en) | Virtual projection input system and input detecting method thereof | |
| US8408720B2 (en) | Image display apparatus, image display method, and recording medium having image display program stored therein | |
| US7379622B2 (en) | Information-inputting device inputting contact point of object on recording surfaces as information | |
| JP6002275B2 (en) | Measuring device | |
| EP4086730A1 (en) | Touch control method for display, terminal device, and storage medium | |
| RU2606214C2 (en) | Control device, image forming system, control method and record medium | |
| JP2003280785A (en) | Image display processor, image display processing method and computer program | |
| JPWO2013054814A1 (en) | Shape measuring device, structure manufacturing system, shape measuring method, structure manufacturing method, shape measuring program | |
| JP2011209579A (en) | Image display system and control method thereof | |
| JP2008225556A (en) | Projector system | |
| US20160301850A1 (en) | Control apparatus, method of controlling the same, and storage medium | |
| JP4377247B2 (en) | Projector projection control system and projector projection control method | |
| US10073614B2 (en) | Information processing device, image projection apparatus, and information processing method | |
| JP5549631B2 (en) | Portable setting terminal and monitoring system | |
| JP2014119915A (en) | Image display unit and pointer device | |
| JP2014098752A (en) | Display device, image display system, image display method, and computer program | |
| JP5102181B2 (en) | Deformed part detection method, deformed part detection device and deformed part detection program for building wall surface | |
| JP5724688B2 (en) | Information processing apparatus, input device movement ratio setting method, input device movement ratio setting program | |
| JP2016076853A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP6817527B1 (en) | Information processing equipment, programs and information processing systems | |
| JP2015224949A (en) | Object measurement device and object measurement method | |
| JP2021034917A (en) | Sensor installation support device, sensor installation support method, and program | |
| JP2000205839A (en) | Measuring device for shape | |
| JP5710809B2 (en) | Dimension measurement terminal | |
| JP2014202885A (en) | Projector and electronic device with projector function |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150918 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160720 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160726 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170207 |