JP2012238120A - Information processing device and information processing method - Google Patents
Information processing device and information processing method Download PDFInfo
- Publication number
- JP2012238120A JP2012238120A JP2011105648A JP2011105648A JP2012238120A JP 2012238120 A JP2012238120 A JP 2012238120A JP 2011105648 A JP2011105648 A JP 2011105648A JP 2011105648 A JP2011105648 A JP 2011105648A JP 2012238120 A JP2012238120 A JP 2012238120A
- Authority
- JP
- Japan
- Prior art keywords
- area
- screen
- projection area
- coordinate
- outside
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Position Input By Displaying (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、座標入力技術に関するものである。 The present invention relates to a coordinate input technique.
従来より、次のような座標入力装置がある。所謂電子ホワイトボード(ボード状の入力板に電子的にペン等で座標入力が可能な情報機器)のボード(スクリーン)面にフロントプロジェクタで画像(映像)を投影し、専用のペン等で指示を行った描画データを投影画像にフィードバックさせて投影表示する。これにより、あたかもホワイトボードにインクペンで描くがごとく使用できる。この座標入力装置の方式としては、光学方式、超音波方式、電磁誘導方式、感圧方式等がある。 Conventionally, there are the following coordinate input devices. An image (video) is projected by a front projector on the board (screen) surface of a so-called electronic whiteboard (information equipment that can input coordinates electronically on a board-shaped input board with a pen etc.), and instructions are given with a dedicated pen etc. The performed drawing data is fed back to the projected image and projected. As a result, it can be used as if drawing with an ink pen on a whiteboard. Examples of the coordinate input device include an optical method, an ultrasonic method, an electromagnetic induction method, and a pressure sensitive method.
電子ホワイトボードの使用形態としては、上記の通り、電子ホワイトボードの投影スクリーンにコンピュータ(PC)の映像を投影し、投影画像上に上記ペンを用いて重畳的に描画するのが基本形態である。更に、上記投影画像領域のみではなく、投影画像領域以外の電子ホワイトボードの入力面にペンで入力し、投影画像と対応させて記録する構成も特許文献1に開示されている。この特許文献1に開示された技術は、次のようなものである。即ち、投影範囲内の画面情報とこれに対するコメント等の重畳的な描画情報を一つのファイルとし、これに対応する投影領域外の描画情報をまた別のファイルとし、この二つのファイルの内容を表示する際には、それぞれ入れ替えて投影表示する。更に、特許文献1には、電子ホワイトボードの全投影領域に対して、2つの(フロント)プロジェクタ及びPC用に分割し、それぞれの領域に割り当てて、保存、表示、制御を行う技術も開示されている。 As described above, the basic mode of use of the electronic whiteboard is to project a computer (PC) image on the projection screen of the electronic whiteboard and draw the image superimposed on the projected image using the pen. . Further, Patent Document 1 discloses a configuration in which not only the projection image area but also a pen input to an input surface of an electronic whiteboard other than the projection image area is recorded in correspondence with the projection image. The technique disclosed in Patent Document 1 is as follows. That is, the screen information within the projection range and the superimposed drawing information such as comments for this are made into one file, the drawing information outside the projection area corresponding to this is made into another file, and the contents of these two files are displayed. When doing so, they are replaced and projected. Further, Patent Document 1 discloses a technique for dividing the entire projection area of the electronic whiteboard into two (front) projectors and a PC and assigning the divided areas to the respective areas for storage, display, and control. ing.
また、表示領域外の指示に対して、最初の入力座標との差分である相対座標を出力し、表示領域内のカーソル座標に対して、マウスで字を描くが如く描画を行うことができる技術が、特許文献2に開示されている。 In addition, in response to an instruction outside the display area, a relative coordinate that is a difference from the first input coordinate is output, and a technique can be used to draw a character with respect to the cursor coordinate in the display area as if by a mouse. However, this is disclosed in Patent Document 2.
電子ホワイトボードにフロントプロジェクタで投影した画像に対してペン等で指示し描画しようとする場合に問題となるのは、その操作者が投影光を遮ることにより生じる影である。この影により、実際に投影画像上に指示しようとする画像を操作者が確認できないばかりでなく、入力した描画のフィードバック表示を確認することができないので、正確な文字、図形を描く場合の障害となる。更に、投影範囲に人が入ることは、その会議や授業に参加している人からも、視界の妨げになり、投影画像が確認しにくいといった不都合が生じるのも言うまでもない。 A problem that arises when an image projected on the electronic whiteboard by the front projector is directed and drawn with a pen or the like is a shadow generated by the operator blocking the projection light. This shadow not only prevents the operator from confirming the image that is actually instructed on the projection image, but also prevents the feedback display of the input drawing from being displayed. Become. Furthermore, it goes without saying that the entry of a person into the projection range also disturbs the field of view from those participating in the conference or class, and it is difficult to confirm the projected image.
一方、影にならない投影領域外で指示した場合、その情報を投影画像と独立して保存するよりも、その投影画像に重ねて描画した方が、その関連性において有用な場合も多い。例えば、投影画像の文章にアンダーラインを引いたり、丸で囲ったり、注釈として文字を加えたりする場合である。従来の電子ホワイトボードの技術では、投影領域外で入力した文字等は、投影領域の画像とファイルレベルで関連付けはされていても、内容レベルでの対応、及びリアルタイムなフィードバックによる重畳的描画をすることはできなかった。 On the other hand, when an instruction is given outside a projection area that does not become a shadow, it is often more useful in terms of the relevance to draw the information superimposed on the projection image than to store the information independently from the projection image. For example, it may be a case where an underline is drawn in a sentence of a projected image, circled, or a character is added as an annotation. In the conventional electronic whiteboard technology, characters and the like input outside the projection area are associated with the image of the projection area at the file level, and are drawn at the content level and superimposed by real-time feedback. I couldn't.
また、投影画像領域外での入力を投影画像に重畳的に描画する際には、簡単な注釈、線引きのみならず、投影画像の所定の空いたスペースに、まとまった文章を多量に書くことが必要になる場面もあると考えられる。その場合、文字、図形等の個々の描画筆跡の位置関係が、広範囲に保たれることが必須条件となる。つまり、投影領域外の電子ホワイトボード領域にインクが出るフェルトペン機能を備えた電子ペンで描画し、その領域の描画情報をその領域ごとそのまま、その横の投影画像領域の所定領域に重畳的に表示させるためには、次のようにすることが望ましい。即ち、マウスのような相対座標出力でなく、電子ホワイトボードの入力面を基準とした絶対座標に対し、描画される領域が、投影画像領域の所望の領域となるようにオフセットさせることが望ましい。 In addition, when drawing the input outside the projected image area on the projected image in a superimposed manner, not only simple annotations and line drawing, but also a large amount of written text can be written in a predetermined space in the projected image. Some scenes may be necessary. In that case, it is an indispensable condition that the positional relationship of individual drawing handwriting such as characters and figures is maintained in a wide range. That is, drawing is performed with an electronic pen having a felt pen function that causes ink to appear on the electronic whiteboard area outside the projection area, and the drawing information of the area is directly superposed on a predetermined area of the horizontal projection image area. In order to display, it is desirable to do as follows. In other words, it is desirable to offset the drawn area so as to be a desired area of the projected image area with respect to absolute coordinates based on the input surface of the electronic whiteboard rather than relative coordinate output as in the mouse.
本発明は以上の問題に鑑みてなされたものであり、操作性の良い電子ホワイトボード操作環境を実現する為の技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a technique for realizing an electronic whiteboard operating environment with good operability.
本発明の目的を達成するために、例えば、本発明の座標入力装置は以下の構成を備える。即ち、外部機器の表示画面に表示されている映像をプロジェクタを用いてスクリーン上に投影している際に該スクリーン上で指示された位置を指示位置として取得する手段と、前記指示位置が、前記スクリーン上における前記映像の投影領域内であるのか、投影領域外であるのかを判断する判断手段と、前記指示位置が前記投影領域内である場合、前記指示位置を前記外部機器に対して送信し、前記指示位置が前記投影領域外である場合、該指示位置を、前記投影領域外の位置を前記投影領域内の位置に変換するための変換情報を用いて変換することで、前記投影領域内の対応位置を求め、該求めた対応位置を前記外部機器に対して送信する送信手段とを備えることを特徴とする。 In order to achieve the object of the present invention, for example, the coordinate input device of the present invention comprises the following arrangement. That is, when the image displayed on the display screen of the external device is projected on the screen using a projector, the means for acquiring the indicated position on the screen as the indicated position; Determining means for determining whether the image is within the projection area or outside the projection area on the screen; and when the designated position is within the projection area, the designated position is transmitted to the external device. When the designated position is outside the projection area, the designated position is converted by using conversion information for converting a position outside the projection area into a position within the projection area. And a transmission means for transmitting the determined corresponding position to the external device.
本発明の構成によれば、操作性の良い電子ホワイトボード操作環境を実現することができる。 According to the configuration of the present invention, an electronic whiteboard operating environment with good operability can be realized.
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の1つである。 Preferred embodiments of the present invention will be described below with reference to the accompanying drawings. The embodiment described below shows an example when the present invention is specifically implemented, and is one of the specific examples of the configurations described in the claims.
即ち、以下に説明する実施形態は、次のような構成の一例である。先ず、外部機器の表示画面に表示されている映像をプロジェクタを用いてスクリーン上に投影している際に該スクリーン上で指示された位置を指示位置として取得する。そして、指示位置が、スクリーン上における映像の投影領域内であるのか、投影領域外であるのかを判断する。この判断の結果、指示位置が投影領域内である場合、この指示位置を外部機器に対して送信する。一方、指示位置が投影領域外である場合、該指示位置を、投影領域外の位置を投影領域内の位置に変換するための変換情報を用いて変換することで、投影領域内の対応位置を求め、該求めた対応位置を外部機器に対して送信する。 That is, the embodiment described below is an example of the following configuration. First, when the image displayed on the display screen of the external device is projected on the screen using the projector, the position designated on the screen is acquired as the designated position. Then, it is determined whether the designated position is within the projection area of the image on the screen or outside the projection area. As a result of this determination, if the designated position is within the projection area, the designated position is transmitted to the external device. On the other hand, when the designated position is outside the projection area, the corresponding position in the projection area is converted by converting the designated position using conversion information for converting a position outside the projection area into a position within the projection area. The obtained corresponding position is transmitted to the external device.
なお、指示位置が投影領域内である場合、該指示位置を、スクリーン上の位置を表示画面内の対応する位置に変換する為の変換情報を用いて変換し、該変換後の指示位置を外部機器に対して送信しても良い。また、指示位置が投影領域外である場合、該指示位置を、投影領域外の位置を投影領域内の位置に変換するための情報を用いて変換することで投影領域内の対応位置を求め、該対応位置を変換情報を用いて変換し、該変換後の対応位置を外部機器に送信しても良い。 When the designated position is within the projection area, the designated position is converted using conversion information for converting the position on the screen into the corresponding position on the display screen, and the converted designated position is You may transmit with respect to an apparatus. Further, when the designated position is outside the projection area, the corresponding position in the projection area is obtained by converting the designated position using information for converting the position outside the projection area into the position within the projection area, The corresponding position may be converted using conversion information, and the converted corresponding position may be transmitted to an external device.
[第1の実施形態]
先ず、図1を用いて、本実施形態に係る座標入力装置について説明する。
[First Embodiment]
First, the coordinate input device according to the present embodiment will be described with reference to FIG.
パーソナルコンピュータ(PC)等のコンピュータ装置30は周知の通りCRTや液晶画面などにより構成されている表示装置を有しており、この表示装置に表示する表示画面(映像信号)は、フロントプロジェクタ20に対して送出される。
A
フロントプロジェクタ20はコンピュータ装置30から映像信号を受けると、この映像信号に応じた表示画面を座標入力板10に対して投影する。座標入力板10は、映像を投影するためのスクリーンと、このスクリーンに対して指示具40を用いて指示した位置(指示位置、座標)を検出するための機構(座標検出機構)と、で構成されている。
When the
図1では、フロントプロジェクタ20により投影された投影像(表示画面)がスクリーン上に占める領域を領域Aとしている。即ち、領域A内には、コンピュータ装置30の表示装置に表示されている表示画面が表示されていることになる。また、スクリーン上において領域A以外の領域を領域Bとしている。
In FIG. 1, an area A on the screen is occupied by a projected image (display screen) projected by the
また、座標入力板10が有する座標検出機構には、光学方式、超音波方式、電磁誘導方式、感圧方式等の様々な方式が適用可能である。これらの方式については周知の技術であるため、これについての説明は省略する。
Various methods such as an optical method, an ultrasonic method, an electromagnetic induction method, and a pressure-sensitive method can be applied to the coordinate detection mechanism of the
座標入力板10が有する座標検出機構により検出された指示位置は、本実施形態に係る情報処理装置として機能する座標制御部11に入力される。座標制御部11は、この指示位置を受けると、この指示位置がスクリーン上に投影されている表示画面の領域(投影領域)の内部の位置であるのか外部の位置であるのかを判断する。そして座標制御部11は、この判断の結果、指示位置が投影領域の内部の位置であれば、この指示位置をそのままコンピュータ装置30に対して送出する。一方、指示位置が投影領域の外部の位置であれば、座標制御部11は、この指示位置を投影領域内の位置に変換し、変換した指示位置をコンピュータ装置30に対して送出する。図1の場合、座標制御部11は、指示位置が領域A内であれば、この指示位置をそのままコンピュータ装置30に送出し、領域A外(領域B内)であれば、この指示位置を領域A内の位置に変換し、変換した指示位置をコンピュータ装置30に送出する。
The indicated position detected by the coordinate detection mechanism of the
詳しくは後述するが、座標制御部11は予めコンピュータ装置30に対して、スクリーン上の座標位置をコンピュータ装置30の表示装置の表示画面上の対応する座標位置に変換するための変換情報を送出しておく。これによりコンピュータ装置30は、座標制御部11から指示位置を受けると、この指示位置をこの変換情報を用いて変換し、表示装置の表示画面上における指示位置を得ることができる。
As will be described in detail later, the coordinate
なお、本実施形態では、スクリーン上への座標入力は指示具40を用いて行うものとするが、これに限るものではなく、例えば、ユーザの指などを代わりに用いても良い。即ち、座標検出機構により座標検出を可能にする座標入力用機器であれば、如何なるものを用いても良い。
In this embodiment, coordinate input on the screen is performed using the
ここで、上記の領域A及び領域Bは何れもスクリーン内の領域であるので、指示具40が何れの領域内に位置していても、その位置は上記の座標検出機構により検出可能である。しかし、コンピュータ装置30の表示装置に表示されている画面を閲覧しているユーザにとっては、この画面が投影されている領域Aが閲覧対象となり、領域Bについては興味の対象外となる。このような領域Bは、例えば次のようなケースにおいて発生する。例えば、スクリーンの横と縦のサイズの比が2:1であり、アスペクト比が4:3の画面をこのスクリーン上に投影すると、この画面を投影した領域の横側に、上記の領域Bが発生することになる。この領域Bは換言すれば、何等映像は投影されないものの、指示具40が領域B内に位置していれば、その座標位置は検出可能であるような領域である。
Here, since both the above-mentioned area A and area B are areas in the screen, the position can be detected by the above-described coordinate detection mechanism even if the
本実施形態では、この点を利用し、例え投影領域外の位置を指示具40により指示したとしても、その指示位置を検出し、検出した位置を投影領域内の位置に変換することを1つの特徴とする。これにより、スクリーン上において、何等映像が投影されていない領域も座標入力用に用いることができる。
In the present embodiment, even if a point outside the projection area is indicated by the
次に、本実施形態に係る座標入力装置の動作について説明する。ユーザが指示具40を手に把持して文字50を記すべく図1(a)に示す点aの位置を指示したとする。すると座標入力板10が有する上記の座標検出機構はこの点aの位置を(x1,y1)として検出し、検出した位置(x1,y1)を座標制御部11に対して送出する。ここで、この位置(x1,y1)は、スクリーン上に定義された座標位置(例えばスクリーンの左上隅の位置を原点とし、横軸方向をx座標、縦方向をy座標とする座標系における座標位置)であることに注意されたい。
Next, the operation of the coordinate input device according to this embodiment will be described. Assume that the user indicates the position of the point a shown in FIG. Then, the coordinate detection mechanism of the coordinate
座標制御部11は、この位置(x1,y1)を受けると、この位置(x1,y1)が領域Aの内部の位置であるのか、それとも外部の位置であるのかを判断する。スクリーン上における領域Aは、座標入力板10やフロントプロジェクタ20を設置したときに既に定義可能なものであり、スクリーン上における領域Aを規定する情報(領域情報)は、例えば、以下のようにして予め取得しておく。
Upon receiving this position (x1, y1), the coordinate
先ず、コンピュータ装置30は表示装置の表示画面上に矩形を表示すると共に、この矩形の四隅の表示画面上における座標位置を座標制御部11に対して送出する。この表示画面はフロントプロジェクタ20によりスクリーン上に投影されるため、ユーザは指示具40を用いて、スクリーン上に投影されているこの矩形の四隅の位置(若しくは対向する2つの隅の座標位置)を順次指示する。指示したそれぞれの位置は座標制御部11に入力されるので、結果として座標制御部11は、矩形のそれぞれの隅について、表示画面上の位置とスクリーン上の位置と、を得ることができる。然るに座標制御部11は、表示画面上の位置とスクリーン上の位置と、の間の関係から、周知の技術により、スクリーン上の座標位置を表示装置の表示画面上における座標位置に変換(若しくはその逆の変換)する為の上記の変換情報を生成することができる。この変換情報は予め生成して座標制御部11に登録しておくと共に、コンピュータ装置30にも送出しておく。
First, the
また、予め座標制御部11に、表示装置の表示画面上におけるこの表示画面の四隅の座標位置を入力しておくと、座標制御部11は、この四隅の座標位置を上記の変換情報を用いてスクリーン上の座標位置に変換することができる。この変換したそれぞれの座標位置が領域Aの各頂点のスクリーン上の座標位置となる。この領域Aの各頂点のスクリーン上の座標位置は予め生成し、「スクリーン上における領域Aを規定する情報」として座標制御部11が保持しておく。
In addition, when the coordinate positions of the four corners of the display screen on the display screen of the display device are input in advance to the coordinate
上記の変換情報を得るための処理、「スクリーン上における領域Aを規定する情報」の構成や取得方法、については一例であり、これに限るものではない。即ち、結果として同様の情報を得ることができるのであれば、様々な取得方法、様々な情報構成を採用することも可能である。 The above-described process for obtaining the conversion information and the configuration and acquisition method of “information defining the area A on the screen” are merely examples, and are not limited thereto. That is, as long as similar information can be obtained as a result, various acquisition methods and various information configurations can be employed.
座標制御部11は、座標位置(x1,y1)が領域A内部の位置であるのか、それとも外部の位置であるのかを判断する為には、この「スクリーン上における領域Aを規定する情報」を参照する。そして参照した情報が示す「各頂点のスクリーン上の座標位置」で囲まれた領域Aの内部に座標位置(x1,y1)が位置するのか否かを判断する。
In order to determine whether the coordinate position (x1, y1) is the position inside the area A or the outside position, the coordinate
図1(a)の場合、座標位置(x1,y1)は領域Aの外部(領域Bの内部)に位置している為、座標制御部11は、この座標位置(x1,y1)を領域A内の点a’の座標位置(x1’,y1’)に変換する。この変換については様々なものが考え得るが、本実施形態では、座標位置(x1,y1)に対して、予め定められたオフセット(p、q)を加えた座標位置(x1+p,y1+q)を座標位置(x1’,y1’)とする。
In the case of FIG. 1A, since the coordinate position (x1, y1) is located outside the area A (inside the area B), the coordinate
そして座標制御部11は、このようにして変換した領域A内の座標位置(x1’,y1’)を、コンピュータ装置30に対して送出する。コンピュータ装置30は、この座標位置(x1’,y1’)を受けると、この座標位置(x1’,y1’)を先の変換情報を用いて変換することで、スクリーン上の座標位置(x1’,y1’)に対応する表示装置の表示画面上における座標位置を求める。
Then, the coordinate
これにより、文字50を記すべく指示具40を用いてスクリーン上をなぞった場合、スクリーン上における指示具40の軌跡を構成する各点の座標位置は、コンピュータ装置30側で、表示装置の表示画面上における座標位置に変換される。然るに変換されたそれぞれの座標位置に黒ドットを配置すると、図1(a)に示す如く、この黒ドットで構成される文字60が得られることになる。
As a result, when the
図1(b)の場合も同様に、指示具40による指示位置が領域A外の座標位置(x2,y2)であれば、座標制御部11はこの座標位置(x2,y2)を領域A内の座標位置(x2’,y2’)に変換する。この変換におけるオフセットは上記の通りである。なお、座標位置(x1,y1)が領域A内の位置であれば、座標制御部11は、この座標位置(x1,y1)をそのままコンピュータ装置30に対して送出する。
In the case of FIG. 1B as well, if the position indicated by the
また、図1(c)に示す如く、「ABC」なる文字から改行して「D」なる文字を指示具40を用いてスクリーン上に記した場合、この改行時に上記のプロキシミティの連続性は途切れてしまう可能性は高い。しかし本実施形態によれば、このような状態でも指示位置(x3,y3)を領域A内の位置(x3’,y3’)に変換するので、領域B内で改行前に記した文字「ABC」と改行後の文字「D」との位置関係を保ったまま、それぞれの文字を領域A内に写像できる。
In addition, as shown in FIG. 1C, when the character “ABC” is broken and a character “D” is written on the screen using the
次に、座標制御部11による座標出力処理の切替について図2を用いて説明する。本実施形態では、図2(a)に示す如く、ボタン画像80を投影表示する。投影位置やボタン画像の形状、表示形態についてはこれに限るものではない。そして指示具40がボタン画像80内にあることを座標制御部11が検出すると(検出方法は領域Aに対するものと同様)、第1のモードを設定する。なお、モードの切り替えのための機構についてはこれに限るものではなく、コンピュータ装置30が有するキーボードを用いてモードの選択を行うようにしても良い。
Next, switching of coordinate output processing by the coordinate
第1のモードが設定されると、座標制御部11は、座標検出機構により検出された座標位置若しくはこの座標位置を領域A内の位置に変換した座標位置をコンピュータ装置30に対して送出する。即ち、図2(c)に示す如く、領域A内を指示具40を用いて指示すると、座標制御部11はその指示位置をコンピュータ装置30に送出するので、結果としてその指示位置に対して何らかの処理(図2(c)では描画処理)を行うことができる。一方、図2(a)に示す如く、領域B内を指示具40を用いて指示すると、座標制御部11はその指示位置を領域A内の位置に変換してコンピュータ装置30に送出する。そのため、結果として、その変換された位置に対して何らかの処理(図2(a)では描画処理)を行うことができる。
When the first mode is set, the coordinate
なお、座標制御部11は、何れのモードが設定されているのかを示すフラグもコンピュータ装置30に対して送出する。これによりコンピュータ装置30は、このフラグを参照して、座標制御部11から受け取った座標位置の取り扱いを切り替えることができる。
Note that the coordinate
次に、座標制御部11が行う処理について、同処理のフローチャートを示す図3を用いて説明する。なお、図3のフローチャートに従った処理は、座標制御部11が有するCPU等のコントローラが実行する。このコントローラは、座標制御部11内のメモリに格納されているコンピュータプログラムやデータを用いて処理を実行するものであり、これにより、図3のフローチャートに従った処理がなされる。もちろん、このメモリには、上記の変換情報や領域情報など、既知の情報として説明した様々な情報が格納されている。
Next, processing performed by the coordinate
先ず、ステップS102では、座標検出機構から送出された指示具40による指示位置(x1,y1)を受けると、この指示位置(x1,y1)が領域Aの内部の位置であるのか、それとも外部の位置であるのかを判断する。
First, in step S102, when the pointing position (x1, y1) by the
この判断の結果、領域Aの内部の位置であれば、処理はステップS111に進み、領域Aの外部の位置であれば、処理はステップS106に進む。ステップS111では、この指示位置(x1,y1)をコンピュータ装置30に対して送出する。
As a result of the determination, if the position is inside the area A, the process proceeds to step S111. If the position is outside the area A, the process proceeds to step S106. In step S111, the designated position (x1, y1) is sent to the
ステップS106では、指示位置(x1,y1)を領域A内の座標位置(x1’,y1’)に変換すべく、指示位置(x1,y1)にオフセット(p1、q1)を加えた座標位置(x1+p1,y1+q1)を座標位置(x1’,y1’)とする。そしてステップS109では、このようにして変換した領域A内の座標位置(x1’,y1’)を、コンピュータ装置30に対して送出する。
In step S106, in order to convert the designated position (x1, y1) into the coordinate position (x1 ′, y1 ′) in the area A, the coordinate position (x1, y1) plus the offset (p1, q1) ( Let x1 + p1, y1 + q1) be the coordinate position (x1 ′, y1 ′). In step S109, the coordinate position (x1 ', y1') in the area A thus converted is sent to the
なお、ステップS109及びステップS111では、第1のモードを示すフラグをコンピュータ装置30に対して送出する。
In step S109 and step S111, a flag indicating the first mode is sent to the
以上の説明により、本実施形態によれば、領域A内を指示した場合は、従来通り、その領域に、もとの表示オブジェクトとの位置関係を重視するアンダーラインやマーキング等の重畳的な描画表示を行うことができる。一方、領域A外を指示した場合は、操作者の目的とする入力形態により、まとまった文章、描画等を所定の表示領域に、操作上の影を生じさせることなく表示したい場合には、第1のモードで動作させる。これにより、操作者の多様なニーズに対応できる電子ホワイトボード環境を構築できる。 As described above, according to the present embodiment, when the inside of the area A is designated, as in the past, in the area, superimposing drawing such as underline and marking that places importance on the positional relationship with the original display object. Display can be made. On the other hand, in the case of instructing outside the area A, if it is desired to display a set of sentences, drawings, etc. in a predetermined display area without causing an operational shadow, depending on the input form intended by the operator. Operate in mode 1. This makes it possible to construct an electronic whiteboard environment that can meet the diverse needs of the operator.
<変形例1>
本実施形態では、座標制御部11は予め変換情報をコンピュータ装置30に送出しておき、その後、座標位置(上記の差分を除く)をコンピュータ装置30に送出し、コンピュータ装置30はこの変換情報を用いてこの座標位置を変換していた。しかし、座標制御部11側で変換情報を用いて変換した座標位置をコンピュータ装置30に送出するようにしても良い。この場合、予めコンピュータ装置30に変換情報を送出する必要はないし、コンピュータ装置30側に変換情報を用いた変換処理を行わせずにすむため、コンピュータ装置30側の処理負担は軽くなる。
<Modification 1>
In the present embodiment, the coordinate
<変形例2>
上記の実施形態では、領域A外の指示位置にオフセットを加算することで、領域A内の位置を求めていた。しかし上記の通り、領域A外の位置を領域A内の位置に変換するための方法については様々なものがある。例えば、線形写像を用いて領域A外の位置を領域A内の位置に写像させても良いし、指示位置が領域A外であると判断されると座標制御部11がその旨をコンピュータ装置30に通知し、コンピュータ装置30がこのオフセットの入力をユーザに促しても良い。即ち、オフセットをユーザに入力させても良い。
<Modification 2>
In the above embodiment, the position in the area A is obtained by adding the offset to the indicated position outside the area A. However, as described above, there are various methods for converting a position outside the area A into a position within the area A. For example, a position outside the area A may be mapped to a position within the area A using a linear mapping, and when the designated position is determined to be outside the area A, the coordinate
[第2の実施形態]
第1の実施形態における座標入力装置の操作性を向上させた座標入力装置について、図4を用いて説明する。なお、本実施形態においても第1の実施形態に係る座標入力装置を用いる。
[Second Embodiment]
A coordinate input device that improves the operability of the coordinate input device according to the first embodiment will be described with reference to FIG. In this embodiment, the coordinate input device according to the first embodiment is used.
本実施形態では、図4(a)に示す如く、ボタン領域95を領域B内に配置する。このボタン領域とは、例えば、ボタンの画像を印刷した紙であっても良いし、スクリーン上に記した矩形であっても良い。そして指示具40がボタン領域95内にあることを座標制御部11が検出すると(検出方法は領域Aに対するものと同様)、第3のモードを設定する。なお、モードの設定のための機構についてはこれに限るものではなく、コンピュータ装置30が有するキーボードを用いてモードの選択を行うようにしても良い。
In this embodiment, the
第3のモードが設定されると、座標制御部11は第3のモードが設定された旨をコンピュータ装置30に通知するので、コンピュータ装置30は、領域B内に記したものを領域A内のどこに写像させるのかを示す領域Cを領域Aに重ねて配置する。この領域Cは領域Bと同サイズの領域で、例えば、スクリーンの横と縦の寸法比が2:1で、領域Aのアスペクト比が4:3の場合、スクリーンの面積から領域Aの面積を差し引いた残りの面積が領域Bの面積であり、領域Cの面積である。つまり、領域Cの面積は領域Aの面積の約半分となる。
When the third mode is set, the coordinate
つまり、領域Aと領域Bと領域Cの縦寸法は共通であるとすると、横方向の寸法が領域Aの半分である領域Cが、図4(a)に示されるように、例えば、領域Aの表示内容にハーフトーンでオーバーレイされて表示される。 That is, assuming that the vertical dimensions of the area A, the area B, and the area C are the same, the area C whose horizontal dimension is half that of the area A is, for example, as shown in FIG. Is displayed with a halftone overlay.
更に、図4(a)に示されるように、領域Aの下部に、スライダDを表示させる。スライダDのスライドストロークの中のスライドつまみ部分の幅、位置は、領域Aにおける領域Cの横方向の幅、位置関係に対応している。ユーザは、スライダDを左右に移動させることで、領域A上で領域Cを左右に移動させることができる。スライダDの操作は、コンピュータ装置30が有するキーボードを用いて行っても良いし、他の機器を用いて行っても良い。然るにユーザは、このスライダDを左右に移動させて、領域Bと同サイズの領域Cを領域A上の適当な位置に移動させる。これにより、領域B内に記したものはそのまま領域C内に重畳されることになる。例えば、図4(b)に示すように、領域A内で文字などが記されていない空き領域に領域Cを移動させると良い。
Further, as shown in FIG. 4A, a slider D is displayed at the bottom of the area A. The width and position of the slide knob portion in the slide stroke of the slider D correspond to the lateral width and positional relationship of the area C in the area A. The user can move the region C left and right on the region A by moving the slider D left and right. Operation of the slider D may be performed using the keyboard which the
そして領域Cの位置が決定すると、ユーザはキーボードなどを用いて領域Cの位置が決定した旨をコンピュータ装置30に入力するので、コンピュータ装置30は、領域Bと領域Cとの位置関係を上記のオフセットとして求める。図4の場合、領域Bの右端(左端)から領域Cの右端(左端)への(横(X)方向の)オフセットを求める。このオフセットは、座標制御部11に送出される。
When the position of the area C is determined, the user inputs to the
これにより、図4(c)に示す如く、指示具40を用いて領域B内を指示すると、その指示位置は上記のオフセット分だけ移動した位置に変換され、変換された位置は領域C内の位置となる。しかも、領域B内における指示位置、領域C内における変換後の位置、は何れも、領域内では同じ位置となる。
As a result, as shown in FIG. 4C, when the
なお、指示具40により領域B内に何を記したのかをスクリーン上でも確認することができるように、指示具40には、フェルトペン、ボールペン等のインク吐出機能を有するものを用いても良い。これは他の実施形態でも同じである。またこれに伴い、スクリーンは、ホワイトボードなどのインクペンにより筆記が可能なもの(且つインクのふき取りも可能なもの)が好ましい。
It should be noted that an indicator having an ink ejection function such as a felt pen or a ballpoint pen may be used as the
なお、上記の例では、ユーザによる操作で、領域A内で文字などが記されていない空き領域に領域Cを移動させた。しかし、この空き領域をコンピュータ装置30により検出させ、領域Cを移動させるようにしても良い。また、領域Cの移動に関しては、領域Cと別領域に表示したスライダDを操作するのではなく、領域Cの一部の領域を直にドラッグして移動させても良い。
In the above example, the area C is moved to an empty area where no characters or the like are written in the area A by an operation by the user. However, the empty area may be detected by the
[第3の実施形態]
次に、領域B内で行った操作を領域A内に反映させる実施形態について説明する。より具体的には、領域A内に表示されているカーソル位置に対して領域B内で行った操作を反映させる。本実施形態は、前述の第1のモードに関しても同様に当てはめても良い。なお、本実施形態においても第1の実施形態に係る座標入力装置を用いる。
[Third Embodiment]
Next, an embodiment in which an operation performed in the area B is reflected in the area A will be described. More specifically, the operation performed in the area B is reflected on the cursor position displayed in the area A. The present embodiment may be similarly applied to the first mode described above. In this embodiment, the coordinate input device according to the first embodiment is used.
図5(a)に示す如く、ボタン領域99を領域B内に配置する。このボタン領域とは、例えば、ボタンの画像を印刷した紙であっても良いし、スクリーン上に記した矩形であっても良いし、メンブレンスイッチであっても良い。そして指示具40がボタン領域99内にあることを座標制御部11が検出すると(検出方法は領域Aに対するものと同様)、第4のモードを設定する。なお、モードの設定のための機構についてはこれに限るものではなく、コンピュータ装置30が有するキーボードを用いてモードの選択を行うようにしても良い。
As shown in FIG. 5A, the button area 99 is arranged in the area B. The button area may be, for example, paper on which an image of the button is printed, a rectangle printed on a screen, or a membrane switch. When the coordinate
第4のモードが設定されると、コンピュータ装置30は、この時点でカーソルが位置している箇所に対して、領域B内で行った操作、例えばメニュー選択や描画などの処理を反映させる。このカーソルの位置は、指示具40を用いて変更可能である。例えば、座標検出機構がプロキシミティが検出可能である場合、図5(b)に示す如く、そのプロキシミティ−状態(指示具40を入力面から少し浮かした状態)で、所望の位置まで指示具40(カーソル)を移動させる。そして、所望の位置にカーソルが移動したのを確認した時点で、ペンダウン(指示具40を入力面に接触)させて、その後の操作は、図5(a)の場合と同様である。
When the fourth mode is set, the
なお、ボタン領域99は、上記のボタン画像80と兼用しても良い。この場合、ボタン画像80の代わりに、ボタン領域99と同様の領域を領域B内に配置しても良い。
The button area 99 may also be used as the
例えば、座標制御部11は、ボタン領域99の機能と兼用するボタン画像80が指示されたことを検知すると、この時点におけるカーソルのスクリーン上における座標位置を記憶する。そして、最初に領域B内で指示具40のペンダウンが検知されたときの指示具40のスクリーン上の指示位置を取得すると、この指示位置と、先に記憶したカーソルのスクリーン上における座標位置と、の差分を以降で用いるオフセットとして求める。以降は上記の実施形態と同様である。
For example, when the coordinate
なお、このオフセットを解除したい場合、即ち、オフセットを再設定したい場合は、コンピュータ装置30のキーボードを操作することでその旨を座標制御部11に通知しても良いし、座標制御部11に備わっている操作部により再設定する旨を入力しても良い。もちろん、オフセットを再設定する為の操作方法については特に限定するものではない。
If it is desired to cancel the offset, that is, if it is desired to reset the offset, the coordinate
また、第4のモードが設定されているときと、第4のモードが設定されていないときとで、カーソルの表示形態(カーソルの点滅パターンやカーソルのアニメーション、形状等)を変化させても良い。 Also, the cursor display form (cursor blinking pattern, cursor animation, shape, etc.) may be changed between when the fourth mode is set and when the fourth mode is not set. .
[第4の実施形態]
上記の実施形態では、座標制御部11とコンピュータ装置30とを別個の装置としているが、座標制御部11をコンピュータ装置30に組み込むようにしても良い。その結果、このコンピュータ装置30は、座標制御部11が行うものとして上述した処理、コンピュータ装置30が行うものとして上述した処理、を行うことになり、結果としてこのコンピュータ装置30は、上記の各実施形態と同様の効果を奏することができる。もちろん、コンピュータ装置30を2台以上のコンピュータ装置で構成しても良いし、座標入力装置の構成は当業者であれば、様々な変形例が考え得る。なお、上記の各実施形態(変形例を含む)は適宜組み合わせて用いても良い。
[Fourth Embodiment]
In the above embodiment, the coordinate
以上の各実施形態によれば、投影像の領域外に記した文字、図形等の個々の描画筆跡の位置関係が広範囲に保たれたまま、投影像の領域内に重畳的にリアルタイムに表示することができ、操作性の良い電子ホワイトボード操作環境が実現できる。更に、投影像の領域外での入力で上記重畳表示が可能となるので、投影像の領域内に指示することによる影の発生を防ぐことができる。 According to each of the above embodiments, the positional relationship of individual drawing handwriting such as characters and figures written outside the projected image area is maintained in a wide range, and is superimposed and displayed in real time in the projected image area. Therefore, an electronic whiteboard operating environment with good operability can be realized. Furthermore, since the above superimposed display can be performed by inputting outside the projected image area, it is possible to prevent the occurrence of a shadow due to an instruction within the projected image area.
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other examples)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (6)
前記指示位置が、前記スクリーン上における前記映像の投影領域内であるのか、投影領域外であるのかを判断する判断手段と、
前記指示位置が前記投影領域内である場合、前記指示位置を前記外部機器に対して送信し、
前記指示位置が前記投影領域外である場合、該指示位置を、前記投影領域外の位置を前記投影領域内の位置に変換するための変換情報を用いて変換することで、前記投影領域内の対応位置を求め、該求めた対応位置を前記外部機器に対して送信する送信手段と
を備えることを特徴とする情報処理装置。 Means for acquiring, as an indicated position, a position indicated on the screen when the image displayed on the display screen of the external device is projected on the screen using a projector;
Determining means for determining whether the indicated position is within a projection area of the image on the screen or outside the projection area;
If the indicated position is within the projection area, the indicated position is transmitted to the external device;
When the designated position is outside the projection area, the designated position is converted by using conversion information for converting a position outside the projection area into a position within the projection area. An information processing apparatus comprising: a transmission unit that obtains a corresponding position and transmits the obtained corresponding position to the external device.
前記指示位置が、前記スクリーン上における前記映像の投影領域内であるのか、投影領域外であるのかを判断する判断手段と、
前記指示位置が前記投影領域内である場合、該指示位置を、前記スクリーン上の位置を前記表示画面内の対応する位置に変換する為の変換情報を用いて変換し、該変換後の指示位置を前記外部機器に対して送信し、
前記指示位置が前記投影領域外である場合、該指示位置を、前記投影領域外の位置を前記投影領域内の位置に変換するための情報を用いて変換することで前記投影領域内の対応位置を求め、該対応位置を前記変換情報を用いて変換し、該変換後の対応位置を前記外部機器に対して送信する送信手段と
を備えることを特徴とする情報処理装置。 Means for acquiring, as an indicated position, a position indicated on the screen when the image displayed on the display screen of the external device is projected on the screen using a projector;
Determining means for determining whether the indicated position is within a projection area of the image on the screen or outside the projection area;
If the indicated position is within the projection area, the indicated position is converted using conversion information for converting the position on the screen into a corresponding position in the display screen, and the indicated position after the conversion To the external device,
When the designated position is outside the projection area, the designated position is converted using information for converting a position outside the projection area into a position within the projection area, thereby corresponding position in the projection area. An information processing apparatus comprising: a transmission unit that calculates the corresponding position using the conversion information, and transmits the converted corresponding position to the external device.
前記情報処理装置の取得手段が、外部機器の表示画面に表示されている映像をプロジェクタを用いてスクリーン上に投影している際に該スクリーン上で指示された位置を指示位置として取得する工程と、
前記情報処理装置の判断手段が、前記指示位置が、前記スクリーン上における前記映像の投影領域内であるのか、投影領域外であるのかを判断する判断工程と、
前記情報処理装置の送信手段が、前記指示位置が前記投影領域内である場合、前記指示位置を前記外部機器に対して送信し、
前記指示位置が前記投影領域外である場合、該指示位置を、前記投影領域外の位置を前記投影領域内の位置に変換するための変換情報を用いて変換することで、前記投影領域内の対応位置を求め、該求めた対応位置を前記外部機器に対して送信する送信工程と
を備えることを特徴とする情報処理方法。 An information processing method performed by an information processing apparatus,
The acquisition unit of the information processing apparatus acquires a position indicated on the screen as an instruction position when the image displayed on the display screen of the external device is projected on the screen using a projector; ,
A determination step of determining whether the instruction position of the information processing apparatus is within the projection area of the video on the screen or outside the projection area;
When the instruction position is within the projection area, the transmission means of the information processing apparatus transmits the instruction position to the external device,
When the designated position is outside the projection area, the designated position is converted by using conversion information for converting a position outside the projection area into a position within the projection area. An information processing method comprising: obtaining a corresponding position and transmitting the obtained corresponding position to the external device.
前記情報処理装置の取得手段が、外部機器の表示画面に表示されている映像をプロジェクタを用いてスクリーン上に投影している際に該スクリーン上で指示された位置を指示位置として取得する工程と、
前記情報処理装置の判断手段が、前記指示位置が、前記スクリーン上における前記映像の投影領域内であるのか、投影領域外であるのかを判断する判断工程と、
前記情報処理装置の送信手段が、前記指示位置が前記投影領域内である場合、該指示位置を、前記スクリーン上の位置を前記表示画面内の対応する位置に変換する為の変換情報を用いて変換し、該変換後の指示位置を前記外部機器に対して送信し、
前記指示位置が前記投影領域外である場合、該指示位置を、前記投影領域外の位置を前記投影領域内の位置に変換するための情報を用いて変換することで前記投影領域内の対応位置を求め、該対応位置を前記変換情報を用いて変換し、該変換後の対応位置を前記外部機器に対して送信する送信工程と
を備えることを特徴とする情報処理方法。 An information processing method performed by an information processing apparatus,
The acquisition unit of the information processing apparatus acquires a position indicated on the screen as an instruction position when the image displayed on the display screen of the external device is projected on the screen using a projector; ,
A determination step of determining whether the instruction position of the information processing apparatus is within the projection area of the video on the screen or outside the projection area;
When the indication position is within the projection area, the transmission unit of the information processing apparatus uses the conversion information for converting the indication position into a corresponding position in the display screen. Convert, send the converted indication position to the external device,
When the designated position is outside the projection area, the designated position is converted using information for converting a position outside the projection area into a position within the projection area, thereby corresponding position in the projection area. And a transmitting step of converting the corresponding position using the conversion information and transmitting the converted corresponding position to the external device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011105648A JP5828671B2 (en) | 2011-05-10 | 2011-05-10 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011105648A JP5828671B2 (en) | 2011-05-10 | 2011-05-10 | Information processing apparatus and information processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012238120A true JP2012238120A (en) | 2012-12-06 |
JP2012238120A5 JP2012238120A5 (en) | 2014-06-19 |
JP5828671B2 JP5828671B2 (en) | 2015-12-09 |
Family
ID=47460980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011105648A Active JP5828671B2 (en) | 2011-05-10 | 2011-05-10 | Information processing apparatus and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5828671B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014033381A (en) * | 2012-08-06 | 2014-02-20 | Ricoh Co Ltd | Information processing apparatus and program, and image processing system |
CN105808126A (en) * | 2014-12-29 | 2016-07-27 | 鸿合科技有限公司 | Electronic teaching whiteboard operation method and device |
US10073614B2 (en) | 2014-08-28 | 2018-09-11 | Kabushiki Kaisha Toshiba | Information processing device, image projection apparatus, and information processing method |
CN108628487A (en) * | 2017-03-24 | 2018-10-09 | 西安中兴通讯终端科技有限公司 | A kind of method of determining position information, projection device and computer storage media |
CN113014972A (en) * | 2021-01-28 | 2021-06-22 | 维沃移动通信有限公司 | Screen projection method, device and system |
-
2011
- 2011-05-10 JP JP2011105648A patent/JP5828671B2/en active Active
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014033381A (en) * | 2012-08-06 | 2014-02-20 | Ricoh Co Ltd | Information processing apparatus and program, and image processing system |
US10073614B2 (en) | 2014-08-28 | 2018-09-11 | Kabushiki Kaisha Toshiba | Information processing device, image projection apparatus, and information processing method |
CN105808126A (en) * | 2014-12-29 | 2016-07-27 | 鸿合科技有限公司 | Electronic teaching whiteboard operation method and device |
CN108628487A (en) * | 2017-03-24 | 2018-10-09 | 西安中兴通讯终端科技有限公司 | A kind of method of determining position information, projection device and computer storage media |
CN113014972A (en) * | 2021-01-28 | 2021-06-22 | 维沃移动通信有限公司 | Screen projection method, device and system |
CN113014972B (en) * | 2021-01-28 | 2024-02-27 | 维沃移动通信有限公司 | Screen projection method, device and system |
Also Published As
Publication number | Publication date |
---|---|
JP5828671B2 (en) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7423660B2 (en) | Image display apparatus, method and program | |
KR100707651B1 (en) | User interfaces and methods for manipulating and viewing digital documents | |
US9805486B2 (en) | Image-drawing processing system, server, user terminal, image-drawing processing method, program, and storage medium | |
US8441480B2 (en) | Information processing apparatus, information processing system, and computer readable medium | |
WO2011052324A1 (en) | Mobile information terminal, processing method, and program | |
JP5828671B2 (en) | Information processing apparatus and information processing method | |
JP2009087295A (en) | Information display device | |
JP2010079834A (en) | Device for determination of mounting position of coordinate detection device and electronic board system | |
US9544556B2 (en) | Projection control apparatus and projection control method | |
JP5640468B2 (en) | Information processing system and program | |
JP4021249B2 (en) | Information processing apparatus and information processing method | |
JP2010140327A (en) | Board writing system, computer device and program | |
JP2012043248A (en) | Operation input device, program and method | |
JP5560913B2 (en) | Stroke display device and program | |
JP5440926B2 (en) | Information processing system and program thereof | |
JP2016200860A (en) | Information processing apparatus, control method thereof, and program | |
JP2016122345A (en) | Image projection device and interactive input/output system | |
WO2021225044A1 (en) | Information processing device, information processing method based on user input operation, and computer program for executing said method | |
JP2007086962A (en) | Screen position indicating system and screen position indicating method | |
JP5276577B2 (en) | Front projection type electronic blackboard system and calibration start method | |
JP5736005B2 (en) | Input processing device, information processing device, information processing system, input processing method, information processing method, input processing program, and information processing program | |
JP5408513B2 (en) | Electronic pen system and program thereof | |
JP2010272078A (en) | System, and control unit of electronic information board, and cursor control method | |
JP3174897U (en) | Teaching material content display system, computer apparatus thereof, and sheet used therefor | |
JP4659674B2 (en) | Document position correction method and program causing computer to execute the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140428 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150316 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151020 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5828671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |