JP5877076B2 - Display device - Google Patents
Display device Download PDFInfo
- Publication number
- JP5877076B2 JP5877076B2 JP2012014503A JP2012014503A JP5877076B2 JP 5877076 B2 JP5877076 B2 JP 5877076B2 JP 2012014503 A JP2012014503 A JP 2012014503A JP 2012014503 A JP2012014503 A JP 2012014503A JP 5877076 B2 JP5877076 B2 JP 5877076B2
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- image
- display
- display surface
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、表示装置に関する。 The present invention relates to a display device.
ＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）などの薄型ディスプレイ（表示面）に表示されている画像において、ポインタ画像を視認しやすくするために、ポインタ画像を強調して表示する技術が、特許文献１〜４に開示されている。 In the image displayed on a thin display (display surface) such as LCD (Liquid Crystal Display) or PDP (Plasma Display Panel), a technique for highlighting and displaying the pointer image in order to make the pointer image easy to see, It is disclosed in Patent Documents 1 to 4.
特許文献１には、スクリーンに投射された画像上の特定位置をレーザポインタで指し示した際に、その照射位置の周辺領域の表示状態を変化させるプロジェクターが開示されている。 Patent Document 1 discloses a projector that changes a display state of a peripheral region of an irradiation position when a specific position on an image projected on a screen is pointed by a laser pointer.
特許文献２には、ユーザが、マウスを素早く動かす動作を行うことで、表示面に表示されている画像において、ポインタ画像と背景との輝度差を大きくする処理を行うカーソル表示制御装置が開示されている。 Patent Document 2 discloses a cursor display control device that performs a process of increasing a luminance difference between a pointer image and a background in an image displayed on a display surface by a user quickly moving a mouse. ing.
特許文献３には、一定時間以上にわたってマウス操作がない状態が検出された後にマウス操作を行うとき、カーソル画像の輝度を相対的に大きくして表示面に表示するカーソル表示方法が記載されている。 Patent Document 3 describes a cursor display method in which when a mouse operation is detected after a state where no mouse operation has been detected for a certain period of time or longer, the brightness of the cursor image is relatively increased and displayed on the display surface. .
特許文献４には、ボタンやキーボードを操作することなく、マウスなどのポインティング装置による移動操作を行うことによって、カーソル画像を表示面に強調して表示する画像処理装置が開示されている。 Patent Document 4 discloses an image processing device that highlights and displays a cursor image on a display surface by performing a moving operation using a pointing device such as a mouse without operating a button or a keyboard.
特許文献１〜４では、表示面に表示されている画像の輝度を全体的に下げたうえで、ポインタ（カーソル）画像の輝度を向上させて、ポインタ画像を強調して表示させている。そのため、画像のダイナミックレンジが狭まり、画像の明暗部分のコントラスト比が小さくなるので、高画質な画像を表示できないという問題がある。 In Patent Literatures 1 to 4, the brightness of the image displayed on the display surface is lowered as a whole, the brightness of the pointer (cursor) image is improved, and the pointer image is displayed with emphasis. As a result, the dynamic range of the image is narrowed, and the contrast ratio of the bright and dark portions of the image is reduced.
本発明の目的は、表示面に表示されている画像に重ねて表示されているポインタ画像を、画像の明暗部分のコントラスト比が高い状態で、強調して表示させることができる表示装置を提供することである。 An object of the present invention is to provide a display device capable of highlighting and displaying a pointer image displayed in an overlapping manner with an image displayed on a display surface in a state where the contrast ratio of a bright and dark portion of the image is high. That is.
本発明は、画像を表示するとともに、表示されている画像に重ねてポインタ画像を表示する表示面を有する表示部と、
前記表示面における前記ポインタ画像の表示位置を検出する検出手段と、
平面上に複数の発光素子が配置され、前記表示面に背面から光を照射するバックライト装置と、
前記発光素子の輝度を部分的に制御するバックライト制御手段であって、検出手段が検出したポインタ画像の表示位置およびその周辺位置を含むポインタ存在領域に対応する位置にある発光素子の輝度を、当該発光素子以外の発光素子の輝度よりも高くするバックライト制御手段と、
前記ポインタ画像のテンプレートとなるテンプレート画像を記憶する記憶手段とを含み、
前記検出手段は、表示面に表示されている画像と、予め記憶されたテンプレート画像とを比較して、前記表示面におけるポインタ画像の表示位置を検出することを特徴とする表示装置である。
The present invention includes a display unit having a display surface that displays an image and displays a pointer image superimposed on the displayed image;
Detecting means for detecting a display position of the pointer image on the display surface;
A plurality of light emitting elements are arranged on a plane, and a backlight device that irradiates light from the back to the display surface;
Backlight control means for partially controlling the brightness of the light emitting element, the brightness of the light emitting element at a position corresponding to the pointer presence area including the display position of the pointer image detected by the detection means and its peripheral position, Backlight control means for making the brightness of the light emitting elements other than the light emitting elements higher, and
Storage means for storing a template image serving as a template for the pointer image,
The detection means is a display device that detects the display position of the pointer image on the display surface by comparing an image displayed on the display surface with a template image stored in advance .
また本発明は、前記ポインタ存在領域の輪郭を強調するエッジ強調処理を行う強調処理手段をさらに含むことを特徴とする。 The present invention is further characterized by further comprising an enhancement processing means for performing edge enhancement processing for enhancing the outline of the pointer presence area.
本発明によれば、表示装置は、表示部と、検出手段と、バックライト装置と、バックライト制御手段とを含む。 According to the present invention, the display device includes a display unit, a detection unit, a backlight device, and a backlight control unit.
表示部は、画像を表示するとともに、表示されている画像に重ねてポインタ画像を表示する表示面を有する。検出手段は、表示面におけるポインタ画像の表示位置を検出する。バックライト装置は、平面上に複数の発光素子が配置され、表示面に背面から光を照射する。バックライト制御手段は、発光素子の輝度を部分的に制御する。具体的には、バックライト制御手段は、検出手段が検出したポインタ画像の表示位置およびその周辺位置を含むポインタ存在領域に対応する位置にある発光素子の輝度を、当該発光素子以外の発光素子の輝度よりも高くする。 The display unit has a display surface for displaying an image and displaying a pointer image superimposed on the displayed image. The detecting means detects the display position of the pointer image on the display surface. In the backlight device, a plurality of light emitting elements are arranged on a plane, and the display surface is irradiated with light from the back side. The backlight control means partially controls the luminance of the light emitting element. Specifically, the backlight control means determines the luminance of the light emitting element at a position corresponding to the pointer existence area including the display position of the pointer image detected by the detecting means and the peripheral position of the light emitting element other than the light emitting element. Make it higher than the brightness.
ポインタ存在領域に対応する位置にある発光素子の輝度を、当該発光素子以外の発光素子の輝度よりも高くすることによって、表示面におけるポインタ存在領域の輝度が相対的に高くなるので、ポインタ画像を強調して表示させることができる。このとき、表示面に表示されている画像の輝度は変化させる必要がないので、表示面に表示されている画像に重ねて表示されているポインタ画像を、画像の明暗部分のコントラスト比が高い状態で、強調して表示させることができる。 Since the luminance of the light emitting element at the position corresponding to the pointer existing area is higher than the luminance of the light emitting elements other than the light emitting element, the luminance of the pointer existing area on the display surface becomes relatively high. It can be highlighted. At this time, since it is not necessary to change the brightness of the image displayed on the display surface, the pointer image displayed overlaid on the image displayed on the display surface is in a state where the contrast ratio of the light and dark portions of the image is high. So that it can be highlighted.
前記表示装置は、ポインタ画像のテンプレートとなるテンプレート画像を記憶する記憶手段を含む。検出手段は、表示面に表示されている画像と、予め記憶されたテンプレート画像とを比較して、前記表示面におけるポインタ画像の表示位置を検出する。これによって、表示面におけるポインタ画像の表示位置を正確に検出することができる。 The display device includes storage means for storing a template image serving as a template for a pointer image. The detection means compares the image displayed on the display surface with a template image stored in advance, and detects the display position of the pointer image on the display surface. Thereby, the display position of the pointer image on the display surface can be accurately detected.
また本発明によれば、表示装置は、表示部と、入力手段と、バックライト装置と、バックライト制御手段とを含む。 According to the invention, the display device includes a display unit, an input unit, a backlight device, and a backlight control unit.
表示部は、画像を表示するとともに、表示されている画像に重ねてポインタ画像を表示する表示面を有する。入力手段は、表示面におけるポインタ画像の表示位置を入力する。バックライト装置は、平面上に複数の発光素子が配置され、表示面に背面から光を照射する。バックライト制御手段は、発光素子の輝度を部分的に制御する。具体的には、バックライト制御手段は、検出手段が検出したポインタ画像の表示位置およびその周辺位置を含むポインタ存在領域に対応する位置にある発光素子の輝度を、当該発光素子以外の発光素子の輝度よりも高くする。 The display unit has a display surface for displaying an image and displaying a pointer image superimposed on the displayed image. The input means inputs the display position of the pointer image on the display surface. In the backlight device, a plurality of light emitting elements are arranged on a plane, and the display surface is irradiated with light from the back side. The backlight control means partially controls the luminance of the light emitting element. Specifically, the backlight control means determines the luminance of the light emitting element at a position corresponding to the pointer existence area including the display position of the pointer image detected by the detecting means and the peripheral position of the light emitting element other than the light emitting element. Make it higher than the brightness.
ポインタ存在領域に対応する位置にある発光素子の輝度を、当該発光素子以外の発光素子の輝度よりも高くすることによって、表示面におけるポインタ存在領域の輝度が相対的に高くなるので、ポインタ画像を強調して表示させることができる。このとき、表示面に表示されている画像の輝度は変化させる必要がないので、表示面に表示されている画像に重ねて表示されているポインタ画像を、画像の明暗部分のコントラスト比が高い状態で、強調して表示させることができる。 Since the luminance of the light emitting element at the position corresponding to the pointer existing area is higher than the luminance of the light emitting elements other than the light emitting element, the luminance of the pointer existing area on the display surface becomes relatively high. It can be highlighted. At this time, since it is not necessary to change the brightness of the image displayed on the display surface, the pointer image displayed overlaid on the image displayed on the display surface is in a state where the contrast ratio of the light and dark portions of the image is high. So that it can be highlighted.
本発明の実施の一形態である表示装置１００は、画像情報を出力することによって、画像を表示面に表示する装置である。表示面は、液晶素子を有する透過型の液晶パネルによって形成され、液晶パネルは、平板状の形状に形成される。液晶パネルにおいて、厚み方向の２つの向きを前面側および背面側とし、表示装置は、画像を、前面から見て視認可能に表示する。表示装置１００には、パーソナルコンピュータ（ＰＣ）から映像信号が入力され、入力された映像信号に基づく画像が表示される。表示される画像は、ＰＣのアプリケーションソフトウエアなどで作成された写真画像、グラフ画像などである。 A display device 100 according to an embodiment of the present invention is a device that displays an image on a display surface by outputting image information. The display surface is formed by a transmissive liquid crystal panel having a liquid crystal element, and the liquid crystal panel is formed in a flat plate shape. In the liquid crystal panel, the two directions in the thickness direction are the front side and the back side, and the display device displays the image so as to be visible when viewed from the front. The display device 100 receives a video signal from a personal computer (PC) and displays an image based on the input video signal. The displayed image is a photographic image, a graph image, or the like created by application software on a PC.
このような画像には、ポインタ画像を重ねて表示することができる。本実施形態の表示装置１００では、ポインタ画像を強調して表示面に表示させるポインタ強調処理を行うことができる。 A pointer image can be superimposed on such an image. In the display device 100 of the present embodiment, it is possible to perform a pointer emphasis process that emphasizes the pointer image and displays it on the display surface.
＜表示装置＞
本実施形態の表示装置１００について説明する。図１は、表示装置１００およびＰＣ５０の構成を示すブロック図である。
<Display device>
The display device 100 of this embodiment will be described. FIG. 1 is a block diagram illustrating the configuration of the display device 100 and the PC 50.
表示装置１００は、映像信号入力部１と、映像信号加工部２と、映像信号解析部３と、マップ生成部４と、表示制御部５と、バックライト制御部６と、表示部７と、バックライト装置８と、記憶部９とを含む。 The display device 100 includes a video signal input unit 1, a video signal processing unit 2, a video signal analysis unit 3, a map generation unit 4, a display control unit 5, a backlight control unit 6, a display unit 7, A backlight device 8 and a storage unit 9 are included.
映像信号入力部１は、ＰＣ５０から入力された映像信号を受信する。
映像信号加工部２は、後述するポインタ登録処理において、入力された映像信号が示すポインタ画像と、マウスポインタ登録用矩形枠表示画像とを重ね合わせる。
The video signal input unit 1 receives a video signal input from the PC 50.
The video signal processing unit 2 superimposes the pointer image indicated by the input video signal and the mouse pointer registration rectangular frame display image in a pointer registration process described later.
検出手段である映像信号解析部３は、入力された映像信号を解析する。具体的には、入力信号解像度情報を用いて、後述するテンプレート画像情報のスケーリングを行う。また、記憶部９からテンプレート画像情報を取得し、後述するポインタ探索処理を行って、表示面７ａにおけるポインタ画像の表示位置を検出する。 The video signal analysis unit 3 as detection means analyzes the input video signal. Specifically, template image information described later is scaled using the input signal resolution information. Further, template image information is acquired from the storage unit 9 and a pointer search process described later is performed to detect the display position of the pointer image on the display surface 7a.
マップ生成部４は、映像信号解析部３で検出された、表示面７ａにおけるポインタ画像の表示位置に基づいて、バックライト装置８の発光素子の輝度を調整するための目標輝度マップを生成する。目標輝度マップは、後述するエッジ強調処理にも用いられる。 The map generation unit 4 generates a target luminance map for adjusting the luminance of the light emitting element of the backlight device 8 based on the display position of the pointer image on the display surface 7 a detected by the video signal analysis unit 3. The target luminance map is also used for edge enhancement processing described later.
表示部７は、表示面７ａを含む。本実施形態では、表示面７ａは液晶パネルである。表示面７ａは、バックライト装置８が備えるバックライトシャーシの底部と平行に設けられる。表示面７ａは、２枚の基板を含み、厚み方向に見て長方形の板状に形成される。 The display unit 7 includes a display surface 7a. In the present embodiment, the display surface 7a is a liquid crystal panel. The display surface 7 a is provided in parallel with the bottom of the backlight chassis included in the backlight device 8. The display surface 7a includes two substrates and is formed in a rectangular plate shape when viewed in the thickness direction.
表示面７ａは、ＴＦＴ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ）などのスイッチング素子を含み、２枚の基板の隙間には液晶が注入されている。表示面７ａは、背面側に配置されるバックライト装置８の発光素子から出射される光がバックライトとして照射されることによって、表示機能を発揮する。前記２枚の基板には、表示面７ａにおける画素の駆動制御用のドライバー（ソースドライバ）、種々の素子および配線が設けられている。 The display surface 7a includes a switching element such as a thin film transistor (TFT), and liquid crystal is injected into the gap between the two substrates. The display surface 7a exhibits a display function when light emitted from the light emitting element of the backlight device 8 disposed on the back side is irradiated as a backlight. The two substrates are provided with a driver (source driver) for driving the pixels on the display surface 7a, various elements, and wiring.
表示制御部５は、表示部７の表示面７ａに画像を表示させる。また、この画像に重ねて、ポインタ画像を表示させる。表示制御部５は、強調処理手段である映像加工部５ａを含み、映像加工部５ａは、マップ生成部４で生成した目標輝度マップに基づいて、後述するエッジ強調処理を行う。 The display control unit 5 displays an image on the display surface 7 a of the display unit 7. In addition, a pointer image is displayed over the image. The display control unit 5 includes a video processing unit 5a that is an enhancement processing unit, and the video processing unit 5a performs edge enhancement processing described later based on the target luminance map generated by the map generation unit 4.
バックライト装置８は、表示面７ａに背面から光を照射する装置である。バックライト装置８のバックライトシャーシには、複数の発光素子が格子状に配置されている。すなわち、バックライト装置８には、表示面７ａに平行な平面上に複数の発光素子が配置されている。 The backlight device 8 is a device that irradiates light from the back surface to the display surface 7a. In the backlight chassis of the backlight device 8, a plurality of light emitting elements are arranged in a grid pattern. That is, the backlight device 8 has a plurality of light emitting elements arranged on a plane parallel to the display surface 7a.
バックライト制御手段であるバックライト制御部６は、バックライト装置８に配置された複数の発光素子の点灯および消灯を制御するとともに、複数の発光素子の輝度を制御する。バックライトシャーシは、表示面７ａと対向する主面が複数の領域に区画されており、この領域内にそれぞれ発光素子が１または複数個配置されている。 The backlight control unit 6 serving as a backlight control unit controls turning on and off of the plurality of light emitting elements arranged in the backlight device 8 and controls the luminance of the plurality of light emitting elements. In the backlight chassis, the main surface facing the display surface 7a is partitioned into a plurality of regions, and one or a plurality of light emitting elements are arranged in each region.
また、バックライト制御部６は、ローカルディミング制御部６ａを含み、ローカルディミング制御部６ａは、目標輝度マップに基づいて、領域毎に、発光素子の点灯および消灯を制御し、領域毎に発光素子の輝度を制御する。バックライト制御部６は、いわゆる、バックライト装置８のローカルディミング制御を行う。 The backlight control unit 6 includes a local dimming control unit 6a. The local dimming control unit 6a controls lighting and extinguishing of the light emitting element for each region based on the target luminance map, and the light emitting device for each region. To control the brightness. The backlight control unit 6 performs so-called local dimming control of the backlight device 8.
記憶手段である記憶部９は、後述するテンプレート画像の画像情報および入力解像度、後述する強調モードの種類に関する情報などを記憶する。 The storage unit 9 serving as a storage unit stores image information and input resolution of a template image to be described later, information on the type of enhancement mode to be described later, and the like.
ポインティングデバイス５１は、マウス、タッチパネル、タブレットなどの装置であり、ＰＣ５０を介して、表示面７ａにおいて、ポインタ画像を移動させる。 The pointing device 51 is a device such as a mouse, a touch panel, or a tablet, and moves a pointer image on the display surface 7a via the PC 50.
ＰＣ５０は、ポインティングデバイス５１からの入力を受信し、映像信号を、表示装置１００の映像信号入力部１に出力する。 The PC 50 receives an input from the pointing device 51 and outputs a video signal to the video signal input unit 1 of the display device 100.
＜ポインタ登録処理＞
表示装置１００を用いてポインタ強調処理を行うためには、まず、ポインタ登録処理を行う必要がある。
<Pointer registration process>
In order to perform pointer emphasis processing using the display device 100, first, pointer registration processing must be performed.
図２は、ポインタ登録処理の手順を示すフローチャートである。図３は、ポインタ画像１１を含む画像が表示された表示面７ａを示す図である。図４は、ポインタ登録用矩形枠１２が表示された表示面７ａを示す図である。 FIG. 2 is a flowchart showing the procedure of the pointer registration process. FIG. 3 is a diagram showing the display surface 7a on which an image including the pointer image 11 is displayed. FIG. 4 is a diagram showing the display surface 7a on which the pointer registration rectangular frame 12 is displayed.
ポインタ登録処理は、ＰＣ５０が起動され、ポインタ画像情報を含む映像信号が、映像信号入力部１を介して表示装置１００に入力されて、表示面７ａに、図３に示すようなポインタ画像１１が重ねて表示された画像が表示されると開始される。 In the pointer registration process, the PC 50 is activated, a video signal including pointer image information is input to the display device 100 via the video signal input unit 1, and a pointer image 11 as shown in FIG. 3 is displayed on the display surface 7a. It is started when the superimposed image is displayed.
ステップＳ１では、映像信号加工部２が、リモコン１０からポインタ登録準備指示が入力されたか否か判断する。ポインタ登録準備指示が入力された場合には、ステップＳ２に進む。入力されていない場合には、ステップＳ１に戻る。 In step S <b> 1, the video signal processing unit 2 determines whether a pointer registration preparation instruction is input from the remote controller 10. If a pointer registration preparation instruction is input, the process proceeds to step S2. If not, the process returns to step S1.
ステップＳ２では、映像信号加工部２が、図４に示すような正方形のポインタ登録用矩形枠１２を表示面７ａに表示する。 In step S2, the video signal processing unit 2 displays a square pointer registration rectangular frame 12 as shown in FIG. 4 on the display surface 7a.
ステップＳ３では、映像信号加工部２が、ポインタ登録指示があるか否か判断する。ポインタ登録指示は、表示面７ａに表示されているポインタ登録用矩形枠１２内にポインタ画像１１が収まるよう、ユーザがポインティングデバイス５１を操作し、図４に示すように、ポインタ登録用矩形枠１２内にポインタ画像１１を収めた後、リモコン１０から映像信号加工部２に送信される。ポインタ登録指示があれば、ステップＳ４に進む。ポインタ登録指示がなければ、ステップＳ３に戻る。 In step S3, the video signal processing unit 2 determines whether there is a pointer registration instruction. In response to the pointer registration instruction, the user operates the pointing device 51 so that the pointer image 11 fits within the pointer registration rectangular frame 12 displayed on the display surface 7a, and as shown in FIG. After the pointer image 11 is stored therein, it is transmitted from the remote controller 10 to the video signal processing unit 2. If there is a pointer registration instruction, the process proceeds to step S4. If there is no pointer registration instruction, the process returns to step S3.
ステップＳ４では、テンプレート化処理を行う。テンプレート化処理は、図５を用いて詳しく説明する。図５は、テンプレート化処理の手順を示すフローチャートである。 In step S4, template processing is performed. The template processing will be described in detail with reference to FIG. FIG. 5 is a flowchart showing the procedure of template processing.
ステップＳ４ａでは、映像信号加工部２が、ポインタ画像１１の輪郭強調処理を行う。
ステップＳ４ｂでは、映像信号加工部２が、ポインタ登録用矩形枠１２内における、ポインタ画像１１の外側にある連続する白部分を消去する。
In step S <b> 4 a, the video signal processing unit 2 performs contour enhancement processing for the pointer image 11.
In step S <b> 4 b, the video signal processing unit 2 erases a continuous white portion outside the pointer image 11 in the pointer registration rectangular frame 12.
ステップＳ４ｃでは、映像信号加工部２が、ポインタ画像１１を含むポインタ登録用矩形枠１２内の画像を２値化処理する。 In step S <b> 4 c, the video signal processing unit 2 binarizes the image in the pointer registration rectangular frame 12 including the pointer image 11.
ステップＳ４ｄでは、映像信号加工部２が、２値化処理されたポインタ登録用矩形枠１２内の画像を、テンプレート画像とし、テンプレート画像情報として記憶部９に記憶する。これによって、テンプレート化処理の終了となり、図２のステップＳ５に進む。 In step S4d, the video signal processing unit 2 stores the binarized image in the pointer registration rectangular frame 12 as a template image and stores it as template image information in the storage unit 9. As a result, the template processing ends, and the process proceeds to step S5 in FIG.
ステップＳ５では、映像信号加工部２が、テンプレート画像情報と、そのテンプレート画像情報の入力信号解像度情報とを登録し、登録されたテンプレート画像情報と入力信号解像度情報とを、記憶部９のポインタデータベースに記憶する。これによって、ポインタ登録処理の終了となる。なお、一旦登録されたテンプレート画像は、たとえばＰＣ５０の電源をＯＦＦしても削除されず、削除の処理を行うまで削除されない。 In step S5, the video signal processing unit 2 registers the template image information and the input signal resolution information of the template image information, and stores the registered template image information and the input signal resolution information in the pointer database of the storage unit 9. To remember. This completes the pointer registration process. The template image once registered is not deleted even when the power of the PC 50 is turned off, for example, and is not deleted until the deletion process is performed.
＜表示処理＞
表示処理は、ポインタ登録処理で登録されたテンプレート画像を用いて行われる。この表示処理の中で、ポインタ強調処理が行われる。
<Display processing>
The display process is performed using the template image registered by the pointer registration process. In this display process, a pointer emphasis process is performed.
図６は、表示処理の手順を示すフローチャートである。
表示処理は、ポインタ登録処理が終了した直後、またはポインタ登録処理が行われた後に、ＰＣ５０が起動されると開始される。
FIG. 6 is a flowchart showing the procedure of the display process.
The display process is started when the PC 50 is started immediately after the pointer registration process is completed or after the pointer registration process is performed.
ステップＳ１１では、映像信号解析部３が、ポインタ強調モードが有効か否か判断する。ポインタ強調モードは、ユーザによって有効にされる。ポインタ強調モードを有効にする際、ユーザは、「ノーマル」、「水平」、「垂直」、「クロス」の中から、ポインタ強調モードの種類を１つ選択する。 In step S11, the video signal analysis unit 3 determines whether the pointer emphasis mode is valid. The pointer emphasis mode is enabled by the user. When enabling the pointer emphasis mode, the user selects one type of the pointer emphasis mode from “normal”, “horizontal”, “vertical”, and “cross”.
図７Ａおよび図７Ｂは、ポインタ強調モードの具体例を示す図である。図７Ａ（ａ）は、ポインタ強調モードの「ノーマル」を示す図である。図７Ａ（ｂ）は、ポインタ強調モードの「水平」を示す図である。図７Ｂ（ｃ）は、ポインタ強調モードの「垂直」を示す図である。図７Ｂ（ｄ）は、ポインタ強調モードの「クロス」を示す図である。表示面７ａにおける、ポインタ画像１１の表示位置およびその周囲位置からなるポインタ存在領域１３が、強調して表示される領域であり、図７Ａおよび図７Ｂでは、白地で示す。また、ポインタ存在領域以外の領域である非存在領域１４は、斜線を引いて示す。ポインタ存在領域１３の輝度は、非存在領域１４の輝度よりも相対的に高く、これによって、ポインタ存在領域１３が強調して表示される。 7A and 7B are diagrams illustrating specific examples of the pointer emphasis mode. FIG. 7A (a) is a diagram showing “normal” in the pointer emphasis mode. FIG. 7A (b) is a diagram showing “horizontal” in the pointer emphasis mode. FIG. 7B (c) is a diagram illustrating “vertical” in the pointer emphasis mode. FIG. 7B (d) is a diagram showing “cross” in the pointer emphasis mode. On the display surface 7a, the pointer presence area 13 composed of the display position of the pointer image 11 and its surrounding position is an area that is highlighted and is shown in white in FIGS. 7A and 7B. Further, the non-existing area 14 that is an area other than the pointer existing area is indicated by hatching. The brightness of the pointer presence area 13 is relatively higher than the brightness of the non-existence area 14, whereby the pointer presence area 13 is highlighted and displayed.
図７Ａおよび図７Ｂに示すような画像が表示面７ａに表示され、ユーザが、ポインティングデバイス５１などを用いて選択することで、ポインタ強調モードが有効になる。ここで選択されたポインタ強調モードの種類に関する情報は、記憶部９に記憶される。なお、ポインタ強調モードの種類は、表示処理を始めるたびに選択されてもよく、または、一旦選択されると、変更されない限り、次回の表示処理以降も保持されてもよい。保持される場合、次回の表示処理では、ポインタ強調モードを有効にする処理のみが本ステップで行われる。 Images as shown in FIGS. 7A and 7B are displayed on the display surface 7a, and the user makes selection using the pointing device 51 or the like, thereby enabling the pointer emphasis mode. Information regarding the type of the pointer enhancement mode selected here is stored in the storage unit 9. Note that the type of the pointer emphasis mode may be selected every time display processing is started, or once selected, the pointer emphasis mode may be retained after the next display processing unless changed. When held, in the next display process, only the process of enabling the pointer emphasis mode is performed in this step.
ステップＳ１２では、映像信号解析部３が、映像信号が入力されたか否か判断する。映像信号は、映像信号入力部１を介して、ＰＣ５０から入力される。図８は、映像信号が表示制御部５から出力された表示面７ａを示す図である。映像信号が入力されていれば、ステップＳ１３に進み、映像信号が入力されていなければ、ステップＳ１２に戻る。映像信号が入力されれば、表示面７ａには、入力された映像信号が表示制御部５から出力されて、図８に示す画像が表示されている。 In step S12, the video signal analysis unit 3 determines whether a video signal is input. The video signal is input from the PC 50 via the video signal input unit 1. FIG. 8 is a diagram illustrating the display surface 7 a on which the video signal is output from the display control unit 5. If the video signal is input, the process proceeds to step S13. If the video signal is not input, the process returns to step S12. When the video signal is input, the input video signal is output from the display control unit 5 on the display surface 7a, and the image shown in FIG. 8 is displayed.
ステップＳ１３では、映像信号解析部３が、入力された映像信号を判別する。具体的には、入力された映像信号の解像度の水平ライン数および垂直ライン数を取得する。 In step S13, the video signal analyzer 3 determines the input video signal. Specifically, the number of horizontal lines and the number of vertical lines of the resolution of the input video signal are acquired.
ステップＳ１４では、映像信号解析部３が、記憶部９からテンプレート画像情報を取得し、入力された映像信号の解像度の水平ライン数および垂直ライン数に応じて、テンプレート画像情報のテンプレート画像をスケーリングする。 In step S14, the video signal analysis unit 3 acquires the template image information from the storage unit 9, and scales the template image of the template image information according to the number of horizontal lines and the number of vertical lines of the resolution of the input video signal. .
ステップＳ１５では、第１ポインタ探索処理を行う。第１ポインタ探索処理は、図９を用いて詳しく説明する。図９は、第１ポインタ探索処理の手順を示すフローチャートである。図１０は、第１ポインタ探索処理のイメージを示す図である。 In step S15, a first pointer search process is performed. The first pointer search process will be described in detail with reference to FIG. FIG. 9 is a flowchart showing the procedure of the first pointer search process. FIG. 10 is a diagram illustrating an image of the first pointer search process.
ステップＳ１５ａでは、映像信号解析部３が、表示面７ａに表示されている画像から、比較対象画像を切り出す。比較対象画像を切り出すために、まず、映像信号解析部３が、検索座標（ｘ，ｙ）を決定する。今回は、表示面７ａの最も左上の座標位置（１，１）が検索座標となる。 In step S15a, the video signal analysis unit 3 cuts out a comparison target image from the image displayed on the display surface 7a. In order to cut out the comparison target image, first, the video signal analysis unit 3 determines the search coordinates (x, y). This time, the upper left coordinate position (1, 1) of the display surface 7a is the search coordinate.
なお、表示面７ａにおいて、ｘ軸方向の画素数がｎ個であり、ｙ軸方向の画素数がｍ個である場合、座標位置（１，１）の右隣の座標位置を（２，１）で表し、ｘ軸方向に１つずれるにつれて、座標位置を順に（３，１）、（４，１）・・・（ｎ−１，１）、（ｎ，１）と表す。また、座標位置（１，１）の下隣の座標位置を（１，２）と表し、ｙ軸方向に１つずれるにつれて、座標位置を順に（１，３）、（１，４）・・・（１，ｍ−１）、（１，ｍ）と表す。 On the display surface 7a, when the number of pixels in the x-axis direction is n and the number of pixels in the y-axis direction is m, the coordinate position on the right side of the coordinate position (1, 1) is (2, 1). ), And the coordinate positions are sequentially expressed as (3, 1), (4, 1)... (N-1, 1), (n, 1) as they are shifted by one in the x-axis direction. The coordinate position immediately below the coordinate position (1, 1) is represented as (1, 2), and the coordinate position is sequentially changed to (1, 3), (1, 4),. -It represents as (1, m-1) and (1, m).
テンプレート画像のｘ軸方向の長さをＷｔ、ｙ軸方向の長さをＨｔとすると、検索位置（ｘ，ｙ）と、座標位置（ｘ＋Ｗｔ，ｙ＋Ｈｔ）とを結ぶ線分を対角線とする正方形の範囲内にある画像が、比較対象画像となる。 Assuming that the length of the template image in the x-axis direction is Wt and the length in the y-axis direction is Ht, a square shape having a line segment connecting the search position (x, y) and the coordinate position (x + Wt, y + Ht) as a diagonal line An image within the range is a comparison target image.
ステップＳ１５ｂでは、映像信号解析部３が、比較対象画像を２値化処理する。
ステップＳ１５ｃでは、映像信号解析部３が、表示制御部５を介してテンプレート画像を比較表示画面に重ね合わせ、比較対象画像とテンプレート画像とを１ドットずつ比較する。
In step S15b, the video signal analysis unit 3 binarizes the comparison target image.
In step S15c, the video signal analysis unit 3 superimposes the template image on the comparison display screen via the display control unit 5, and compares the comparison target image and the template image one dot at a time.
ステップＳ１５ｄでは、映像信号解析部３が、テンプレート画像と比較対象画像とで、一致するドットの数Ｃ（ドット数Ｃ）を検出する。 In step S15d, the video signal analysis unit 3 detects the number C (dot number C) of matching dots in the template image and the comparison target image.
ステップＳ１５ｅでは、映像信号解析部３が、ドット数Ｃが閾値以上か否か判断する。ドット数Ｃが閾値以上であれば、ステップＳ１５ｆに進む。ドット数Ｃが閾値以上でなければ、ステップＳ１５ｇに進む。ドット数Ｃが大きいほど、テンプレート画像と比較対象画像とが似ていることを示し、ドット数Ｃが大きいほど、比較対象画像内にポインタ画像１１が存在する可能性が高くなる。 In step S15e, the video signal analysis unit 3 determines whether the number of dots C is equal to or greater than a threshold value. If the number of dots C is greater than or equal to the threshold value, the process proceeds to step S15f. If the number of dots C is not greater than or equal to the threshold value, the process proceeds to step S15g. The larger the dot number C, the more similar the template image and the comparison target image are. The larger the dot number C is, the higher the possibility that the pointer image 11 exists in the comparison target image.
ステップＳ１５ｆでは、映像信号解析部３が、ドット数Ｃをスコア値として記憶部９に記憶する。また、そのときの検索座標も記憶部９に記憶する。このスコア値よりも高いスコア値が検出された場合には、その新しいスコア値を、古いスコア値に代わって記憶するとともに、その新しいスコア値が検出された検索座標を記憶部９に記憶する。 In step S15f, the video signal analysis unit 3 stores the dot number C as a score value in the storage unit 9. The search coordinates at that time are also stored in the storage unit 9. When a score value higher than this score value is detected, the new score value is stored in place of the old score value, and the search coordinates where the new score value is detected are stored in the storage unit 9.
ステップＳ１５ｇでは、ｘ座標値およびｙ座標値が最大（ｎ，ｍ）であるか否か判断する。ｘ座標値およびｙ座標値が最大であれば、第１ポインタ探索処理の終了となる。この時点では、図１０において矢印で示す順番で、表示面７ａ全体にポインタの検索が行われており、その結果、図１０に示す表示位置にポインタ画像１１が表示されていることが検出される。 In step S15g, it is determined whether or not the x coordinate value and the y coordinate value are maximum (n, m). If the x-coordinate value and the y-coordinate value are maximum, the first pointer search process ends. At this time, the pointer search is performed on the entire display surface 7a in the order indicated by the arrows in FIG. 10, and as a result, it is detected that the pointer image 11 is displayed at the display position shown in FIG. .
このように、表示面７ａに表示されているポインタ画像１１と、予め記憶されたテンプレート画像とを比較して、表示面７ａにおけるポインタ画像１１の表示位置を検出することによって、表示面７ａにおけるポインタ画像１１の表示位置を正確に検出することができる。ｘ座標値およびｙ座標値が最大でなければ、ステップＳ１５ｈに進む。 In this way, the pointer image 11 displayed on the display surface 7a is compared with the template image stored in advance, and the pointer on the display surface 7a is detected by detecting the display position of the pointer image 11 on the display surface 7a. The display position of the image 11 can be accurately detected. If the x coordinate value and the y coordinate value are not maximum, the process proceeds to step S15h.
ステップＳ１５ｈでは、ｘ座標値が最大（ｎ）であるか否か判断する。ｘ座標値が最大であれば、ステップＳ１５ｉに進む。ｘ座標値が最大でなければ、ステップＳ１５ｊに進む。 In step S15h, it is determined whether or not the x-coordinate value is maximum (n). If the x-coordinate value is maximum, the process proceeds to step S15i. If the x-coordinate value is not the maximum, the process proceeds to step S15j.
ステップＳ１５ｉでは、検索座標を、ｘ座標値が１であり、ｙ座標値が１大きい座標位置に変更する。その後、ステップＳ１５ａに戻り、変更した検索座標で、前述と同様の処理を行う。 In step S15i, the search coordinate is changed to a coordinate position where the x coordinate value is 1 and the y coordinate value is 1 larger. Thereafter, the process returns to step S15a, and the same processing as described above is performed with the changed search coordinates.
ステップＳ１５ｊでは、検索座標を、ｘ座標値が１つ大きい座標位置に変更する。その後、ステップＳ１５ａに戻り、変更した検索座標で、前述と同様の処理を行う。 In step S15j, the search coordinate is changed to a coordinate position whose x coordinate value is one larger. Thereafter, the process returns to step S15a, and the same processing as described above is performed with the changed search coordinates.
本実施形態では、検索座標を、１画素ずつ移動させたが、テンプレート画像の長さ分だけ移動させてもよい。検索座標を１画素ずつ移動させると、テンプレート画像の長さ分だけ移動させる場合よりも計算量が多くなるが、より正確にポインタ画像の表示位置を検出することができる。なお、計算量が多くなるといっても、並列計算をすることによって、ポインタ探索処理を充分に短い時間で行うことができる。 In the present embodiment, the search coordinates are moved pixel by pixel, but may be moved by the length of the template image. If the search coordinates are moved one pixel at a time, the amount of calculation is larger than when the search coordinates are moved by the length of the template image, but the display position of the pointer image can be detected more accurately. Even if the amount of calculation increases, the pointer search process can be performed in a sufficiently short time by performing parallel calculation.
第１ポインタ探索処理が終了すると、図６に示すステップＳ１６に進む。
ステップＳ１６では、映像信号解析部３が、表示面７ａに表示されているポインタ画像１１において、その中心の座標位置であるポインタ中心座標Ｐを求める。
When the first pointer search process ends, the process proceeds to step S16 shown in FIG.
In step S16, the video signal analysis unit 3 obtains the pointer center coordinate P that is the coordinate position of the center of the pointer image 11 displayed on the display surface 7a.
ポインタ中心座標Ｐを求めるため、映像信号解析部３は、まず、記憶部９に記憶されているスコア値および検索座標（ａ１，ｂ１）を取得する。このスコア値および検索座標は、第１探索処理で検出したスコア値のうち、最も値の大きいスコア値であり、この検索座標に対応する比較対象画像に、ポインタ画像１１が含まれる可能性が最も高い。 In order to obtain the pointer center coordinate P, the video signal analysis unit 3 first acquires the score value and the search coordinates (a 1 , b 1 ) stored in the storage unit 9. The score value and the search coordinate are score values having the largest value among the score values detected in the first search process, and the pointer image 11 is most likely to be included in the comparison target image corresponding to the search coordinate. high.
その後、映像信号解析部３は、テンプレート画像（Ｗｔ，Ｈｔ）の大きさから、ポインタ中心座標Ｐ（ａ１＋Ｗｔ／２，ｂ１＋Ｈｔ／２）を算出する。 Thereafter, the video signal analysis unit 3 calculates the pointer center coordinates P (a 1 + Wt / 2, b 1 + Ht / 2) from the size of the template image (Wt, Ht).
ステップＳ１７では、ポインタ中心座標Ｐを用いて、マップ生成部４が、目標輝度マップを生成する。目標輝度マップの生成手順については、図１１を用いて詳しく説明する。図１１は、目標輝度マップの生成の手順を示すフローチャートである。 In step S17, using the pointer center coordinate P, the map generation unit 4 generates a target luminance map. The procedure for generating the target luminance map will be described in detail with reference to FIG. FIG. 11 is a flowchart showing a procedure for generating a target luminance map.
ステップＳ１７ａでは、マップ生成部４が、記憶部９からポインタ強調モードの種類に関する情報を取得し、ポインタ強調モードの種類に応じて、目標輝度マップ生成のための数式を決定する。 In step S17a, the map generation unit 4 acquires information related to the type of the pointer enhancement mode from the storage unit 9, and determines a mathematical formula for generating the target luminance map according to the type of the pointer enhancement mode.
ポインタ中心座標Ｐを（ｘ０，ｙ０）とすると、ポインタ強調モードの種類が「ノーマル」の場合、数式は下記式（１）となり、ポインタ強調モードの種類が「水平」の場合、数式は下記式（２）となり、ポインタ強調モードの種類が「垂直」の場合、数式は下記式（３）となり、ポインタ強調モードの種類が「クロス」の場合、数式は下記式（４）となる。
ｍａｐ（ｘ，ｙ）＝ｅｘｐ（−（ｘ−ｘ０）４）・ｅｘｐ（−（ｙ−ｙ０）４）
…（１）
ｍａｐ（ｘ，ｙ）＝ｅｘｐ（−（ｘ−ｘ０）４） …（２）
ｍａｐ（ｘ，ｙ）＝ｅｘｐ（−（ｙ−ｙ０）４） …（３）
ｍａｐ（ｘ，ｙ）＝ｅｘｐ（−（ｘ−ｘ０）４）＋ｅｘｐ（−（ｙ−ｙ０）４）
…（４）
Assuming that the pointer center coordinate P is (x 0 , y 0 ), when the pointer emphasis mode type is “normal”, the mathematical formula is the following formula (1), and when the pointer emphasis mode type is “horizontal”, the mathematical formula is When the pointer emphasis mode type is “vertical”, the mathematical formula is the following formula (3). When the pointer emphasis mode type is “cross”, the mathematical formula is the following formula (4).
map (x, y) = exp (− (x−x 0 ) 4 ) · exp (− (y−y 0 ) 4 )
... (1)
map (x, y) = exp (− (x−x 0 ) 4 ) (2)
map (x, y) = exp (− (y−y 0 ) 4 ) (3)
map (x, y) = exp (− (x−x 0 ) 4 ) + exp (− (y−y 0 ) 4 )
(4)
マップ生成部４は、この数式に基づいて、目標輝度マップを生成する。具体的には、ｍａｐ（ｘ，ｙ）値をノーマライズし、全てのｘ座標、ｙ座標におけるｍａｐ（ｘ，ｙ）値のうち、最大値となる座標位置の輝度を最大、最小値となる座標位置の輝度を最小として、ｍａｐ（ｘ，ｙ）値が大きいほど、その座標位置の輝度が大きくなるような目標輝度マップを生成する。 The map generation unit 4 generates a target luminance map based on this mathematical formula. Specifically, the map (x, y) value is normalized, and among the map (x, y) values in all the x coordinates and y coordinates, the luminance at the maximum coordinate position is the maximum and the minimum coordinate. A target brightness map is generated in which the brightness at the coordinate position is increased as the map (x, y) value is increased with the brightness at the position being minimized.
目標輝度マップでは、表示面７ａにおけるポインタ画像１１の表示位置およびその周辺位置を含むポインタ存在領域１３、すなわち、ポインタ中心座標Ｐおよびその周辺の座標位置からなるポインタ存在領域１３の輝度が、非存在領域１４の輝度よりも高くすることが示されている。目標輝度マップにおいて、ポインタ存在領域１３など、輝度が相対的に高くなるように示される領域を、強調領域という。 In the target luminance map, the luminance of the pointer existing area 13 including the display position of the pointer image 11 on the display surface 7a and the peripheral position thereof, that is, the pointer existing area 13 including the pointer central coordinates P and the peripheral coordinate positions does not exist. It is shown that it is higher than the brightness of the region 14. In the target luminance map, an area such as the pointer existence area 13 that is shown to have a relatively high luminance is called an emphasis area.
ステップＳ１７ｂでは、マップ生成部４が、現在の強調領域以外に保持中の強調領域があるか否か判断する。強調領域は、後述するステップＳ２６での条件によって、ステップＳ２７で保持される。保持中の強調領域があれば、ステップＳ１７ｃに進む。保持中の強調領域がなければ、目標輝度マップ生成処理は終了となり、図６に示すステップＳ１８に進む。 In step S <b> 17 b, the map generation unit 4 determines whether there is an emphasized area that is being held other than the current emphasized area. The emphasis region is held in step S27 according to the condition in step S26 described later. If there is an emphasis area being held, the process proceeds to step S17c. If there is no emphasis area being held, the target luminance map generation process ends, and the process proceeds to step S18 shown in FIG.
ステップＳ１７ｃでは、マップ生成部４が、保持中の強調領域を、目標輝度マップに追加する。これによって、輝度の高い領域が複数存在する目標輝度マップとなり、たとえば、保持中の強調領域が１つ存在する場合、輝度が高い領域が２つ存在するような目標輝度マップとなる。 In step S <b> 17 c, the map generation unit 4 adds the retained emphasis area to the target luminance map. As a result, a target luminance map having a plurality of high luminance areas exists. For example, when there is one emphasis area being held, the target luminance map has two high luminance areas.
ステップＳ１８では、バックライト制御部６が、目標輝度マップに基づいて、バックライト装置８の複数の発光素子の発光量を領域毎に調整して、発光素子の輝度を領域毎に制御し、ポインタ強調処理を行う。なお、発光素子間の領域については、表示面において、コントラストを穏やかに変化させる。図１２は、ポインタ強調処理が行われているバックライト装置８を、その厚さ方向からみた図である。図１３は、ポインタ強調処理が行われている表示面７ａを示す図である。本実施形態では、複数の発光素子は、複数の領域毎に調整しているが、複数の発光素子毎に個別に調整してもよい。 In step S18, the backlight control unit 6 adjusts the light emission amounts of the plurality of light emitting elements of the backlight device 8 for each area based on the target luminance map, and controls the luminance of the light emitting elements for each area, and the pointer. Perform enhancement processing. Note that the contrast of the region between the light emitting elements is gently changed on the display surface. FIG. 12 is a diagram of the backlight device 8 on which the pointer emphasis process is performed as seen from the thickness direction. FIG. 13 is a diagram illustrating the display surface 7a on which the pointer emphasis process is performed. In the present embodiment, the plurality of light emitting elements are adjusted for each of the plurality of regions, but may be individually adjusted for each of the plurality of light emitting elements.
この結果、バックライト装置８は、図１２に示す状態となり、表示面７ａは、図１３に示す状態となる。 As a result, the backlight device 8 is in the state shown in FIG. 12, and the display surface 7a is in the state shown in FIG.
図１２に示すように、バックライト装置８では、ポインタ存在領域１３に対応する位置にある発光素子の輝度が、当該発光素子以外の発光素子の輝度よりも高くなっている。また、バックライト装置８が図１２に示すように点灯または消灯していることによって、図１３に示すように、表示面７ａにおいて、ポインタ存在領域１３の輝度が、非存在領域１４の輝度よりも高くなるので、ポインタ画像１１を強調して表示することができる。 As shown in FIG. 12, in the backlight device 8, the luminance of the light emitting elements at the position corresponding to the pointer presence area 13 is higher than the luminance of the light emitting elements other than the light emitting elements. Further, since the backlight device 8 is turned on or off as shown in FIG. 12, the brightness of the pointer presence area 13 is higher than the brightness of the non-existence area 14 on the display surface 7a as shown in FIG. Since it becomes high, the pointer image 11 can be highlighted and displayed.
このとき、表示面７ａに表示されている画像の輝度は変化させる必要がないので、表示面７ａに表示されている画像に重ねて表示されているポインタ画像１１を、画像の明暗部分のコントラスト比が高い状態で、強調して表示させることができる。 At this time, since it is not necessary to change the brightness of the image displayed on the display surface 7a, the pointer image 11 displayed superimposed on the image displayed on the display surface 7a is used as the contrast ratio of the light and dark portions of the image. Can be highlighted and displayed.
ステップＳ１９で、一定時間経過した後、ステップＳ２０で、第２ポインタ探索処理を行う。第２ポインタ探索処理は、図１４を用いて詳しく説明する。図１４は、第２ポインタ探索処理の手順を示すフローチャートである。 After a predetermined time has passed in step S19, a second pointer search process is performed in step S20. The second pointer search process will be described in detail with reference to FIG. FIG. 14 is a flowchart showing the procedure of the second pointer search process.
ステップＳ２０ａでは、表示面７ａに表示されている映像から、比較対象画像を切り出す。比較対象画像を切り出すために、まず、映像信号解析部３が、検索座標（ｘ，ｙ）を決定する。今回は、表示面７ａの最も左上の座標位置（１，１）が検索座標となる。 In step S20a, a comparison target image is cut out from the video displayed on the display surface 7a. In order to cut out the comparison target image, first, the video signal analysis unit 3 determines the search coordinates (x, y). This time, the upper left coordinate position (1, 1) of the display surface 7a is the search coordinate.
ステップＳ２０ｂでは、映像信号解析部３が、比較対象画像を２値化処理する。
ステップＳ２０ｃでは、映像信号解析部３が、表示制御部５を介してテンプレート画像を比較表示画面に重ね合わせ、比較対象画像とテンプレート画像とを１ドットずつ比較する。
In step S20b, the video signal analysis unit 3 binarizes the comparison target image.
In step S20c, the video signal analysis unit 3 superimposes the template image on the comparison display screen via the display control unit 5, and compares the comparison target image and the template image one dot at a time.
ステップＳ２０ｄでは、映像信号解析部３が、テンプレート画像と比較対象画像とで、一致するドット数Ｃを算出する。 In step S20d, the video signal analysis unit 3 calculates the number of matching dots C between the template image and the comparison target image.
図１５は、加算するスコア値を求めるためのスコア加算グラフを示す図である。
ステップＳ２０ｅでは、図１５に示すようなスコア加算グラフデータを用いて、現在の検索座標と、前回のポインタ探索処理で最も高いスコア値が検出された検索座標との距離に応じて、ステップＳ２０ｄで算出したドット数Ｃにスコアを加算する。
FIG. 15 is a diagram showing a score addition graph for obtaining a score value to be added.
In step S20e, using the score addition graph data as shown in FIG. 15, depending on the distance between the current search coordinate and the search coordinate in which the highest score value is detected in the previous pointer search process, in step S20d. The score is added to the calculated dot number C.
図１５のグラフでは、（０，０）の座標位置は色が濃く、この座標位置以外の領域では、座標位置に近づくほど色が薄くなっている。左側の縦軸が、表示面７ａのｙ軸方向に対応し、横軸が、表示面７ａのｘ軸方向に対応する。右側の縦軸は、加算するスコア値を示し、数値が大きくなるほど色が濃くなっている。 In the graph of FIG. 15, the coordinate position of (0, 0) is dark in color, and the color becomes lighter toward the coordinate position in an area other than this coordinate position. The left vertical axis corresponds to the y-axis direction of the display surface 7a, and the horizontal axis corresponds to the x-axis direction of the display surface 7a. The right vertical axis indicates the score value to be added, and the color becomes darker as the numerical value increases.
まず、図１５のグラフにおいて、前回のポインタ探索処理で最も高いスコア値が検出された検索座標を（０，０）の座標位置とする。左側の縦軸の値を、前回のポインタ探索処理で最も高いスコア値が検出された検索座標と、現在の検索座標とのｙ軸方向における差分とし、横軸の値を、前回のポインタ探索処理で最も高いスコア値が検出された検索座標と、現在の検索座標とのｘ軸方向における差分として、前回のポインタ探索処理で最も高いスコア値が検出された検索座標に対する、現在の検索座標の相対位置をあてはめる。 First, in the graph of FIG. 15, the search coordinate where the highest score value is detected in the previous pointer search process is defined as the coordinate position (0, 0). The left vertical axis value is the difference in the y-axis direction between the search coordinate where the highest score value was detected in the previous pointer search processing and the current search coordinate, and the horizontal axis value is the previous pointer search processing. As a difference in the x-axis direction between the search coordinate where the highest score value is detected and the current search coordinate, the current search coordinate relative to the search coordinate where the highest score value was detected in the previous pointer search process Fit the position.
右側の縦軸において、図１５のグラフにあてはめた現在の検索座標の座標位置の色と同じ色に対応する値を、ステップＳ２０ｄで算出したドット数Ｃにスコア値として加算する。 On the right vertical axis, a value corresponding to the color of the coordinate position of the current search coordinate applied to the graph of FIG. 15 is added as a score value to the number of dots C calculated in step S20d.
このときに加算するスコア値は、現在の検索座標が、前回のポインタ探索処理で最も高いスコア値が検出された検索座標（以下「最高スコア値検索座標」と記載する）の座標位置と近いほど、スコア値が高くなるようにする。 The score value to be added at this time is such that the current search coordinate is closer to the coordinate position of the search coordinate where the highest score value was detected in the previous pointer search process (hereinafter referred to as “highest score value search coordinate”). , Make the score value higher.
ポインタ画像１１は、ユーザによって連続的に操作されて、表示処理の間は、ほとんど連続的に移動している。また、ポインタ探索処理が行われる間隔は短いので、ポインタ画像は、前回のポインタ探索処理で検出された表示位置の比較的近くで表示されている可能性が高い。 The pointer image 11 is continuously operated by the user and moves almost continuously during the display process. Further, since the interval at which the pointer search process is performed is short, it is highly likely that the pointer image is displayed relatively close to the display position detected by the previous pointer search process.
現在の検索座標が、前回の最高スコア値検索座標と近いほどに、加算するスコア値を大きくすることによって、一旦、表示位置を正確に検出したポインタ画像１１の表示位置を、以降のポインタ探索処理でも、正確に検出しつづける可能性を高くすることができる。 By increasing the score value to be added as the current search coordinate is closer to the previous highest score search coordinate, the display position of the pointer image 11 in which the display position has been accurately detected once is converted into the subsequent pointer search process. However, the possibility of continuing to detect accurately can be increased.
また、現在の検索座標が、前回の最高スコア値検索座標と同じ場合、スコア値を下げる。 If the current search coordinates are the same as the previous highest score value search coordinates, the score value is lowered.
前述のように、一旦ポインタ画像１１の表示位置を正確に検出した後は、以降のポインタ探索処理でも、ポインタ画像１１の表示位置を正確に検出しつづけることができるが、たとえば、ポインタ画像１１とまったく同じ絵柄の静止画像を含む画像が表示されている表示面７ａにおいて、初めてポインタ画像の表示位置を検出する場合には、ポインタ画像１１の表示位置を正確に検出できないおそれがある。 As described above, once the display position of the pointer image 11 is accurately detected, the display position of the pointer image 11 can be detected accurately in the subsequent pointer search processing. When the display position of the pointer image is detected for the first time on the display surface 7a on which an image including a still image having the same pattern is displayed, there is a possibility that the display position of the pointer image 11 cannot be accurately detected.
しかしながら、ポインタ画像１１は、表示処理の間は、ほとんど連続的に移動しているので、現在の検索座標が、前回の最高スコア値検索座標の座標位置と同じである場合、スコア値を下げることによって、ポインタ画像１１と同じまたはよく似た絵柄の静止画像を誤検出するおそれを低下させることができる。 However, since the pointer image 11 moves almost continuously during the display process, if the current search coordinate is the same as the coordinate position of the previous highest score search coordinate, the score value is lowered. Thus, the possibility of erroneous detection of a still image having the same or similar pattern as the pointer image 11 can be reduced.
ステップＳ２０ｆでは、映像信号解析部３が、ドット数Ｃが閾値以上か否か判断する。ドット数Ｃが閾値以上であれば、ステップＳ２０ｇに進む。ドット数Ｃが閾値以上でなければ、ステップＳ２０ｈに進む。 In step S20f, the video signal analysis unit 3 determines whether the number of dots C is equal to or greater than a threshold value. If the number of dots C is greater than or equal to the threshold value, the process proceeds to step S20g. If the number of dots C is not greater than or equal to the threshold value, the process proceeds to step S20h.
ステップＳ２０ｇでは、映像信号解析部３が、ドット数Ｃをスコア値として記憶部９に記憶する。また、そのときの検索座標も記憶部９に記憶する。このスコア値よりも高いスコア値が検出された場合には、その新しいスコア値を、古いスコア値に代わって記憶するとともに、その新しいスコア値が検出された検索座標を記憶部９に記憶する。 In step S20g, the video signal analysis unit 3 stores the dot number C as a score value in the storage unit 9. The search coordinates at that time are also stored in the storage unit 9. When a score value higher than this score value is detected, the new score value is stored in place of the old score value, and the search coordinates where the new score value is detected are stored in the storage unit 9.
ステップＳ２０ｈでは、ｘ座標値およびｙ座標値が最大（ｎ，ｍ）であるか否か判断する。ｘ座標値およびｙ座標値が最大であれば、第２ポインタ探索処理の終了となる。この時点では、図１０において矢印で示す順番で、表示面７ａ全体にポインタの検索が行われたことになり、その結果、図１０に示す表示位置にポインタ画像１１が表示されていることが検出される。ｘ座標値およびｙ座標値が最大でなければ、ステップＳ２０ｉに進む。 In step S20h, it is determined whether or not the x coordinate value and the y coordinate value are maximum (n, m). If the x-coordinate value and the y-coordinate value are maximum, the second pointer search process ends. At this time, the pointer search is performed on the entire display surface 7a in the order indicated by the arrows in FIG. 10, and as a result, it is detected that the pointer image 11 is displayed at the display position shown in FIG. Is done. If the x coordinate value and the y coordinate value are not maximum, the process proceeds to step S20i.
ステップＳ２０ｉでは、ｘ座標値が最大（ｎ）であるか否か判断する。ｘ座標値が最大であれば、ステップＳ２０ｊに進む。ｘ座標値が最大でなければ、ステップＳ２０ｋに進む。 In step S20i, it is determined whether or not the x-coordinate value is maximum (n). If the x-coordinate value is maximum, the process proceeds to step S20j. If the x-coordinate value is not the maximum, the process proceeds to step S20k.
ステップＳ２０ｊでは、検索座標を、ｘ座標値が１であり、ｙ座標値が１大きい座標位置に変更する。その後、ステップＳ２０ａに戻り、変更した検索座標で、前述と同様の処理を行う。 In step S20j, the search coordinate is changed to a coordinate position where the x coordinate value is 1 and the y coordinate value is 1 larger. Thereafter, the process returns to step S20a, and the same processing as described above is performed with the changed search coordinates.
ステップＳ２０ｋでは、検索座標を、ｘ座標値が１つ大きい座標位置に変更する。その後、ステップＳ２０ａに戻り、変更した検索座標で、前述と同様の処理を行う。 In step S20k, the search coordinate is changed to a coordinate position whose x coordinate value is one larger. Thereafter, the process returns to step S20a, and the same processing as described above is performed with the changed search coordinates.
なお、本実施形態では、検索座標を、１画素ずつ移動させたが、テンプレート画像の長さ分だけ移動させてもよい。 In the present embodiment, the search coordinates are moved pixel by pixel, but may be moved by the length of the template image.
第２ポインタ探索処理が終了すると、図６に示すステップＳ２１に進む。
ステップＳ２１では、映像信号解析部３が、表示面７ａに表示されているポインタ画像１１において、その中心の座標位置であるポインタ中心座標Ｐｃを求める。映像信号解析部３は、記憶部９に記憶されているスコア値および検索座標（ａ２，ｂ２）を取得し、テンプレート画像（Ｗｔ，Ｈｔ）の大きさから、ポインタ中心座標Ｐ（ａ２＋Ｗｔ／２，ｂ２＋Ｈｔ／２）を算出する。
When the second pointer search process ends, the process proceeds to step S21 shown in FIG.
In step S21, the video signal analysis unit 3 obtains a pointer center coordinate Pc that is a coordinate position of the center of the pointer image 11 displayed on the display surface 7a. The video signal analysis unit 3 acquires the score value and the search coordinates (a 2 , b 2 ) stored in the storage unit 9 and calculates the pointer center coordinates P (a 2 ) from the size of the template image (Wt, Ht). + Wt / 2, b 2 + Ht / 2) is calculated.
ステップＳ２２では、映像信号解析部３が、ポインタ中心座標Ｐからポインタ中心座標Ｐｃまでの距離が、閾値Ｄ以下であるか否か判断する。閾値Ｄ以下であれば、ポインタ画像１１が連続的に移動していると判断し、ステップＳ２４に進む。閾値Ｄ以下でなければ、一定時間経過した後、ステップＳ１５に戻る。 In step S22, the video signal analyzing unit 3 determines whether or not the distance from the pointer center coordinate P to the pointer center coordinate Pc is equal to or less than the threshold value D. If it is less than or equal to the threshold value D, it is determined that the pointer image 11 is continuously moving, and the process proceeds to step S24. If it is not less than the threshold value D, after a predetermined time has elapsed, the process returns to step S15.
ステップＳ２４では、ポインタ中心座標Ｐｃを用いて、マップ生成部４が、目標輝度マップを生成する。目標輝度マップの生成手順については、図１１に示す方法と同様である。 In step S24, the map generation unit 4 generates a target luminance map using the pointer center coordinates Pc. The procedure for generating the target luminance map is the same as the method shown in FIG.
ステップＳ２５では、バックライト制御部６が、前述と同様にして、目標輝度マップに基づいて、ポインタ強調処理を行う。この結果、ポインタ画像１１が強調して表示される。 In step S25, the backlight control unit 6 performs pointer enhancement processing based on the target luminance map in the same manner as described above. As a result, the pointer image 11 is displayed with emphasis.
ステップＳ２６では、映像信号解析部３が、強調保持追加キーが押されているか否か判断する。強調保持追加キーが押されていれば、ステップＳ２７に進み、ポインタ中心座標Ｐｃを記憶部９の保持領域に追加した後、ステップＳ１９に進む。強調保持追加キーが押されていなければ、ステップＳ２７に進むことなく、ステップＳ１９に進む。 In step S26, the video signal analyzing unit 3 determines whether or not the emphasis holding / addition key has been pressed. If the emphasis holding / addition key has been pressed, the process proceeds to step S27, the pointer center coordinate Pc is added to the holding area of the storage unit 9, and then the process proceeds to step S19. If the emphasis holding / add key has not been pressed, the process proceeds to step S19 without proceeding to step S27.
本フローチャートは、ＰＣ５０の電源がＯＦＦとなるか、またはユーザによって、ポインタ強調モードが無効となるまで継続される。 This flowchart is continued until the power of the PC 50 is turned off or the pointer emphasis mode is disabled by the user.
このような表示処理において、仮に、ポインタ画像１１と同じ絵柄の静止画像を含む画像が表示面７ａに表示されている場合、以下のようなパターンでポインタ画像１１の表示位置を正確に検出することができる。 In such display processing, if an image including a still image having the same pattern as the pointer image 11 is displayed on the display surface 7a, the display position of the pointer image 11 is accurately detected in the following pattern. Can do.
ポインタ画像１１が静止していると、ポインタ画像１１を含む比較対象画像のスコア値と、静止画像を含む比較対象画像のスコア値とは等しくなるので、どちらの画像がポインタ画像１１として検出されるかは、予め設定された定義に基づいて、決定される。本実施形態では、スコア値が等しい場合、表示面７ａの左上に存在する画像が、ポインタ画像１１として検出される。そのため、この時点では、静止画像がポインタ画像１１として検出されるおそれがある。 When the pointer image 11 is stationary, the score value of the comparison target image including the pointer image 11 is equal to the score value of the comparison target image including the still image, and thus which image is detected as the pointer image 11. This is determined based on a preset definition. In the present embodiment, when the score values are equal, an image existing at the upper left of the display surface 7 a is detected as the pointer image 11. Therefore, at this time, there is a possibility that a still image is detected as the pointer image 11.
その後、ポインタ画像１１が移動すると、次のポインタ探索処理で、ポインタ画像１１を含む比較対象画像のスコア値が、静止画像を含む比較対象画像のスコア値を上回るので、ポインタ画像１１の表示位置が正確に検出される。 Thereafter, when the pointer image 11 is moved, in the next pointer search process, the score value of the comparison target image including the pointer image 11 exceeds the score value of the comparison target image including the still image. It is detected accurately.
ポインタ画像１１は移動しつづけ、さらに、前回検出されたポインタ画像１１の表示位置の近くで表示位置が検出されるので、静止画像を含む比較対象画像よりもスコア値が高くなる。 Since the pointer image 11 continues to move, and the display position is detected near the display position of the pointer image 11 detected last time, the score value is higher than that of the comparison target image including the still image.
ポインタ画像１１が静止したとしても、前回検出されたポインタ画像１１の表示位置の近くで表示位置が検出されるので、静止画像を含む比較対象画像よりもスコア値が高くなる。 Even if the pointer image 11 is stationary, the display position is detected near the display position of the pointer image 11 detected last time, so that the score value is higher than that of the comparison target image including the still image.
以上のようにして、ポインタ画像１１の表示位置を正確に検出し続けることができ、ポインタ画像１１を強調して表示し続けることができる。 As described above, the display position of the pointer image 11 can be accurately detected, and the pointer image 11 can be continuously displayed with emphasis.
第１ポインタ探索処理と同時に、ポインタ存在領域１３の輪郭を強調するエッジ強調処理を行ってもよい。また、第２ポインタ探索処理と同時に、エッジ強調処理を行ってもよい。エッジ強調処理は、映像加工部５ａが、目標輝度マップに基づいて、表示面７ａに表示されている画像の輝度を調整することで行う。これによって、表示面７ａにおいて、ポインタ存在領域１３の輪郭がぼやけて表示されることを抑制でき、ポインタ画像１１をより明確に強調させることができる。 Simultaneously with the first pointer search process, an edge emphasis process for emphasizing the outline of the pointer presence area 13 may be performed. Further, the edge enhancement process may be performed simultaneously with the second pointer search process. The edge enhancement process is performed by the video processing unit 5a adjusting the luminance of the image displayed on the display surface 7a based on the target luminance map. Thereby, it is possible to suppress the outline of the pointer presence area 13 from being blurred on the display surface 7a, and to highlight the pointer image 11 more clearly.
また、本実施形態では、表示面７ａにおけるポインタ画像１１の表示位置は、映像信号解析部３によって検出されたが、キーボードなどの入力手段によって、表示面７ａにおけるポインタ画像１１の表示位置が入力され、その入力された表示位置に基づいて、ポインタ強調処理が行われてもよい。 In the present embodiment, the display position of the pointer image 11 on the display surface 7a is detected by the video signal analysis unit 3, but the display position of the pointer image 11 on the display surface 7a is input by an input means such as a keyboard. The pointer emphasis process may be performed based on the input display position.
１ 映像信号入力部
２ 映像信号加工部
３ 映像信号解析部
４ マップ生成部
５ 表示制御部
６ バックライト制御部
７ 表示部
８ バックライト装置
９ 記憶部
５０ ＰＣ
１００ 表示装置
DESCRIPTION OF SYMBOLS 1 Video signal input part 2 Video signal processing part 3 Video signal analysis part 4 Map generation part 5 Display control part 6 Backlight control part 7 Display part 8 Backlight apparatus 9 Memory | storage part 50 PC
100 Display device
Claims (2)
前記表示面における前記ポインタ画像の表示位置を検出する検出手段と、
平面上に複数の発光素子が配置され、前記表示面に背面から光を照射するバックライト装置と、
前記発光素子の輝度を部分的に制御するバックライト制御手段であって、検出手段が検出したポインタ画像の表示位置およびその周辺位置を含むポインタ存在領域に対応する位置にある発光素子の輝度を、当該発光素子以外の発光素子の輝度よりも高くするバックライト制御手段と、
前記ポインタ画像のテンプレートとなるテンプレート画像を記憶する記憶手段とを含み、
前記検出手段は、表示面に表示されている画像と、予め記憶されたテンプレート画像とを比較して、前記表示面におけるポインタ画像の表示位置を検出することを特徴とする表示装置。 A display unit having a display surface for displaying an image and displaying a pointer image superimposed on the displayed image;
Detecting means for detecting a display position of the pointer image on the display surface;
A plurality of light emitting elements are arranged on a plane, and a backlight device that irradiates light from the back to the display surface;
Backlight control means for partially controlling the brightness of the light emitting element, the brightness of the light emitting element at a position corresponding to the pointer presence area including the display position of the pointer image detected by the detection means and its peripheral position, Backlight control means for making the brightness of the light emitting elements other than the light emitting elements higher, and
Storage means for storing a template image serving as a template for the pointer image,
The display device compares the image displayed on the display surface with a template image stored in advance, and detects the display position of the pointer image on the display surface .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012014503A JP5877076B2 (en) | 2012-01-26 | 2012-01-26 | Display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012014503A JP5877076B2 (en) | 2012-01-26 | 2012-01-26 | Display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013156297A JP2013156297A (en) | 2013-08-15 |
| JP5877076B2 true JP5877076B2 (en) | 2016-03-02 |
Family
ID=49051574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012014503A Expired - Fee Related JP5877076B2 (en) | 2012-01-26 | 2012-01-26 | Display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5877076B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6818781B2 (en) * | 2013-06-14 | 2021-01-20 | キヤノン株式会社 | Display device and its control method |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4254573B2 (en) * | 2004-02-27 | 2009-04-15 | 株式会社日立製作所 | Display method and display device |
| JP4661499B2 (en) * | 2005-09-28 | 2011-03-30 | カシオ計算機株式会社 | Presentation control apparatus and presentation system |
| JP4872592B2 (en) * | 2006-01-17 | 2012-02-08 | セイコーエプソン株式会社 | Input / output device, input / output method and program |
| JP2008181198A (en) * | 2007-01-23 | 2008-08-07 | Funai Electric Co Ltd | Image display system |
| JP2011013294A (en) * | 2009-06-30 | 2011-01-20 | Toshiba Corp | Information processing apparatus and luminance control method |
| JP2011096084A (en) * | 2009-10-30 | 2011-05-12 | Toshiba Corp | Display apparatus |
| JP2011118499A (en) * | 2009-12-01 | 2011-06-16 | Nec Corp | Device and method for adjusting pointer position, and computer switching device |
-
2012
- 2012-01-26 JP JP2012014503A patent/JP5877076B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013156297A (en) | 2013-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9123285B2 (en) | Transparent display device and transparency adjustment method thereof | |
| US20100107118A1 (en) | Aspect ratio hinting for resizable video windows | |
| JP6642994B2 (en) | Display device and control method thereof | |
| US9939943B2 (en) | Display apparatus, display system, and display method | |
| US11175874B2 (en) | Image display method | |
| JP6242092B2 (en) | Display device, display device control method, and program | |
| WO2018010440A1 (en) | Projection picture adjusting method and apparatus, and projection terminal | |
| TWI418976B (en) | Display power saving method and electronic system | |
| JP6146350B2 (en) | Information processing apparatus and computer program | |
| JP2017182109A (en) | Display system, information processing device, projector, and information processing method | |
| JP2018010497A (en) | Image processing apparatus | |
| JP5877076B2 (en) | Display device | |
| JP6157971B2 (en) | Desk display device | |
| US20150138167A1 (en) | Method for reducing a light intensity of a projection device | |
| JP2007219217A (en) | Projector, program, and information storage medium | |
| US20150286400A1 (en) | Information processing apparatus, control method, and storage medium | |
| JP2015222297A (en) | Image display device and control method thereof | |
| US10310668B2 (en) | Touch screen display system and a method for controlling a touch screen display system | |
| JP6353125B2 (en) | Display device, display method, and program | |
| KR101765202B1 (en) | When a portion outside the screen is touched, an electronic blackboard | |
| JP6161241B2 (en) | Desk display device | |
| JP6818959B1 (en) | display | |
| US20150286399A1 (en) | Information processing apparatus, control method, and storage medium | |
| JP2009231856A (en) | Display device | |
| US20160320897A1 (en) | Interactive display system, image capturing apparatus, interactive display method, and image capturing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140918 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160125 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5877076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |