JP2012165419A - Image output device - Google Patents

Image output device Download PDF

Info

Publication number
JP2012165419A
JP2012165419A JP2012072765A JP2012072765A JP2012165419A JP 2012165419 A JP2012165419 A JP 2012165419A JP 2012072765 A JP2012072765 A JP 2012072765A JP 2012072765 A JP2012072765 A JP 2012072765A JP 2012165419 A JP2012165419 A JP 2012165419A
Authority
JP
Japan
Prior art keywords
image
color
histogram
image output
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012072765A
Other languages
Japanese (ja)
Other versions
JP5704103B2 (en
Inventor
Masahiro Mita
真大 三田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012072765A priority Critical patent/JP5704103B2/en
Publication of JP2012165419A publication Critical patent/JP2012165419A/en
Application granted granted Critical
Publication of JP5704103B2 publication Critical patent/JP5704103B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

PROBLEM TO BE SOLVED: To change color scheme of an image and output an eye-friendly image.SOLUTION: An image output device is a projection apparatus 100 that projects a predetermined image from a projection lens 12 based on the input image data that is output from an external device. The image output device includes a controller 39 that performs differential calculation based on the image data, extracts the contour of the image, divides the image into predetermined areas by the contour, and changes color scheme of each area so that color difference between adjacent areas becomes a predetermined value or larger. The image output device projects a corrected image whose color scheme has changed from the projection lens 12.

Description

本発明は、複数色で配色された対象画像を出力する画像出力装置に関する。   The present invention relates to an image output apparatus that outputs a target image arranged in a plurality of colors.

画像を見やすい色に変換して投影する投影装置が提案されている(例えば、特許文献1参照)。また、画像の色の濃淡を反転することにより、画像をより見やすいようにする技術も開発されている(例えば、特許文献2参照)。   A projection device that converts an image into an easy-to-view color and projects it has been proposed (see, for example, Patent Document 1). In addition, a technique for making an image easier to see by reversing the color density of the image has been developed (see, for example, Patent Document 2).

特開2005−236650号公報JP 2005-236650 A 特開平10−23446号公報Japanese Patent Laid-Open No. 10-23446

しかしながら、上記特許文献1や特許文献2等の場合、画像の配色そのものを変えるようなものではなく、元々の画像データが、例えば、背景と文字とが類似色で構成されているために見難い画像となっている場合には、十分に対応することができないといった問題がある。   However, in the case of Patent Document 1 and Patent Document 2 described above, it is difficult to see the original image data because the background and characters are composed of similar colors, for example, rather than changing the color scheme of the image itself. In the case of an image, there is a problem that it is not possible to cope with it sufficiently.

本発明の課題は、画像の配色を変更することができ、より見やすい画像に再配色して出力できるようにすることである。   An object of the present invention is to change the color scheme of an image so that the image can be re-colored and output in an easier-to-view image.

請求項1は、複数色で配色された対象画像を白黒画像に変換する変換手段と、この変換手段で変換された前記白黒画像に基づいて前記対象画像の濃度ヒストグラムを作成するヒストグラム作成手段と、このヒストグラム作成手段で作成された濃度ヒストグラムに基づいて前記対象画像を再配色する再配色手段と、再配色された画像を出力する画像出力手段と、を具備したことを特徴とする。   According to a first aspect of the present invention, a conversion unit that converts a target image arranged in a plurality of colors into a black and white image, a histogram generation unit that generates a density histogram of the target image based on the black and white image converted by the conversion unit, The image processing apparatus includes: a re-coloring unit that re-colors the target image based on the density histogram created by the histogram creating unit; and an image output unit that outputs the re-colored image.

本発明によれば、画像の配色を変更することができ、より見やすい画像に再配色して出力することができるようにすることである。   According to the present invention, it is possible to change the color scheme of an image so that the image can be re-colored and output in a more easily viewable image.

本発明を適用した好適な一実施形態の投影装置の外観構成を示す斜視図である。It is a perspective view which shows the external appearance structure of the projection apparatus of suitable one Embodiment to which this invention is applied. 図1の投影装置の要部構成を模式的に示した図である。It is the figure which showed typically the principal part structure of the projection apparatus of FIG. 図1の投影装置による画像投影処理に係る投影画像を説明するための図である。It is a figure for demonstrating the projection image which concerns on the image projection process by the projector of FIG. 図3の画像投影処理に係る動作の一例を示すフローチャートである。4 is a flowchart showing an example of an operation related to the image projection processing of FIG. 3. 投影装置の変形例による画像投影処理に係る濃度ヒストグラムを模式的に示した図である。It is the figure which showed typically the density histogram which concerns on the image projection process by the modification of a projector. 図5の画像投影処理に係る動作の一例を示すフローチャートである。6 is a flowchart illustrating an example of an operation related to the image projection processing of FIG. 5.

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。   Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.

本実施形態の投影装置は、投影手段から投影される画像の輪郭を抽出して当該輪郭により投影画像を所定の領域に区分し、各領域を隣接領域と類似色とならないように配色を変更する配色変更処理を行って、当該配色変更された画像を投影するものである。   The projection apparatus according to the present embodiment extracts the contour of the image projected from the projection unit, divides the projected image into predetermined regions based on the contour, and changes the color scheme so that each region does not have a similar color to the adjacent region. A color arrangement change process is performed to project the color-changed image.

図1(a)は、投影装置100を上面側から見て示した外観構成を示す斜視図であり、図1(b)は、投影装置100を底面側から見て示した外観構成を示す斜視図である。
投影装置100は、例えば、プロジェクタ等から構成され、外部機器(図示略)から出力され入力された静止画像や動画像に係る所定の画像データ(RGB画像データ)に基づいて、所定の画像をスクリーンS(図3参照)に投影するものである。
FIG. 1A is a perspective view showing an external configuration of the projection device 100 viewed from the top surface side, and FIG. 1B is a perspective view of the external configuration of the projection device 100 viewed from the bottom surface side. FIG.
The projection device 100 is composed of, for example, a projector, and displays a predetermined image on a screen based on predetermined image data (RGB image data) related to a still image or a moving image output and input from an external device (not shown). It is projected onto S (see FIG. 3).

具体的には、例えば、図1(a)に示すように、投影装置100は、直方体状の本体ケーシング11の前面に投影レンズ12、二組の測距レンズ13a、13bと13c、13d及びIr受信部14等が配設されている。   Specifically, for example, as shown in FIG. 1A, the projection apparatus 100 includes a projection lens 12 and two distance measuring lenses 13a, 13b and 13c, 13d and Ir on the front surface of a rectangular parallelepiped main body casing 11. A receiving unit 14 and the like are provided.

投影レンズ12は、例えば、マイクロミラー素子等の空間的光変調素子36(後述)で形成された光像を投射するためのものである。また、投影レンズ12は、例えば、合焦位置及びズーム位置(投射画角)を任意に変更することができるようになっている。   The projection lens 12 is for projecting a light image formed by a spatial light modulation element 36 (described later) such as a micromirror element, for example. Further, the projection lens 12 can arbitrarily change the in-focus position and the zoom position (projection angle of view), for example.

測距レンズ13a、13b、13c、13dは、例えば、それぞれ後述する位相差センサ131、132の一部を構成するものであり、被写体像に対するこれら両レンズでの視差から三角測距の原理に基づいて被写体までの距離、具体的にはスクリーンSまでの距離を測定するものである(詳細後述)。   The distance measuring lenses 13a, 13b, 13c, and 13d constitute, for example, part of phase difference sensors 131 and 132, which will be described later, respectively, and are based on the principle of triangulation from the parallax between these two lenses with respect to the subject image. The distance to the subject, specifically, the distance to the screen S is measured (details will be described later).

具体的には、縦に配置された一組の測距レンズ13a、13bで縦方向の被写体までの距離を測定し、横方向に配置されたもう一組の測距レンズ13c、13dで横方向の被写体までの距離を測定するようになっている。   Specifically, the distance to the subject in the vertical direction is measured with a pair of distance measuring lenses 13a and 13b arranged in the vertical direction, and the distance in the horizontal direction is measured with another distance measuring lens 13c and 13d arranged in the horizontal direction. The distance to the subject is measured.

Ir受信部14は、例えば、リモートコントローラから送信されるキー操作信号が重畳された赤外光を受信するものである。   For example, the Ir receiver 14 receives infrared light on which a key operation signal transmitted from a remote controller is superimposed.

また、本体ケーシング11の上面には、例えば、本体メインキー/インジケータ15、スピーカ16及びカバー17等が配設されている。   Further, on the upper surface of the main body casing 11, for example, a main body main key / indicator 15, a speaker 16, a cover 17, and the like are disposed.

本体メインキー/インジケータ15は、例えば、電源キー、数字キー、文字キー及び各種機能キーなどによって構成され、電源ON/OFF、合焦処理開始指示、台形補正開始指示、入力切替指示、配色変更指示など、投影装置100に対する操作指示を受け付けるものである。   The main body main key / indicator 15 includes, for example, a power key, a numeric key, a character key, and various function keys. The power ON / OFF, a focusing process start instruction, a keystone correction start instruction, an input switching instruction, and a color change instruction For example, an operation instruction to the projection apparatus 100 is received.

スピーカ16は、例えば、動画再生時等の音声を拡声出力するものである。
カバー17は、例えば、本体サブキー(図示略)を操作する際に開閉するものである。なお、本体サブキーは、例えば、投影装置100のリモートコントローラ(図示略)を使用せずに、上記本体メインキー/インジケータ15のキーのみでは設定指示できない、例えば水平/垂直位置・輝度・色彩調整などの画面調整といった各種動作を操作するものである。
The speaker 16 outputs, for example, a sound when reproducing a moving image.
The cover 17 opens and closes, for example, when operating a main body subkey (not shown). Note that the main body subkey cannot be instructed to set by using only the main body main key / indicator 15 key without using the remote controller (not shown) of the projection apparatus 100, for example, horizontal / vertical position, luminance, color adjustment, etc. It operates various operations such as screen adjustment.

さらに、本体ケーシング11の背面には、例えば、図1(b)に示すように、入出力コネクタ部18、Ir受信部19及びACアダプタ接続部20等が配設されている。   Further, for example, as shown in FIG. 1B, an input / output connector portion 18, an Ir receiving portion 19, an AC adapter connecting portion 20, and the like are disposed on the back surface of the main body casing 11.

入出力コネクタ部18は、例えば、接続ケーブル(図示略)を介して外部機器との間で画像や音声データの入出力を行うためのUSB端子、映像入力用のミニD−SUB端子、S端子及びRCA端子と、音声入力用のステレオミニ端子等から構成される。   The input / output connector unit 18 includes, for example, a USB terminal for inputting / outputting image and audio data to / from an external device via a connection cable (not shown), a mini-D-SUB terminal for video input, and an S terminal. And an RCA terminal and a stereo mini terminal for voice input.

Ir受信部19は、例えば、Ir受信部14と略同様に、リモートコントローラから送信されるキー操作信号が重畳された赤外光を受信するものである。
ACアダプタ接続部20は、例えば、電源となるACアダプタ(図示略)からのケーブルを接続するものである。
For example, the Ir receiving unit 19 receives infrared light on which a key operation signal transmitted from the remote controller is superimposed, in substantially the same manner as the Ir receiving unit 14.
The AC adapter connection unit 20 connects, for example, a cable from an AC adapter (not shown) serving as a power source.

加えて、本体ケーシング11の下面には、例えば、背面側に一対の固定脚部21、21が取り付けられると共に、前面側に高さ調節が可能な調整脚部22が取り付けられるようになっている。
調整脚部22は、例えば、ねじ回転位置を手動で操作することにより、正確には投影レンズ12の投射方向の鉛直方向成分、すなわち仰角を調整するものである。
In addition, on the lower surface of the main body casing 11, for example, a pair of fixed leg portions 21, 21 are attached to the rear side, and an adjustment leg portion 22 capable of height adjustment is attached to the front side. .
The adjustment leg 22 adjusts the vertical component of the projection direction of the projection lens 12, that is, the elevation angle, by manipulating the screw rotation position manually, for example.

次に、投影装置100の電子回路の機能構成について、図2を参照して説明する。
図2は、投影装置100の要部構成を模式的に示した図である。
図2に示すように、投影装置100は、外部機器から出力され入出力コネクタ部18を介して入力された各種規格の画像データが、入出力I/F31、システムバスSBを介して画像変換部32で所定のフォーマットの画像データに統一された後に、画像記憶部40に送られる。
Next, the functional configuration of the electronic circuit of the projection apparatus 100 will be described with reference to FIG.
FIG. 2 is a diagram schematically showing a main configuration of the projection apparatus 100. As shown in FIG.
As shown in FIG. 2, the projection apparatus 100 has image data of various standards output from an external device and input via the input / output connector unit 18, as an image conversion unit via the input / output I / F 31 and the system bus SB. After being unified into image data of a predetermined format at 32, it is sent to the image storage unit 40.

画像記憶部40は、例えば、フラッシュメモリ等から構成され、画像変換部32から順次送られてくる所定量の画像データを一時的に記憶するものである。
そして、画像記憶部40に記憶されている画像データは、制御部39の制御下にて、順次読み出されて、表示エンコーダ33に対して送られるようになっている。
The image storage unit 40 is composed of, for example, a flash memory or the like, and temporarily stores a predetermined amount of image data sequentially sent from the image conversion unit 32.
The image data stored in the image storage unit 40 is sequentially read out and sent to the display encoder 33 under the control of the control unit 39.

なお、画像記憶部40は、制御部39で実行される各種動作プログラムの実行時に一時的にデータを格納する構成であってもよい。   Note that the image storage unit 40 may be configured to temporarily store data when various operation programs executed by the control unit 39 are executed.

表示エンコーダ33は、例えば、画像記憶部40から読み出されて入力された画像データをビデオRAM34に展開記憶させた上で、このビデオRAM34の記憶内容からビデオ信号を発生して表示駆動部35に出力するものである。   For example, the display encoder 33 develops and stores the image data read and input from the image storage unit 40 in the video RAM 34, generates a video signal from the stored contents of the video RAM 34, and supplies the video signal to the display drive unit 35. Output.

表示駆動部35は、送られてきた画像データに対応して適宜フレームレート、例えば30[フレーム/秒]で空間的光変調素子(SOM)36を表示駆動するものである。そして、空間的光変調素子36に対して、例えば超高圧水銀灯等の光源ランプ37が出射する高輝度の白色光が照射されることで、その反射光で光像が形成され、上記投影レンズ12を介してスクリーンSに投射表示されるようになっている。
このように、表示駆動部35、空間的光変調素子36、光源ランプ37及び投影レンズ12は、画像記憶部40に記憶される複数の画像データに基づいて、当該画像データに応じた画像をスクリーンSに投影する投影手段を構成している。
The display driving unit 35 drives the spatial light modulation element (SOM) 36 at an appropriate frame rate, for example, 30 [frame / second] corresponding to the transmitted image data. The spatial light modulator 36 is irradiated with high-intensity white light emitted from a light source lamp 37 such as an ultra-high pressure mercury lamp, so that an optical image is formed by the reflected light, and the projection lens 12 Is projected and displayed on the screen S.
As described above, the display drive unit 35, the spatial light modulation element 36, the light source lamp 37, and the projection lens 12 display an image corresponding to the image data on the screen based on the plurality of image data stored in the image storage unit 40. Projection means for projecting onto S is constructed.

投影レンズ12は、例えば、レンズモータ38により駆動されることでズーム位置及びフォーカス位置を適宜変更することができるようになっている。   For example, the projection lens 12 is driven by a lens motor 38 so that the zoom position and the focus position can be appropriately changed.

音声処理部41は、例えば、PCM(Pulse Code Modulation)音源などの音源回路を備え、投射表示動作時に与えられる音声データをアナログ化し、上記スピーカ16を駆動して拡声放音させるものである。
加速度センサ42は、例えば、投影装置100が設置されている状態から移動された場合に、その振動を検知して制御部39に対して出力するものである。
The sound processing unit 41 includes a sound source circuit such as a PCM (Pulse Code Modulation) sound source, for example, converts the sound data given at the time of the projection display operation into analog, and drives the speaker 16 to emit loud sound.
For example, when the acceleration sensor 42 is moved from a state where the projection apparatus 100 is installed, the acceleration sensor 42 detects the vibration and outputs the vibration to the control unit 39.

測距処理部43は、例えば、測距レンズ13a、13bを有する位相差センサ131及び測距レンズ13c、13dを有する位相差センサ132をそれぞれ駆動して、スクリーンS上に投射表示された所定画像までの距離を外光三角方式と呼ばれる測距の原理に従って測定するものである。
位相差センサ131は、画面中央から垂直方向における複数の測距点との距離を測定するセンサである。また、位相差センサ132は、画面中央から水平方向における複数の測距点との距離を測定するセンサである。
The distance measurement processing unit 43 drives, for example, a phase difference sensor 131 having distance measurement lenses 13a and 13b and a phase difference sensor 132 having distance measurement lenses 13c and 13d, respectively, and predetermined images projected and displayed on the screen S. Is measured according to the principle of distance measurement called the external light triangle method.
The phase difference sensor 131 is a sensor that measures the distance from a plurality of distance measuring points in the vertical direction from the center of the screen. The phase difference sensor 132 is a sensor that measures the distance from a plurality of distance measuring points in the horizontal direction from the center of the screen.

キー/インジケータ部45は、上記本体メインキー/インジケータ15とカバー17内に備えられる本体サブキー等により構成され、ユーザによる所定操作に基づいて出力されたキー操作信号が直接制御部39に入力されるようになっている。
なお、Ir受信部14及びIr受信部19にて受信された赤外光受信信号も、直接制御部39に入力されるようになっている。
The key / indicator unit 45 includes the main unit main key / indicator 15 and a main unit subkey provided in the cover 17. A key operation signal output based on a predetermined operation by the user is directly input to the control unit 39. It is like that.
Note that the infrared light reception signals received by the Ir receiver 14 and the Ir receiver 19 are also directly input to the controller 39.

制御部39は、各回路のすべての動作制御を司るものであり、例えば、CPU(Central Processing Unit)と、CPUで実行される動作プログラムを固定的に記憶したROM(Read Only Memory)と、ワークメモリとして使用されるRAM(Random Access Memory)等により構成されている。   The control unit 39 controls all operations of each circuit. For example, a CPU (Central Processing Unit), a ROM (Read Only Memory) in which an operation program executed by the CPU is fixedly stored, a work piece, and the like. A RAM (Random Access Memory) used as a memory is used.

ROMには、例えば、領域区分プログラム、境界重畳プログラム、配色変更プログラム等(何れも図示略)が記憶されている。   In the ROM, for example, an area classification program, a boundary superimposition program, a color arrangement change program, and the like (all not shown) are stored.

領域区分プログラムは、CPUを領域区分手段として機能させるものである。即ち、領域区分プログラムは、画像記憶部40に記憶された画像データに基づいて、画像G1の輪郭部分を抽出してこの輪郭部分により当該画像を所定の領域Rに区分する領域区分処理に係る機能をCPUに実現させるためのプログラムである。具体的には、領域区分プログラムは、CPUによって、画像データに基づいて1次微分(グラディエント)や2次微分(ラプラシアン)等の微分演算を行って、画像G1の濃度や色に急激な変化があるところを当該画像G1中の各種物体の外縁を表す線(輪郭)として抽出するためのものである。
例えば、画像G1の円グラフと背景との境界部分、当該円グラフを構成する各要素(扇状部分)どうしの境界部分等を境界として取得するようになっている(図3(a)参照)。
これにより、画像G1の輪郭抽出を微分演算によって適正に行うことができ、より魅力的な投影装置100を提供することができる。
The area classification program causes the CPU to function as area classification means. That is, the area classification program extracts a contour portion of the image G1 based on the image data stored in the image storage unit 40, and performs a function related to a region classification process for dividing the image into a predetermined region R by the contour portion. Is a program for causing the CPU to realize the above. Specifically, the region classification program performs a differential operation such as a first derivative (gradient) or a second derivative (Laplacian) on the basis of image data by the CPU, and abrupt changes occur in the density and color of the image G1. This is for extracting a certain point as a line (outline) representing the outer edge of various objects in the image G1.
For example, the boundary part between the pie chart and the background of the image G1, the boundary part between the elements (fan-like parts) constituting the pie chart, and the like are obtained as boundaries (see FIG. 3A).
Thereby, the contour extraction of the image G1 can be appropriately performed by differential calculation, and the more attractive projection device 100 can be provided.

境界重畳プログラムは、CPUを境界重畳手段として機能させるものである。即ち、境界重畳プログラムは、画像の隣接する領域Rどうしの境界に、当該領域Rの色と類似しない色で境界線Lを重畳する境界重畳処理に係る機能をCPUに実現させるためのプログラムである。具体的には、境界重畳プログラムは、領域区分処理にて抽出された輪郭により太い実線からなる境界線L(図3(b)参照)を重畳するように画像データを編集するようになっている。
これにより、隣接する領域Rどうしの境界を境界線Lによってより強調させることができ、より見やすい画像とすることができる。
The boundary superimposing program causes the CPU to function as boundary superimposing means. That is, the boundary superimposing program is a program for causing the CPU to realize a function related to the boundary superimposing process for superimposing the boundary line L on the boundary between adjacent regions R of the image with a color not similar to the color of the region R. . Specifically, the boundary superimposing program edits the image data so as to superimpose a border line L (see FIG. 3B) formed of a thick solid line by the contour extracted in the region segmentation process. .
Thereby, the boundary of adjacent area | region R can be emphasized more by the boundary line L, and it can be set as a more legible image.

配色変更プログラムは、CPUを配色変更手段として機能させるものである。即ち、配色変更プログラムは、領域区分処理にて区分された領域R毎に、当該領域Rに隣接する領域Rの色と類似しないように配色を変更する配色変更処理に係る機能をCPUに実現させるためのプログラムである。具体的には、配色変更プログラムは、CPUによって、RGB画像データに基づいて当該画像G2を構成する隣接する領域Rどうしの色差が所定値以上となるように配色を変更するためのものである(図3(b)参照)。
これにより、画像G2の隣接する領域Rどうしに類似色が近接しないように配色することができ、各領域Rと隣接する領域Rとの識別を容易なものとすることができる。
The color arrangement changing program causes the CPU to function as color arrangement changing means. That is, the color arrangement changing program causes the CPU to realize a function related to the color arrangement changing process for changing the color arrangement so as not to be similar to the color of the area R adjacent to the area R for each area R divided by the area dividing process. It is a program for. Specifically, the color arrangement changing program is for the CPU to change the color arrangement so that the color difference between adjacent regions R constituting the image G2 becomes a predetermined value or more based on the RGB image data ( (Refer FIG.3 (b)).
Thereby, it is possible to arrange colors so that similar colors do not come close to each other adjacent regions R of the image G2, and it is possible to easily distinguish each region R from the adjacent region R.

また、配色変更処理は、隣接する領域Rどうしの色と当該領域Rどうしを区切る境界線Lの色とが類似しないように配色を変更するのが好ましい。これにより、境界線Lの強調をより効果的に行うことができ、より見やすい画像を投影することができる。   In the color change process, it is preferable to change the color arrangement so that the colors of the adjacent regions R do not resemble the color of the boundary line L that separates the regions R. Thereby, the boundary line L can be emphasized more effectively, and a more easily viewable image can be projected.

なお、配色される色としては、例えば、RGBCMYWKといった、はっきりと識別可能で隣接領域Rとの色差が大きくなる色を選択しても良いし、色差があまりにも大きいと、ギラギラした画像となってしまい、かえって見難い場合には、それを考慮して色差が所定の値以上であり、且つ、特定の値未満となるような色を選択するようにしても良い。これにより、画像の各領域Rの識別性を十分に確保した上で、より見やすい投影画像とすることができる。   As a color to be arranged, for example, a color that can be clearly identified and has a large color difference from the adjacent region R, such as RGBCMYWK, may be selected. In other words, if it is difficult to see, it is possible to select a color in which the color difference is equal to or greater than a predetermined value and less than a specific value in consideration thereof. Thereby, it is possible to obtain a projection image that is easier to see while sufficiently ensuring the distinguishability of each region R of the image.

次に、投影装置100による画像投影処理について図4を参照して説明する。
図4は、画像投影処理に係る動作の一例を示すフローチャートである。
Next, image projection processing by the projection apparatus 100 will be described with reference to FIG.
FIG. 4 is a flowchart illustrating an example of an operation related to the image projection processing.

図4に示すように、先ず、入出力コネクタ部18を介して外部機器から出力された画像データが投影装置100に入力されると、CPUの制御下にて、当該画像データが画像記憶部40に一時的に記憶される(ステップS1)。
そして、画像記憶部40に所定量の画像データが記憶されると、CPUの制御下にて、画像記憶部40に記憶されている画像データの中で古い画像データから順次読み出され、当該画像データに応じた画像G1が投影レンズ12からスクリーンSに対して投影される(ステップS2)。
As shown in FIG. 4, first, when image data output from an external device is input to the projection apparatus 100 via the input / output connector unit 18, the image data is stored in the image storage unit 40 under the control of the CPU. Is temporarily stored (step S1).
When a predetermined amount of image data is stored in the image storage unit 40, the image data stored in the image storage unit 40 are sequentially read out from the old image data under the control of the CPU. An image G1 corresponding to the data is projected from the projection lens 12 onto the screen S (step S2).

このとき、ユーザによって投影画像G1が見難いと判断されて、配色変更処理の実行を指示する所定ボタンが押下されると(ステップS3;YES)、制御部39は、領域区分処理を実行する。即ち、制御部39のCPUは、ROMから領域区分プログラムを読み出してRAMに展開し、この領域区分プログラムを実行して、投影画像G1の画像データに基づいて微分演算を行って当該画像G1の輪郭を抽出し、この輪郭により画像G1を所定の領域Rに区分する(ステップS4)。   At this time, when it is determined by the user that the projected image G1 is difficult to see and a predetermined button for instructing execution of the color change process is pressed (step S3; YES), the control unit 39 executes the area division process. That is, the CPU of the control unit 39 reads out the area division program from the ROM and develops it in the RAM, executes the area division program, performs a differential operation based on the image data of the projection image G1, and performs an outline of the image G1. Is extracted, and the image G1 is divided into predetermined regions R based on the contours (step S4).

続けて、制御部39は、境界重畳処理を実行する。即ち、制御部39のCPUは、ROMから境界重畳プログラムを読み出してRAMに展開し、この境界重畳プログラムを実行して、隣接する領域Rどうしの境界に投影画像G1(図3(a)参照)におけるものよりも太い境界線Lを重畳する(ステップS5)。   Subsequently, the control unit 39 executes boundary superimposition processing. That is, the CPU of the control unit 39 reads the boundary superimposition program from the ROM, expands it in the RAM, executes this boundary superimposition program, and projects the projection image G1 on the boundary between adjacent regions R (see FIG. 3A). A border line L that is thicker than the one at is superimposed (step S5).

次に、制御部39は、配色変更処理を実行する。即ち、制御部39のCPUは、ROMから配色変更プログラムを読み出してRAMに展開し、この配色変更プログラムを実行して、領域区分処理にて区分された隣接する領域Rどうしの色と当該領域Rどうしを区切る境界線Lの色とが類似しないように配色を変更する(ステップS6)。
その後、制御部39の制御下にて、配色が変更された画像データに係る修正画像G2(図3(b)参照)を投影レンズ12からスクリーンSに対して投影させる(ステップS7)。
Next, the control unit 39 executes a color arrangement changing process. That is, the CPU of the control unit 39 reads the color arrangement change program from the ROM, develops it in the RAM, executes this color arrangement change program, and executes the color arrangement change program to determine the color of the adjacent areas R divided by the area division process and the area R. The color scheme is changed so that the color of the boundary line L separating the two is not similar (step S6).
Thereafter, under the control of the control unit 39, the modified image G2 (see FIG. 3B) related to the image data whose color scheme has been changed is projected from the projection lens 12 onto the screen S (step S7).

以上のように、本実施形態の投影装置100によれば、画像G1の輪郭を微分演算によって適正に抽出してこの輪郭により当該画像G1を所定の領域Rに区分することができ、隣接する領域Rどうしの色差が所定値以上となるように領域R毎に配色を変更することができる。これによって、隣接する領域Rどうしに類似色が近接しないように配色することができることとなって、各領域Rと隣接領域Rとの識別を容易なものとすることができ、より見やすい画像G2を投影することができる。   As described above, according to the projection device 100 of the present embodiment, the contour of the image G1 can be appropriately extracted by the differential operation, and the image G1 can be divided into the predetermined region R by this contour, and the adjacent regions The color scheme can be changed for each region R so that the color difference between R is equal to or greater than a predetermined value. As a result, it is possible to arrange the colors so that the similar colors do not come close to each other between the adjacent regions R, so that each region R and the adjacent region R can be easily identified, and a more easily viewable image G2 can be obtained. Can be projected.

また、画像G1の隣接する領域Rどうしの境界に当該領域Rの色と類似しない色で境界線Lを重畳することができ、当該境界線Lによって隣接する領域Rどうしの境界をより強調させることができることとなって、より見やすい画像とすることができる。   Further, the boundary line L can be superimposed on the boundary between the adjacent regions R of the image G1 with a color that is not similar to the color of the region R, and the boundary between the adjacent regions R is more emphasized by the boundary line L. As a result, the image can be made easier to see.

なお、上記実施形態にあっては、隣接領域Rどうしの境界に境界線Lを重畳する境界重畳処理を行うようにしたが、これに限られるものではなく、境界重畳処理を行うか否かは適宜変更することができる。   In the above embodiment, the boundary superimposing process for superimposing the boundary line L on the boundary between the adjacent regions R is performed. However, the present invention is not limited to this, and whether or not the boundary superimposing process is performed is determined. It can be changed as appropriate.

また、上記実施形態における輪郭抽出にあっては、制御部39の制御下にて、画像データの微分演算のみに基づいて行うようにしたが、これに限られるものではなく、例えば、微分演算による輪郭抽出後に、当該輪郭により区分された隣接領域Rどうしの色差を算出して、当該色差に基づいて輪郭を確認するようにしても良い。これによって、より適正な輪郭を抽出することができることとなって、より魅力的な投影装置100を提供することができる。   In the contour extraction in the above embodiment, the control is performed based only on the differential calculation of the image data under the control of the control unit 39. However, the present invention is not limited to this. After the contour extraction, the color difference between the adjacent regions R divided by the contour may be calculated, and the contour may be confirmed based on the color difference. As a result, a more appropriate contour can be extracted, and a more attractive projection device 100 can be provided.

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、領域区分処理にて、CPUによる領域区分プログラムの実行に基づいて、1次微分(グラディエント)や2次微分(ラプラシアン)等の微分演算を行って画像の輪郭を抽出するようにしたが、これに限られるものではない。
以下に、領域区分処理の変形例について説明する。
The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, in the above-described embodiment, in the area classification process, based on the execution of the area classification program by the CPU, the image contour is extracted by performing a differential operation such as a primary differentiation (gradient) or a secondary differentiation (Laplacian). However, it is not limited to this.
Below, the modification of an area | region division process is demonstrated.

<変形例1>
変形例1の投影装置にあっては、例えば、制御部39の制御下にて、投影画像の画像データに基づいてテンプレートマッチングを行って当該画像の輪郭を抽出するようにしても良い。具体的には、例えば、画像の輪郭を表す所定の標準パターン(図示略)を画像記憶部40等に記憶(用意)しておき、制御部39が当該パターンと画像の一部とを比較して、類似する画像の一部を輪郭部分として判定するようになっている。
変形例1によれば、画像の輪郭抽出をテンプレートマッチングによって適正に行うことができ、より魅力的な投影装置を提供することができる。
<Modification 1>
In the projection apparatus of Modification 1, for example, under the control of the control unit 39, template matching may be performed based on the image data of the projection image to extract the contour of the image. Specifically, for example, a predetermined standard pattern (not shown) representing the contour of the image is stored (prepared) in the image storage unit 40 or the like, and the control unit 39 compares the pattern with a part of the image. Thus, a part of a similar image is determined as a contour part.
According to the first modification, the contour extraction of the image can be appropriately performed by template matching, and a more attractive projection device can be provided.

<変形例2>
変形例2の投影装置にあっては、制御部39の制御下にて、投影画像の画像データに基づいて当該画像G1の濃度ヒストグラムH(図5参照)を作成し、この濃度ヒストグラムHの濃度値に基づいて領域Rに区分するようにしても良い。
即ち、制御部39の制御下にて、投影画像G1を白黒画像に変換した後、当該画像の濃度分布を取得して、この濃度分布に基づいて横軸を濃度値とし、縦軸を画素数とする濃度ヒストグラムHを作成する。そして、制御部39は、濃度ヒストグラムHから濃度値のピーク(例えば、図5(a)におけるピークA、B、C)、即ち、画像の主要な構成部分となり易いピークの前後の濃度値からなる部分を一つの領域Rとして取得した後、これらピーク部分以外(例えば、図5(b)における濃度値レベル1〜4、6〜10、12〜13、15〜16に相当する部分)を所定の閾値に従って所定の濃度値の幅で分ける。続けて、制御部39は、当該濃度ヒストグラムHの分けられた濃度値に基づいて、画像を複数の小領域Rに区分するようになっている。
なお、濃度ヒストグラムHから抽出されたピークであっても、所定の閾値よりもあまりにも小さいものは省くようにしても良い。
<Modification 2>
In the projection apparatus of the second modification, under the control of the control unit 39, a density histogram H (see FIG. 5) of the image G1 is created based on the image data of the projection image, and the density of the density histogram H You may make it classify | categorize into the area | region R based on a value.
That is, under the control of the control unit 39, after converting the projection image G1 into a black and white image, the density distribution of the image is acquired, the horizontal axis is the density value based on this density distribution, and the vertical axis is the number of pixels. A density histogram H is created. Then, the control unit 39 includes density values from the density histogram H (for example, peaks A, B, and C in FIG. 5A), that is, density values before and after the peak that tends to be a main component of the image. After acquiring the portion as one region R, the portions other than these peak portions (for example, portions corresponding to the density value levels 1 to 4, 6 to 10, 12 to 13, and 15 to 16 in FIG. 5B) are predetermined. Divide by a predetermined density value width according to the threshold. Subsequently, the control unit 39 divides the image into a plurality of small regions R based on the divided density values of the density histogram H.
Note that even peaks extracted from the density histogram H may be omitted if they are too small than the predetermined threshold.

以下に、この変形例2の投影装置による画像投影処理について図6を参照して説明する。
なお、図6の画像投影処理のうち、上記実施形態の画像投影処理(図4参照)におけるものと同じ処理については、その説明を簡略化するものとする。
Hereinafter, image projection processing by the projection apparatus according to the second modification will be described with reference to FIG.
Note that, in the image projection processing of FIG. 6, the description of the same processing as that in the image projection processing (see FIG. 4) of the above embodiment is simplified.

図6に示すように、先ず、上記実施形態の画像投影処理のステップS1〜ステップS3とほぼ同様の処理が行われ、ユーザによって、配色変更処理の実行を指示する所定ボタンが押下されると(ステップS3;YES)、制御部39は、領域区分処理を実行する。即ち、制御部39のCPUは、ROMから領域区分プログラムを読み出してRAMに展開し、この領域区分プログラムを実行して、投影画像G1の画像データに基づいて当該画像を白黒画像に変換した後(ステップS24)、濃度ヒストグラムHを作成する(ステップS25)。続けて、制御部39は、濃度ヒストグラムHから所定数のピーク部分を取得し、ピーク部分以外を所定の濃度値の幅で分けて、当該濃度値に基づいて画像G1を複数の小領域Rに区分する(ステップS26)。   As shown in FIG. 6, first, almost the same processing as Step S <b> 1 to Step S <b> 3 of the image projection processing of the above embodiment is performed, and when a user presses a predetermined button for instructing execution of the color change processing ( Step S3; YES), the control unit 39 executes an area division process. That is, the CPU of the control unit 39 reads the area division program from the ROM, expands it in the RAM, executes the area division program, converts the image into a black and white image based on the image data of the projection image G1 ( Step S24), a density histogram H is created (Step S25). Subsequently, the control unit 39 acquires a predetermined number of peak parts from the density histogram H, divides the part other than the peak part by a predetermined density value width, and converts the image G1 into a plurality of small regions R based on the density values. Partition (step S26).

次に、制御部39は、配色変更処理を実行する。即ち、制御部39のCPUは、ROMから配色変更プログラムを読み出してRAMに展開し、この配色変更プログラムを実行して、領域区分処理にて区分された隣接する小領域Rどうしの色が類似しないように配色を変更する(ステップS27)。
その後、制御部39の制御下にて、配色が変更された画像データに係る修正画像G2を投影レンズ12から投影させる(ステップS7)。
Next, the control unit 39 executes a color arrangement changing process. That is, the CPU of the control unit 39 reads the color arrangement change program from the ROM, develops it in the RAM, executes this color arrangement change program, and the colors of the adjacent small areas R divided by the area division processing are not similar. Thus, the color scheme is changed (step S27).
Thereafter, under the control of the control unit 39, the modified image G2 related to the image data whose color scheme has been changed is projected from the projection lens 12 (step S7).

この変形例2によれば、画像の濃度ヒストグラムHの濃度値に基づいて当該画像を小領域Rに区分することができ、これにより、輪郭画像を適正に作成することができる。
この結果、隣接する領域Rどうしに類似色が近接しないように配色することができることとなって、より見やすい画像G2を投影することができる。
According to the second modification, the image can be divided into the small regions R based on the density value of the density histogram H of the image, whereby the contour image can be appropriately created.
As a result, it is possible to arrange colors so that similar colors do not come close to each other between adjacent regions R, and it is possible to project a more easily viewable image G2.

なお、変形例2の画像投影処理にあっては、制御部39の制御下にて、境界重畳処理を実行しても良いのは勿論のことである。
また、変形例2の領域区分処理にあっては、濃度ヒストグラムHのピーク部分以外を複数の領域となるように濃度値に応じて分けるようにしたが、これに限られるものではなく、例えば、各領域の総画素数が略均等となるように画素数に応じて分けるようにしても良い。
Of course, in the image projecting process of the second modification, the boundary superimposing process may be executed under the control of the control unit 39.
Further, in the area classification process of the modified example 2, the part other than the peak portion of the density histogram H is divided according to the density value so as to be a plurality of areas, but is not limited to this. For example, You may make it divide | segment according to the number of pixels so that the total number of pixels of each area | region may become substantially equal.

また、上記実施形態の空間的光変調素子36は、例えば、DMD、LCD、LCOS、G×L等の何れのものであっても良い。   Further, the spatial light modulation element 36 of the above embodiment may be any one of DMD, LCD, LCOS, G × L, and the like, for example.

さらに、上記実施形態にあっては、投影装置100として、フロントプロジェクション方式のものを例示して説明したが、これに限られるものではなく、例えば、リアプロジェクション方式のものであっても良い。   Further, in the above-described embodiment, the projection apparatus 100 has been described by taking the front projection type as an example. However, the present invention is not limited to this, and for example, a rear projection type may be used.

加えて、上記実施の形態では、領域区分手段、配色変更手段、境界重畳手段としての機能を、制御部39のCPUによって、所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。   In addition, in the above-described embodiment, the functions as the area sorting unit, the color scheme changing unit, and the boundary superimposing unit are realized by executing a predetermined program or the like by the CPU of the control unit 39. However, the present invention is not limited to this. For example, a logic circuit or the like for realizing various functions may be used.

100 投影装置
12 投影レンズ(投影手段)
35 表示駆動部(投影手段)
36 空間的光変調素子(投影手段)
37 光源ランプ(投影手段)
39 制御部(領域区分手段、配色変更手段、境界重畳手段)
H 濃度ヒストグラム
L 境界線
R 領域
100 Projector 12 Projector Lens (Projector)
35 Display driver (projection means)
36 Spatial light modulator (projection means)
37 Light source lamp (projection means)
39 Control unit (area sorting means, color scheme changing means, boundary superimposing means)
H Density histogram L Boundary line R Region

Claims (7)

複数色で配色された対象画像を白黒画像に変換する変換手段と、
この変換手段で変換された前記白黒画像に基づいて前記対象画像の濃度ヒストグラムを作成するヒストグラム作成手段と、
このヒストグラム作成手段で作成された濃度ヒストグラムに基づいて前記対象画像を再配色する再配色手段と、
再配色された画像を出力する画像出力手段と、
を具備したことを特徴とする画像出力装置。
Conversion means for converting a target image arranged in multiple colors into a black and white image;
Histogram creation means for creating a density histogram of the target image based on the black and white image converted by the conversion means;
Re-coloring means for re-coloring the target image based on the density histogram created by the histogram creating means;
Image output means for outputting the re-colored image;
An image output apparatus comprising:
前記再配色手段は、前記濃度ヒストグラムに基づいて前記対象画像を複数の領域に区分し、その区分された各領域の配色が、隣接する領域どうしで異なる配色になるように前記対象画像を再配色する、
ことを特徴とする請求項1に記載の画像出力装置。
The re-coloring unit divides the target image into a plurality of areas based on the density histogram, and re-colors the target image so that the color arrangement of each of the divided areas is different between adjacent areas. To
The image output apparatus according to claim 1.
前記再配色手段は、前記濃度ヒストグラムに基づいてから所定数のピーク部分を取得し、そのピーク部分以外を所定の濃度値の幅で分け、その分けられた濃度値に基づいて前記対象画像を複数の小領域に区分する、
ことを特徴とする請求項2に記載の画像出力装置。
The re-coloring unit acquires a predetermined number of peak portions based on the density histogram, divides the portions other than the peak portions by a predetermined density value width, and selects a plurality of the target images based on the divided density values. To subdivide
The image output apparatus according to claim 2.
前記対象画像の配色変更を指示する指示手段と、を更に具備し、
前記配色決定手段は、前記指示手段による配色変更の指示が行われた際に、その各小領域の配色を決定する、
ことを特徴とする請求項1〜3の何れか一項に記載の画像出力装置。
And an instruction means for instructing a color change of the target image,
The color arrangement determination means determines the color arrangement of each small area when an instruction to change the color arrangement is made by the instruction means.
The image output apparatus according to any one of claims 1 to 3, wherein
前記再配色手段は、前記濃度ヒストグラムに基づいて前記対象画像を複数の領域に区分し、その区分された各領域の境界に境界線を付加する境界付加手段と、
を更に具備したことを特徴とする請求項1〜4の何れか一項に記載の画像出力装置。
The recoloring means divides the target image into a plurality of areas based on the density histogram, and adds boundary lines to the boundaries of the divided areas;
The image output apparatus according to claim 1, further comprising:
前記境界付加手段は、画像の隣接する領域どうしに再配色された色と類似しない色で境界線を付加する、
ことを特徴とする請求項5に記載の画像出力装置。
The boundary adding means adds a boundary line in a color that is not similar to the color re-colored between adjacent areas of the image;
The image output apparatus according to claim 5, wherein:
画像出力装置のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
複数色で配色された対象画像を白黒画像に変換する変換手段、
この変換手段で変換された前記白黒画像に基づいて前記対象画像の濃度ヒストグラムを作成するヒストグラム作成手段、
このヒストグラム作成手段で作成された濃度ヒストグラムに基づいて前記対象画像を再配色する再配色手段、
再配色された画像を出力する画像出力手段、
として機能させるようにしたことを特徴としたコンピュータ読み取り可能なプログラム。
A program for controlling a computer of an image output device,
The computer,
Conversion means for converting a target image arranged in a plurality of colors into a monochrome image;
A histogram creation means for creating a density histogram of the target image based on the black and white image converted by the conversion means;
Recoloring means for recoloring the target image based on the density histogram created by the histogram creating means;
Image output means for outputting the re-colored image;
A computer-readable program characterized by functioning as a computer.
JP2012072765A 2012-03-28 2012-03-28 Image output device Expired - Fee Related JP5704103B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012072765A JP5704103B2 (en) 2012-03-28 2012-03-28 Image output device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012072765A JP5704103B2 (en) 2012-03-28 2012-03-28 Image output device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006093506A Division JP5002997B2 (en) 2006-03-30 2006-03-30 Projection apparatus and program

Publications (2)

Publication Number Publication Date
JP2012165419A true JP2012165419A (en) 2012-08-30
JP5704103B2 JP5704103B2 (en) 2015-04-22

Family

ID=46844284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012072765A Expired - Fee Related JP5704103B2 (en) 2012-03-28 2012-03-28 Image output device

Country Status (1)

Country Link
JP (1) JP5704103B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620036A (en) * 1991-10-30 1994-01-28 Fujitsu Ltd Method and device for color adjustment of color image and image synthesizing method
JPH10149441A (en) * 1996-11-20 1998-06-02 Casio Comput Co Ltd Picture processing method and device therefor
JP2002314833A (en) * 2001-01-05 2002-10-25 Seiko Epson Corp Image processing device, image processing method, and recording medium recording the same
JP2005051510A (en) * 2003-07-29 2005-02-24 Brother Ind Ltd Image processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0620036A (en) * 1991-10-30 1994-01-28 Fujitsu Ltd Method and device for color adjustment of color image and image synthesizing method
JPH10149441A (en) * 1996-11-20 1998-06-02 Casio Comput Co Ltd Picture processing method and device therefor
JP2002314833A (en) * 2001-01-05 2002-10-25 Seiko Epson Corp Image processing device, image processing method, and recording medium recording the same
JP2005051510A (en) * 2003-07-29 2005-02-24 Brother Ind Ltd Image processing apparatus

Also Published As

Publication number Publication date
JP5704103B2 (en) 2015-04-22

Similar Documents

Publication Publication Date Title
US9514716B2 (en) Projection apparatus, projection control apparatus, projection system, and projection state adjustment method
US9723281B2 (en) Projection apparatus for increasing pixel usage of an adjusted projection area, and projection method and program medium for the same
US10440337B2 (en) Projection apparatus, information processing apparatus, and control methods thereof
CN104730820B (en) Projection Apparatus And Geometric Correction Adjustment Method
US20170244941A1 (en) Projector and control method thereof
US10171781B2 (en) Projection apparatus, method for controlling the same, and projection system
JP5793900B2 (en) Image projection apparatus, function setting method, and function setting program
JP2013073076A (en) Projection type video display device
US9830842B2 (en) Display apparatus for performing control to change a position on an image where an additional image is superimposed
JP5002997B2 (en) Projection apparatus and program
JP5704103B2 (en) Image output device
JP2015159460A (en) Projection system, projection device, photographing device, method for generating guide frame, and program
JP5549421B2 (en) Projection apparatus, projection method, and program
JP2021132299A (en) Control device, projection system, control method of projection device, program, and storage medium
JP5516199B2 (en) Image processing apparatus, image processing method, projection apparatus, and program
JP2016061983A (en) Projection system, control method of projection system, control program of projection system
JP5205704B2 (en) Projection apparatus, projection method, and program
JP6552688B2 (en) Projection apparatus, control method for projection apparatus, program, and storage medium
JP2020072357A (en) Projection apparatus and projection method
JP6179549B2 (en) Image output apparatus and program
JP5789960B2 (en) Display device, display device control method, and program
JP5560964B2 (en) Image processing apparatus, image processing method, projection apparatus, and program
JP5839013B2 (en) Image output apparatus and program
JP5413624B2 (en) Image output apparatus and program
JP2017198779A (en) Projection type display device and control method thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150209

R150 Certificate of patent or registration of utility model

Ref document number: 5704103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees