JP2009303011A - 画像データ処理装置、該プログラム、及び該方法 - Google Patents

画像データ処理装置、該プログラム、及び該方法 Download PDF

Info

Publication number
JP2009303011A
JP2009303011A JP2008156475A JP2008156475A JP2009303011A JP 2009303011 A JP2009303011 A JP 2009303011A JP 2008156475 A JP2008156475 A JP 2008156475A JP 2008156475 A JP2008156475 A JP 2008156475A JP 2009303011 A JP2009303011 A JP 2009303011A
Authority
JP
Japan
Prior art keywords
color
image
image data
display device
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008156475A
Other languages
English (en)
Other versions
JP5259264B2 (ja
Inventor
Shinichiro Aizaki
紳一郎 合▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008156475A priority Critical patent/JP5259264B2/ja
Priority to EP09007621.7A priority patent/EP2136545B1/en
Priority to US12/482,045 priority patent/US8358338B2/en
Publication of JP2009303011A publication Critical patent/JP2009303011A/ja
Application granted granted Critical
Publication of JP5259264B2 publication Critical patent/JP5259264B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/622Retouching, i.e. modification of isolated colours only or in isolated picture areas only with simulation on a subsidiary picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/465Conversion of monochrome to colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6052Matching two or more picture signal generators or two or more picture reproducers
    • H04N1/6055Matching two or more picture signal generators or two or more picture reproducers using test pattern analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】本発明では、表示しようとしている画像が意図している特性と異なる特性の画像表示装置に対しても、容易に所望の色を表示できるように出力特性を調整する。
【解決手段】第1の画像データを取得し、第1の画像データを画像表示装置へ出力し、画像表示装置に出力された第1の画像から任意に指定された注目領域を取得し、注目領域の画素データに対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを表示させ、表示されたカラーチャートから任意に選択された色情報を取得し、注目領域と色情報の組み合わせを複数取得して、該取得した組み合わせに基づいて、色パラメータを算出し、色パラメータに基づいて取得した画像データの色を変換し、色変換した画像データを第2の画像として画像表示装置へ出力する画像データ処理装置により、上記課題の解決を図る。
【選択図】 図1

Description

本発明は、被写体像または顕微鏡による標本の観察像をCCDなどの撮像素子により撮像し、表示・記録する撮像システム・顕微鏡撮像システムに関し、特に撮影した画像データを変換して出力する装置および方法に関する。
デジタルカメラで撮影される画像は、sRGBなどの色空間の規格に合わせて色調整を行っている。このため画像を表示する表示装置の特性がデジタルカメラの製造者の意図した特性から外れている場合、色再現性が低下してしまう。
また撮影した画像を学会などで発表する場合、普段使用していないプロジェクタなどの画像表示装置を用いてプレゼンテーションを行わなければならないことがある。この場合、画像表示装置の表示特性は普段使用しているモニタとは異なるため、発表者が準備段階で意図した色再現を得ることが難しい。
一方、操作者の好みに合わせて画像の色を修正する方法が特許文献1及び特許文献2に開示されている。
特許文献1では、レーザー走査顕微鏡において観察画像の蛍光波長ごとにカラーチャートを表示し、操作者が色を選択し、各蛍光波長の画像を選択した色で表示し、色再現性を向上させることが開示されている。
特許文献2では、画像に含まれる人の肌や芝生の緑などの代表的な色を予め設定・選択できるようにしておき、その色を選択すると、カラーパッチが表示され、パッチ上で好ましい色を選択することにより、肌色の色を修正することが開示されている。
特開平11−98372号公報 特開平8−287215号公報
しかしながら、特許文献1で開示された方法を用いて前述の色再現性低下を解消する場合、一般的な画像は、特定波長ではなく、様々な波長を有する中間色で画像が構成されるため、画像全体の色再現性を向上させることは難しい。
また、特許文献2で開示された方法を用いて前述の色再現性低下を解消する場合、指定した色の間にある中間の色すべての色を修正することはできず、同様に画像全体の色再現性を向上させることは難しい。
上記のように従来技術では特定の色を修正することはできるが、様々な色を含む一般的な画像全体に対して色を修正することができない。
上記課題に鑑み、本発明では、表示しようとしている画像が意図している特性と異なる特性の画像表示装置に対しても、容易に所望の色を表示できるように出力特性を調整することができる画像データ処理装置を提供する。
本発明にかかる、1以上の画像表示装置へ画像データを出力可能な画像データ処理装置は、第1の画像データを取得する第1の画像取得手段と、前記第1の画像データを前記画像表示装置へ出力する第1の画像出力手段と、前記画像表示装置に出力された第1の画像から任意に指定された1以上の画素からなる注目領域を取得する注目領域取得手段と、前記注目領域の画素データに対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを表示させるカラーチャート表示手段と、前記表示されたカラーチャートから任意に選択された色情報を取得する選択色情報取得手段と、前記注目領域と該注目領域に対応する前記色情報との組み合わせを複数取得して、該取得した組み合わせに基づいて、色パラメータを算出する色パラメータ算出手段と、前記色パラメータに基づいて前記取得した画像データの色を変換する色変換手段と、前記色変換した画像データを第2の画像として前記画像表示装置へ出力する第2の画像出力手段と、を備えることを特徴とする。
前記画像データ処理装置において、前記第1の画像出力手段は、前記第1の画像を第1の画像表示装置へ出力し、前記カラーチャート表示手段は、前記カラーチャートを第2の画像表示装置へ出力し、前記第2の画像出力手段は、前記第2の画像を前記第2の画像表示装置へ出力することを特徴とする。
前記画像データ処理装置は、さらに、前記取得した色情報を格納する色情報格納手段を備え、前記第1の画像出力手段は、前記格納されている前記色情報を前記第1の画像表示装置へ出力し、前記カラーチャート表示手段は、前記格納されている前記色情報に対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを前記第2の画像表示装置へ表示させ、前記選択色情報取得手段は、前記表示されたカラーチャートから任意に選択された色情報を取得することを特徴とする。
前記色パラメータは、後述の式(1)((R1,G1,B1),(R2,G2,B2),・・・はそれぞれ、前記注目領域の画素データを示し、(R1’,G1’,B1’),(R2’,G2’,B2’),・・・はそれぞれ、該注目領域に対応する前記色情報を示す。))により算出されるマトリックスであり、前記第2の画像データは、後述の式(2)((Rin,Gin,Bin)は、変換前の画素データであり、(Rout,Gout,Bout)は、変換後の画素データである。)により色変換されることを特徴とする。
前記画像データ処理装置は、さらに、前記第1の画像表示装置及び第2の画像表示装置のそれぞれが有する色温度調整機能に基づいて設定された前記第1の画像の白色点の色情報を取得する色温度設定情報取得手段を備え、前記色パラメータ算出手段は、前記取得した前記注目領域と前記色情報の組み合わせと、前記色温度設定情報取得手段により取得した色情報とに基づいて、前記色パラメータを算出することを特徴とする。
本発明にかかる、1以上の画像表示装置へ画像データを出力する処理をコンピュータに実行させる画像データ処理プログラムは、第1の画像データを取得する第1の画像取得処理と、前記第1の画像データを前記画像表示装置へ出力する第1の画像出力処理と、前記画像表示装置に出力された第1の画像から任意に指定された1以上の画素からなる注目領域を取得する注目領域取得処理と、前記注目領域の画素データに対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを表示させるカラーチャート表示処理と、前記表示されたカラーチャートから任意に選択された色情報を取得する選択色情報取得処理と、前記注目領域と該注目領域に対応する前記色情報との組み合わせを複数取得して、該取得した組み合わせに基づいて、色パラメータを算出する色パラメータ算出処理と、前記色パラメータに基づいて前記取得した画像データの色を変換する色変換処理と、前記色変換した画像データを第2の画像として前記画像表示装置へ出力する第2の画像出力処理と、をコンピュータに実行させる。
本発明にかかる、1以上の画像表示装置へ画像データを出力する画像データ処理方法は、第1の画像データを取得し、前記第1の画像データを前記画像表示装置へ出力し、前記画像表示装置に出力された第1の画像から任意に指定された1以上の画素からなる注目領域を取得し、前記注目領域の画素データに対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを表示させ、前記表示されたカラーチャートから任意に選択された色情報を取得し、前記注目領域と該注目領域に対応する前記色情報との組み合わせを複数取得して、該取得した組み合わせに基づいて、色パラメータを算出し、前記色パラメータに基づいて前記取得した画像データの色を変換し、前記色変換した画像データを第2の画像として前記画像表示装置へ出力することを特徴とする。
本発明によれば、表示しようとしている画像が意図している特性と異なる特性の画像表示装置に対しても、容易に所望の色を表示できるように出力特性を調整することができる。
<第1の実施形態>
図1は、本実施形態における顕微鏡デジタルカメラシステム10を示す。顕微鏡デジタルカメラシステム10は、顕微鏡1、顕微鏡デジタルカメラ2、接眼レンズ3、ポート4、パーソナルコンピュータ(以下、PC)5、モニタ6を備える。
顕微鏡1のステージに載置された標本は、接眼レンズ3を介して目視観察することができる。また、その顕微鏡1により得られた標本像は、ポート4を介して顕微鏡デジタルカメラ2で撮像することができる。
顕微鏡デジタルカメラ2は、PC5に接続されている。PC5上で動作するコントロールソフトウェアを用いることにより、顕微鏡デジタルカメラ2について、ライブ画像表示・静止画像撮影・撮影画像保存などのカメラの制御を行うことができる。撮影された画像は、PC5に保存されるとともに、モニタ6に表示させることができる。
図2は、本実施形態におけるPC5のハードウェア構成を示す。PC5は、入力インターフェース(I/F)51、中央処理演算装置(CPU)52、通信I/F53、出力I/F54、メモリ55、ハードディスクドライブ(HDD)56、バス57を有する。
入力I/F51は、マウス、キーボード等の入力装置からの指令が入力されるインターフェースである。通信I/F53は、顕微鏡1と通信するためのインターフェースである。HDD56には、本発明にかかるプログラムが格納されている。メモリ55は、RAM,ROM等である。CPU52は、HDD56からそのプログラムを読み込んで実行する。出力I/F54は、モニタ6、プロジェクタ等に画像を出力するためのインターフェースである。
図3は、本実施形態における画像データ処理装置100の概要を示す。画像データ処理装置100は、1以上の画像表示装置へ画像データを出力することができる。PC5は、本実施形態にかかるプログラムを実行することにより、画像データ処理装置100として機能する。
画像データ処理装置100は、第1の画像取得手段101、第1の画像出力手段102、注目領域取得手段103、カラーチャート表示手段104、選択色情報取得手段105、色パラメータ算出手段106、色変換手段107、第2の画像出力手段108を備える。
第1の画像取得手段101は、第1の画像データ(顕微鏡1により得られた標本像)を取得する。第1の画像出力手段102は、前記第1の画像データを前記画像表示装置(モニタ、プロジェクタ等)へ出力する。
注目領域取得手段103は、前記画像表示装置に出力された第1の画像から任意に指定された1以上の画素からなる注目領域を取得する。カラーチャート表示手段104は、前記注目領域の画素データに対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを表示させる。
選択色情報取得手段105は、前記表示されたカラーチャートから任意に選択された色情報を取得する。色パラメータ算出手段106は、前記注目領域と前記色情報の組み合わせを複数取得して、該取得した組み合わせに基づいて、色パラメータを算出する。
色変換手段107は、前記色パラメータに基づいて前記取得した画像データの色を変換する。第2の画像出力手段108は、前記色変換した画像データを第2の画像として前記画像表示装置へ出力する。
これにより、画像表示装置に表示した元画像から指定された注目領域のRGBデータを中心として色相・彩度を変化させたカラーチャートを表示させ、カラーチャート上の色を注目領域の好ましい色として選択し、その注目領域とそのカラーチャート上で選択される好ましい色の組合せを複数組以上作成し、この組合せから色パラメータを算出し、この色パラメータを用いて元の画像データを変換し、変換した画像データを画像表示装置へ出力することができる。よって、注目領域の色を操作者の好みに一致するように画像全体を色変換することができる。
したがって、表示しようとしている画像が意図している特性と異なる特性の画像表示装置に対しても、容易に所望の色を表示できるように出力特性を調整することができる。
図4は、本実施形態における表示用ソフトウェアのGUI(グラフィカルユーザインターフェース)20の一例を示す。同図は、モニタ6に表示させた撮影画像21の一例を示す。この表示させているソフトウェアは、前述のコントロールソフトウェアの一部であってもよいし、表示専用のソフトウェアでもよい。
表示用ソフトウェアのGUI20の画面上部には、「ファイル」、「編集」、「表示」、「色変換」、「ウィンドウ」、「ヘルプ」の操作メニューが表示されている。
図5〜図8は、本実施形態における表示用ソフトウェアのGUI20の一連の表示を示す。図5は、本実施形態における表示用ソフトウェアのGUI20の色変換メニューを選択した状態を示す。色変換メニュー31には、色変換モード32のON/OFF選択と、色調整メニュー33がある。色変換モード32をONにすると、後述する色調整メニューによって調整された色パラメータで色変換された画像が表示される。色調整メニュー33を実行すると、図6のような表示態様となる。
図6は、本実施形態における色調整画面40の一例を示す。色調整画面40には、標本画像41、カラーチャート42、カラーチャート42の色差を調整するカラーチャート調整スライダー43、標本上の注目領域を選択する注目領域選択ボタン44がある。
図9は、本実施形態における色調整メニュー33が選択された場合にPC5のCPU52により実行されるフローを示す。以下では、図5〜図8の画面遷移図を参照しながら、当該フローについて説明する。
色調整メニュー33が選択されると色調整モードに移行し、色調整画面40がPC5のモニタ6に表示される(S101)。色調整画面40が表示されると、操作者はPoint1ボタンを押し(S102)、標本画像41上の注目領域を指定する(S103)。
操作者により注目領域が指定されると、CPU52はその注目領域のRGBデータ(R1,G1,B1)を抽出する(S104)。CPU52は、その抽出したRGBの色を中心として(図7の符号a)、色相・彩度を変化させた複数のカラーパッチからなるカラーチャート42を表示させる(S105)。
操作者は、顕微鏡の目視観察像と比較して、注目領域の色と一致するカラーチャート12上のカラーパッチを選択する(S106)。例えば、図7では符号bで示す部分を選択する。すると、CPU52は、その選択されたカラーパッチのRGBデータ(R1’,G1’,B1’)を抽出する(S107)。
次に、CPU52は、3箇所以上の注目領域の指定およびカラーパッチの選択が行われたかを判断する(S108)。注目領域の指定およびカラーパッチの選択が3箇所以下ならばS102へ戻り、領域指定を待つ。
次に、操作者はPoint2ボタンを押し(S102)、標本画像41上の注目領域を指定する(S103)。
操作者により注目領域が指定されると、CPU52はその注目領域のRGBデータ(R2,G2,B2)を抽出する(S104)。CPU52は、その抽出したRGBの色を中心として、色相・彩度を変化させた複数のカラーパッチからなるカラーチャート42を表示させる(S105)。
操作者は、顕微鏡の目視観察像と比較して、注目領域の色と一致するカラーチャート12上のカラーパッチを選択する(S106)。すると、CPU52は、選択されたカラーパッチのRGBデータ(R2’,G2’,B2’)を抽出する(S107)。
次に、CPU52は、3箇所以上の注目領域の指定およびカラーパッチの選択が行われたかを判断する(S108)。注目領域の指定およびカラーパッチの選択が3箇所以下ならばS102へ戻り、領域指定を待つ。
次に、操作者はPoint3ボタンを押し(S102)、標本画像41上の注目領域を指定する(S103)。
操作者により注目領域が指定されると、CPU52はその注目領域のRGBデータ(R3,G3,B3)を抽出する(S104)。CPU52は、その抽出されたRGBの色を中心として、色相・彩度を変化させたカラーチャート42を表示させる(S105)。
操作者は、顕微鏡の目視観察像と比較して、注目領域の色と一致するカラーチャート12上のカラーパッチを選択する(S106)。CPU52は、その選択されたカラーパッチのRGBデータ(R3’,G3’,B3’)を抽出する(S107)。
図8に示すように3箇所以上が選択された場合(S108で「Yes」)、CPU52は、以下の式(1)に基づいて色変換マトリックスMを計算する(S109)。
次に標本画像は、CPU52により、以下の式(2)に基づいて、画素ごとに(Rin,Gin,Bin)から(Rout,Gout,Bout)に色変換され、プレビュー画像として更新される(S110)。
さらに、操作者によりPoint4以降の選択が行われた場合(S111で「領域選択ボタン」を選択)、S103へ戻り同様の処理を行う。また、S111においてOKボタンが押された場合、図4の表示モードへ移行する(S112)。このとき表示される標本画像は、式(2)による色変換を行われた画像が表示される。
以上のような作用により、容易に顕微鏡デジタルカメラで撮影した画像を操作者の好みの色に変換して表示することができる。
(変形例1.1)
なお、カラーチャート調整スライダー43を調整することにより、カラーチャート42上のカラーパッチ間の色差を調整することができる。このように調整できるようにすることにより、カラーチャート42に操作者の希望する色がない場合は、カラーパッチ間の色差を広げて、より広範な色を選択できるようにする。
また、精密に調整したい場合は、カラーパッチ間の色差を狭くする。カラーチャート調整スライダー43によって色差を調整する場合は、その前に選択したカラーパッチを中心として、カラーチャートを再表示する。カラーチャート42の色は、RGBデータをL*a*b*などの均等色空間のデータに変換し、知覚的にカラーパッチの色間隔が均等になるように作成する。
(変形例1.2)
標本上の注目領域の指定は、以下のように様々な方法で指定することができる。
図10〜図14は、本実施形態(変形例1.2)における注目領域の指定例を示す。図10に示すように、四角形81により領域を選択できる。このときに領域のサイズはマウスなどのポインタのドラッグにより任意のサイズにすることができるほか、10画素×10画素の領域など数値により指定することもできる。このように、注目領域として、画像上のある領域を指定した場合、S104で抽出されるRGBデータは、その領域の平均のRGBデータでもよいし、所定の代表色を抽出するようにしてもよい。
図11、図12に示すように、楕円82、円83、任意の多角形の形状で、そのサイズをマウスのドラッグにより任意に指定することができる。また、座標及び図形の大きさ等を数値で指定することにより、注目領域を選択するようにしてもよい。
また、図13に示すように、注目領域をマウスドラッグによる曲線121で囲むようにしてもよい。また、図14に示すように、注目領域を複数の点で結ぶ多角形122で指定するようにしてもよい。
(変形例1.3)
色調整の過程において、プレビュー画像上で特定の色が最適な状態になった場合、その色を除外して色調整を行うことができる。すなわち、ユーザが最適と判断した色を指定する。すると、CPU52は、その指定した色の周辺の色相・彩度の色を調整対象の画像から除外する。そのような除外処理として、例えば、画像をRGBデータからL*a*b*などの明度・色相・彩度などのデータへ変換し、その指定した色を(L*’,a*’,b*’)としたときに、−Δ<a*’<Δ、−Δ<b*’<Δとなる画素は処理しないなどの条件を設ければよい。なお色の指定は、ピクセル単位で行うことができる。
(変形例1.4)
選択した3箇所の色が近い場合、またはそのRGBデータが線形独立ではない場合、領域指定についてエラーメッセージを出すようにしてもよい。また1箇所以上領域を指定したときに、線形独立でない領域は指定できないようにしてもよい。また3色以上の領域を指定できない場合は、予め指定した色や、標本上の色の反対色にあたる色により調整するようにしてもよい。
この変形例のように調整しても、少なくとも1色以上の画像上の色を直接、操作者の好みの色に調整できるので、単なるテストパターンを表示しての調整よりも、より好ましく調整することができる。
(変形例1.5)
標本画像の全画素のRGBデータをL*a*b*データに変換し、最も離れた3色の色を自動的に指定するようにしてもよい。例えば、L*a*b*色度図上に全画素のデータをプロットすると図15のようになる。
図15は、本実施形態(変形例1.5)におけるL*a*b*色度図上に全画素のデータをプロットの一例を示す。同図に示すように、L*a*b*色度図上にプロットされた全画素のデータから、最も離れた3色を示すc,d,e点を自動的に設定する。
なお、変換対象の画素は、標本画像の全画素に限定されず、標本画像の所定領域内の全画素や注目領域内の全画素のRGBデータをL*a*b*データに変換し、最も離れた3色の色を自動的に指定するようにしてもよい。
<第2の実施形態>
本実施形態では、学会などのプレゼンテーション会場のプロジェクタへノートパソコン上の画像を表示する場合の例である。
図16は、本実施形態におけるプレゼンテーションシステム140を示す。プレゼンテーションシステム140は、ノートパソコン141と、ノートパソコン141に接続されたプロジェクタ142、スクリーン143から構成される。
ノートパソコン141のハードウェア構成は、図2と同様である。ノートパソコン141のモニタには操作者用の操作画面が表示される。プロジェクタ142は、スクリーン143に聴講者用の画面を表示させる。プレゼンテーション時には、それぞれの画面に同じ画像が表示される。
まず、モニタ及びプロジェクタに対するノートパソコン141の設定をデュアルモニタモード等のマルチモニタモードにする。それから、操作者はプレゼンテーションを行う前に、スクリーン143に表示される画像が最適な色になるように、ノートパソコン141の色調整を行う。
色調整モードに移行すると、ノートパソコン141には操作者用色調整画面151が表示され(図18参照)、スクリーン143にはプロジェクタ用色調整画面161が表示される(図19参照)。
図17は、本実施形態における画像データ処理装置100aの概要を示す。ノートパソコン141は、本実施形態にかかるプログラムを実行することにより、画像データ処理装置100aとして機能する。画像データ処理装置100aは、画像データ処理装置100に、色情報格納手段109、色温度設定情報取得手段110を追加したものである。色情報格納手段109、色温度設定情報取得手段110については後述する。
前記第1の画像出力手段102は、前記第1の画像(顕微鏡1により得られた標本像)を第1の画像表示装置(ノートパソコン141のモニタ)へ出力する。前記カラーチャート表示手段104は、前記カラーチャートを第2の画像表示装置(プロジェクタ142)へ出力する。前記第2の画像出力手段108は、前記第2の画像を前記第2の画像表示装置(プロジェクタ142)へ出力する。
これにより、容易に、第1の画像表示装置上の画像と、第2の画像表示装置上の画像の色を一致させて表示させることができる。
これにより、第1の画像表示装置上で選択した注目領域の色を第2の画像表示装置上で操作者の好みに一致するように、第2の画像表示装置に表示させる画像を色変換することができる。
色情報格納手段109(HDD56)は、前記取得した色情報を格納する。この場合、前記第1の画像出力手段は、前記格納されている前記色情報を前記第1の画像表示装置へ出力する。前記カラーチャート表示手段は、前記格納されている前記色情報に対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを前記第2の画像表示装置へ表示させる。前記選択色情報取得手段は、前記表示されたカラーチャートから任意に選択された色情報を取得する。
これにより、色パラメータを算出する際に選択したカラーチャート上の色を記憶しておくことができる。そして、その色を第1の画像表示装置に表示し、その色を中心とした色相・彩度を変化させたカラーチャートを第2の画像表示装置に表示し、カラーチャート上で第1の画像表示装置に表示した色と一致すると感じられる色を選択し、第1の画像表示装置に表示した色とカラーチャート上で選択された色の組合せを複数組作成し、この組み合せから色パラメータを算出し、この色パラメータを用いて元の画像データを変換し、変換した画像データを第2の画像表示装置へ出力することができる。そのため、第1の画像表示装置上で事前に調整したときに選択した注目領域の色を、第2の画像表示装置上で操作者の好みに一致するように、第2の画像表示装置に表示させる画像を色変換することができる。
色温度設定情報取得手段110は、前記第1の画像表示装置(ノートパソコン141のモニタ)及び第2の画像表示装置(プロジェクタ142)のそれぞれが有する色温度調整機能に基づいて設定された前記第1の画像の白色点の色情報を取得することができる。これにより、元画像の白色点の色を表示装置の色温度設定に基づいて変換することができる。
以下、図9のフローチャートに従って色調整が行われる。色調整メニュー33が選択されると、色調整モードへ移行する(S101)。すると、ノートパソコン141のモニタには、操作者用色調整画面151が表示される。一方、スクリーン143にはプロジェクタ用色調整画面161が表示される。
図18に示すように、操作者用色調整画面151には、標本画像153、標本画像153上の注目領域を選択する注目領域選択ボタン152がある。
図19に示すように、プロジェクタ用色調整画面161には、プレビュー画像161、カラーチャート162、カラーチャートの色差を調整するカラーチャート調整スライダー163がある。
操作者用色調整画面151が表示されると、操作者はPoint1ボタンを押し(S102)、標本画像153上の注目領域を指定する(S103)。注目領域が指定されると、CPU52は注目領域のRGBデータ(R1,G1,B1)を抽出する(S104)。
CPU52は、その抽出されたRGBの色を中心として、色相・彩度を変化させた複数のカラーパッチからなるカラーチャート162を、プロジェクタ142を介してスクリーン143に表示させる(S105)。
操作者は、ノートパソコン141上に表示された標本像19とカラーチャート12を比較して、注目領域の色と一致するカラーチャート162上のカラーパッチを選択する(S106)。CPU52は、その選択されたカラーパッチのRGBデータ(R1’,G1’,B1’)を抽出する(S107)。
次に、CPU52は、3箇所以上の注目領域について領域の指定及びカラーパッチの選択が行われたかを判断する(S108)。注目領域の指定およびカラーパッチの選択が3箇所以下ならばS102へ戻り、領域指定を待つ。
次に操作者はPoint2ボタンを押し(S102)、標本画像上の注目領域を指定する(S103)。
操作者により注目領域が指定されると、CPU52はその注目領域のRGBデータ(R2,G2,B2)を抽出する(S104)。CPU52は、その抽出したRGBの色を中心として、色相・彩度を変化させたカラーチャート162をプロジェクタ142を介してスクリーン143に表示させる(S105)。操作者は、ノートパソコン141上の標本画像153と比較して、注目領域の色と一致するカラーチャート162上のカラーパッチを選択する(S106)。
CPU52は、その選択されたカラーパッチのRGBデータ(R2’,G2’,B2’)を抽出する(S107)。
次に3箇所以上の注目領域について領域の指定およびカラーパッチの選択が行われたかを判断する(S108)。注目領域の指定およびカラーパッチの選択が3箇所以下ならばS102へ戻り、領域指定を待つ。
次に操作者はPoint3ボタンを押し(S102)、標本画像上の注目領域を指定する(S103)。注目領域が指定されると、CPU52は注目領域のRGBデータ(R3,G3,B3)を抽出する(S104)。CPU52は、抽出されたRGBの色を中心として、色相・彩度を変化させたカラーチャートを表示させる。
操作者は、ノートパソコン141上の標本画像142と比較して、注目領域の色と一致するカラーチャート152上のカラーパッチを選択する(S106)。すると、CPU52は、選択されたカラーパッチのRGBデータ(R3’,G3’,B3’)を抽出する(S107)。
3箇所以上が選択された場合、CPU52は、上述の式(1)に基づいて、色変換マトリックスMを計算する(S109)。
次に標本画像は、CPU52により、上述の式(2)に基づいて、画素ごとに(Rin,Gin,Bin)から(Rout,Gout,Bout)に色変換され、プレビュー画像が更新される(S110)。
さらに、操作者によりPoint4以降の選択が行われた場合(S111で「領域選択ボタン」を選択)、S103へ戻り同様の処理を行う。また、S111においてOKボタンが押された場合(S111)、図4の表示モードへ戻る。この場合、プロジェクタ142を介してスクリーン143には、図20のように標本画像が表示される(S112)。このとき表示される標本画像は、式(2)による色変換を行われた画像が表示される。
このように、容易にノートパソコン141上の画像と、プロジェクタ142を介して表示されるスクリーン143上の画像の色を一致させて表示させることができる。
(変形例2.1)
上記の例では、プレゼンテーション会場でノートパソコンの表示環境とプロジェクタの表示環境の調整を行ったが、本変形例では、予め第1の実施形態による色変換をノートパソコン上で行って保存した画像を、学会などのプレゼンテーション会場のプロジェクタへ表示する場合について説明する。
ノートパソコン141のHDD56には、第1の実施形態において色パラメータを算出する際に選択したカラーチャート上の色が記憶されている。プレゼンテーション会場において、操作者は、そのノートパソコン141を起動させて、HDD56に格納されているその色をノートパソコン141のモニタに表示させる。
次に、操作者は、その色を中心とした、色相・彩度を変化させた複数のカラーパッチからなるカラーチャート162を、プロジェクタ142を介してスクリーン143に表示させる。
操作者は、ノートパソコン141上に表示された色とカラーチャート162を比較して、そのノートパソコン141上に表示された色と一致すると感じられる色をカラーチャート162から選択する。このようにして、そのノートパソコン141上に表示された色と、カラーチャート162上で選択された色の組み合わせを3組以上選択する。
3組以上が選択された場合、CPU52は、上述の式(1)に基づいて色変換マトリックスMを計算する。次に標本画像は、CPU52により、上述の式(2)に基づいて、画素ごとに(Rin,Gin,Bin)から(Rout,Gout,Bout)に色変換され、プレビュー画像が更新される。
これにより、ノートパソコン141上で事前に調整したときに選択した注目領域の色を、プロジェクタ142を介して表示されたスクリーン143上で操作者の好みに一致するように、スクリーン143に表示させる画像を色変換することができる。
(変形例2.2)
ノートパソコン141及びプロジェクタ142に色温度調整機能がある場合、ノートパソコン141のモニタとプロジェクタ142の色温度を一致させ、調整を簡略化することができる。
この場合、上記3組以上選択する組み合わせのうちの1組を、(R1,R2,R3)=(R1’,R2’,R3’)=(255,255,255)とすることができる。そのため、カラーチャート上で選択する色を2色以上とすることができるので、簡略化することができる。
(変形例2.3)
一度調整したプロジェクタのメーカー名、型番、及びそれに対応した色調整パラメータを記憶しておく。別の会場でプレゼンテーションを行うときなどで、プロジェクタのメーカーや型番が同じ場合は、その記憶しておいた色調整パラメータを読み出して使用したり、または図7の画面を表示させてそのパラメータを中心に調整することができる。
これにより、図9のS110まで自動で再現してくれるので、調整を簡略化することができる。
以上のように、本発明によれば、表示しようとしている画像が意図している特性と異なる特性の画像表示装置に対しても、容易に所望の色を表示できるように出力特性を調整することができる。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を取ることができる。
第1の実施形態における顕微鏡デジタルカメラシステム10を示す。 第1の実施形態におけるPC5のハードウェア構成を示す。 第1の実施形態における画像データ処理装置の概要を示す。 第1の実施形態における表示用ソフトウェアのGUI20の一例を示す。 第1の実施形態における表示用ソフトウェアのGUI20の色変換メニューを選択した状態を示す。 本実施形態における色調整画面40の一例を示す。 第1の実施形態における、顕微鏡の目視観察像と比較して、注目領域の色と一致するカラーチャート12上のカラーパッチを選択した状態を示す。 第1の実施形態における、3箇所以上の注目領域が選択された状態を示す。 本実施形態における色調整メニュー33が選択された場合にPC5のCPU52により実行されるフローを示す。 第1の実施形態(変形例1.2)における注目領域の指定例(その1)を示す。 第1の実施形態(変形例1.2)における注目領域の指定例(その2)を示す。 第1の実施形態(変形例1.2)における注目領域の指定例(その3)を示す。 第1の実施形態(変形例1.2)における注目領域の指定例(その4)を示す。 第1の実施形態(変形例1.2)における注目領域の指定例(その5)を示す。 第1の実施形態(変形例1.5)におけるL*a*b*色度図上に全画素のデータをプロットの一例を示す。 第2の実施形態におけるプレゼンテーションシステム140を示す。 第2の実施形態における画像データ処理装置100aの概要を示す。 第2の実施形態における操作者用色調整画面151を示す。 第2の実施形態におけるプロジェクタ用色調整画面161を示す。 第2の実施形態における色調整後に、プロジェクタ142によりスクリーン143に表示された標本画像を示す。
符号の説明
1 顕微鏡
2 顕微鏡デジタルカメラ
3 接眼レンズ
4 ポート
5 PC
6 モニタ
51 入力I/F
52 CPU
53 通信I/F
54 出力I/F
55 メモリ
56 HDD
57 バス
100,100a 画像データ処理装置
101 第1の画像取得手段
102 第1の画像出力手段
103 注目領域取得手段
104 カラーチャート表示手段
105 選択色情報取得手段
106 色パラメータ算出手段
107 色変換手段
108 第2の画像出力手段
109 色情報格納手段
110 色温度設定情報取得手段
140 プレゼンテーションシステム
141 ノートパソコン
142 プロジェクタ
143 スクリーン

Claims (7)

  1. 1以上の画像表示装置へ画像データを出力可能な画像データ処理装置において、
    第1の画像データを取得する第1の画像取得手段と、
    前記第1の画像データを前記画像表示装置へ出力する第1の画像出力手段と、
    前記画像表示装置に出力された第1の画像から任意に指定された1以上の画素からなる注目領域を取得する注目領域取得手段と、
    前記注目領域の画素データに対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを表示させるカラーチャート表示手段と、
    前記表示されたカラーチャートから任意に選択された色情報を取得する選択色情報取得手段と、
    前記注目領域と該注目領域に対応する前記色情報との組み合わせを複数取得して、該取得した組み合わせに基づいて、色パラメータを算出する色パラメータ算出手段と、
    前記色パラメータに基づいて前記取得した画像データの色を変換する色変換手段と、
    前記色変換した画像データを第2の画像として前記画像表示装置へ出力する第2の画像出力手段と、
    を備えることを特徴とする画像データ処理装置。
  2. 前記第1の画像出力手段は、前記第1の画像を第1の画像表示装置へ出力し、
    前記カラーチャート表示手段は、前記カラーチャートを第2の画像表示装置へ出力し、
    前記第2の画像出力手段は、前記第2の画像を前記第2の画像表示装置へ出力する
    ことを特徴とする請求項1に記載の画像データ処理装置。
  3. 前記画像データ処理装置は、さらに、
    前記取得した色情報を格納する色情報格納手段、
    を備え、
    前記第1の画像出力手段は、前記格納されている前記色情報を前記第1の画像表示装置へ出力し、
    前記カラーチャート表示手段は、前記格納されている前記色情報に対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを前記第2の画像表示装置へ表示させ、
    前記選択色情報取得手段は、前記表示されたカラーチャートから任意に選択された色情報を取得する
    ことを特徴とする請求項2に記載の画像データ処理装置。
  4. 前記色パラメータは、式(1)
    ((R1,G1,B1),(R2,G2,B2),・・・はそれぞれ、前記注目領域の画素データを示し、(R1’,G1’,B1’),(R2’,G2’,B2’),・・・はそれぞれ、該注目領域に対応する前記色情報を示す。)
    により算出されるマトリックスであり、
    前記第2の画像データは、式(2)
    ((Rin,Gin,Bin)は、変換前の画素データであり、(Rout,Gout,Bout)は、変換後の画素データである。)
    により色変換される
    ことを特徴とする請求項1〜3に記載の画像データ処理装置。
  5. 前記画像データ処理装置は、さらに、
    前記第1の画像表示装置及び第2の画像表示装置のそれぞれが有する色温度調整機能に基づいて設定された前記第1の画像の白色点の色情報を取得する色温度設定情報取得手段
    を備え、
    前記色パラメータ算出手段は、前記取得した前記注目領域と前記色情報の組み合わせと、前記色温度設定情報取得手段により取得した色情報とに基づいて、前記色パラメータを算出する
    ことを特徴とする請求項2に記載の画像データ処理装置。
  6. 1以上の画像表示装置へ画像データを出力する処理をコンピュータに実行させる画像データ処理プログラムにおいて、
    第1の画像データを取得する第1の画像取得処理と、
    前記第1の画像データを前記画像表示装置へ出力する第1の画像出力処理と、
    前記画像表示装置に出力された第1の画像から任意に指定された1以上の画素からなる注目領域を取得する注目領域取得処理と、
    前記注目領域の画素データに対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを表示させるカラーチャート表示処理と、
    前記表示されたカラーチャートから任意に選択された色情報を取得する選択色情報取得処理と、
    前記注目領域と前記色情報の組み合わせを複数取得して、該取得した組み合わせに基づいて、色パラメータを算出する色パラメータ算出処理と、
    前記色パラメータに基づいて前記取得した画像データの色を変換する色変換処理と、
    前記色変換した画像データを第2の画像として前記画像表示装置へ出力する第2の画像出力処理と、
    をコンピュータに実行させる画像データ処理プログラム。
  7. 1以上の画像表示装置へ画像データを出力する画像データ処理方法において、
    第1の画像データを取得し、
    前記第1の画像データを前記画像表示装置へ出力し、
    前記画像表示装置に出力された第1の画像から任意に指定された1以上の画素からなる注目領域を取得し、
    前記注目領域の画素データに対応する色を中心にし、該色から周囲に向かって段階的に色相及び彩度を変化させたカラーチャートを表示させ、
    前記表示されたカラーチャートから任意に選択された色情報を取得し、
    前記注目領域と前記色情報の組み合わせを複数取得して、該取得した組み合わせに基づいて、色パラメータを算出し、
    前記色パラメータに基づいて前記取得した画像データの色を変換し、
    前記色変換した画像データを第2の画像として前記画像表示装置へ出力する
    ことを特徴とする画像データ処理方法。
JP2008156475A 2008-06-16 2008-06-16 画像データ処理装置、該プログラム、及び該方法 Expired - Fee Related JP5259264B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008156475A JP5259264B2 (ja) 2008-06-16 2008-06-16 画像データ処理装置、該プログラム、及び該方法
EP09007621.7A EP2136545B1 (en) 2008-06-16 2009-06-09 Image data processing apparatus, its storage medium and its method
US12/482,045 US8358338B2 (en) 2008-06-16 2009-06-10 Image data processing apparatus, its storage medium and its method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008156475A JP5259264B2 (ja) 2008-06-16 2008-06-16 画像データ処理装置、該プログラム、及び該方法

Publications (2)

Publication Number Publication Date
JP2009303011A true JP2009303011A (ja) 2009-12-24
JP5259264B2 JP5259264B2 (ja) 2013-08-07

Family

ID=41050343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008156475A Expired - Fee Related JP5259264B2 (ja) 2008-06-16 2008-06-16 画像データ処理装置、該プログラム、及び該方法

Country Status (3)

Country Link
US (1) US8358338B2 (ja)
EP (1) EP2136545B1 (ja)
JP (1) JP5259264B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5454109B2 (ja) * 2009-12-02 2014-03-26 セイコーエプソン株式会社 色指定制御装置、色指定制御方法および色指定制御プログラム
US20130215394A1 (en) * 2012-02-18 2013-08-22 Rakesh Reddy Underwater Image Projection Display System and Lighting Control System And Device
JP2015169991A (ja) * 2014-03-05 2015-09-28 キヤノン株式会社 画像処理装置、画像処理方法
TWI576787B (zh) * 2016-02-05 2017-04-01 黃宇軒 擴增實境影像產生系統及其應用
US10890751B2 (en) 2016-02-05 2021-01-12 Yu-Hsuan Huang Systems and applications for generating augmented reality images
JP2020057913A (ja) * 2018-10-01 2020-04-09 東芝テック株式会社 画像処理装置及び画像処理方法
CN111583846B (zh) * 2020-04-28 2024-04-26 青岛海信激光显示股份有限公司 一种激光显示设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191400A (ja) * 1995-01-11 1996-07-23 Dainippon Printing Co Ltd カラー画像の色調整方法及び装置
JPH10334213A (ja) * 1997-05-27 1998-12-18 Sharp Corp 画像処理装置及び画像処理装置制御プログラムを記憶した媒体
JP2001290471A (ja) * 2000-02-03 2001-10-19 Matsushita Electric Ind Co Ltd 映像表示システムおよび映像表示装置
JP2001358961A (ja) * 2000-04-14 2001-12-26 Fujitsu Ltd カラー画像処理装置
JP2005072804A (ja) * 2003-08-21 2005-03-17 Toppan Printing Co Ltd 色見本チャート及び色見本チャートを電子的に記録した記録媒体
JP2005217618A (ja) * 2004-01-28 2005-08-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2007228185A (ja) * 2006-02-22 2007-09-06 Seiko Epson Corp 画像編集装置、画像編集方法、画像編集プログラム、画像読み取りシステム、および、画像読み取り方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69324899T2 (de) * 1992-12-15 1999-10-21 E.I. Du Pont De Nemours And Co., Wilmington Farbangleichungsverfahren und -Gerät
US5487020A (en) 1993-01-18 1996-01-23 Canon Information Systems Research Australia Pty Ltd. Refinement of color images using reference colors
JPH08287215A (ja) 1995-04-12 1996-11-01 Canon Inc 画像編集装置
US6160579A (en) * 1995-08-01 2000-12-12 Canon Kabushiki Kaisha Image processing apparatus and method
JPH1198372A (ja) * 1997-09-18 1999-04-09 Olympus Optical Co Ltd 色調整方法
JP2004282156A (ja) 2003-03-12 2004-10-07 Seiko Epson Corp 色調整装置、印刷制御装置、色調整方法および色調整プログラム
US6937249B2 (en) * 2003-11-07 2005-08-30 Integrated Color Solutions, Inc. System and method for display device characterization, calibration, and verification
JP4250493B2 (ja) * 2003-10-01 2009-04-08 キヤノン株式会社 色変換マトリックス生成方法、色変換テーブル作成方法およびプログラム
US7715047B2 (en) * 2006-02-17 2010-05-11 Seiko Epson Corporation Image editing device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08191400A (ja) * 1995-01-11 1996-07-23 Dainippon Printing Co Ltd カラー画像の色調整方法及び装置
JPH10334213A (ja) * 1997-05-27 1998-12-18 Sharp Corp 画像処理装置及び画像処理装置制御プログラムを記憶した媒体
JP2001290471A (ja) * 2000-02-03 2001-10-19 Matsushita Electric Ind Co Ltd 映像表示システムおよび映像表示装置
JP2001358961A (ja) * 2000-04-14 2001-12-26 Fujitsu Ltd カラー画像処理装置
JP2005072804A (ja) * 2003-08-21 2005-03-17 Toppan Printing Co Ltd 色見本チャート及び色見本チャートを電子的に記録した記録媒体
JP2005217618A (ja) * 2004-01-28 2005-08-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像処理プログラム
JP2007228185A (ja) * 2006-02-22 2007-09-06 Seiko Epson Corp 画像編集装置、画像編集方法、画像編集プログラム、画像読み取りシステム、および、画像読み取り方法

Also Published As

Publication number Publication date
EP2136545A2 (en) 2009-12-23
EP2136545B1 (en) 2014-01-08
US8358338B2 (en) 2013-01-22
EP2136545A3 (en) 2011-01-26
JP5259264B2 (ja) 2013-08-07
US20100157042A1 (en) 2010-06-24

Similar Documents

Publication Publication Date Title
JP5259264B2 (ja) 画像データ処理装置、該プログラム、及び該方法
JP5968070B2 (ja) 色処理装置および色調整方法
US8446485B2 (en) Image processing apparatus, image processing method, and storage medium thereof
US20050174590A1 (en) Image correction method, image correction apparatus, and image correction program
JP2005275977A (ja) 画像表示方法、画像表示装置及び画像表示プログラム
JP2005286653A (ja) 画像表示方法、画像表示装置及び画像表示プログラム
JPWO2006059573A1 (ja) 色彩調整装置及び方法
JP2007166456A (ja) 画像調整装置、画像調整方法及びプログラム
US11451703B2 (en) Method and system for customizing camera parameters
JP2007318331A (ja) 顕微鏡用撮像装置
JP2007158824A (ja) 画像処理装置、肌色調整方法及びプログラム
JP4115177B2 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2003125222A (ja) テーブルを調整する画像処理方法を実現するためのプログラム
US8421817B2 (en) Color processing apparatus and method thereof
EP1349115A2 (en) Image processing system, imaging device, and parameter-determining program
JP2005114531A (ja) 画像表示装置及び画像表示方法
JP5156423B2 (ja) 色処理装置および色処理方法
JP2008067093A (ja) カメラシステム、画像処理装置、および画像処理プログラム
JP2008228017A (ja) 色変換処理プログラム、色変換処理装置及び画像形成システム
JP4974030B2 (ja) 画像処理装置および画像処理方法
JP5132184B2 (ja) デジタルカメラ、ホワイトバランス調整方法及びプログラム
JP2001218070A (ja) 画像処理方法及び画像処理装置
JP2005101828A (ja) 画像処理システム、画像処理方法、その記録媒体およびプログラム
JP6577766B2 (ja) 画像処理装置
JP2019165398A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130424

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5259264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees