JP2014216876A - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP2014216876A
JP2014216876A JP2013093267A JP2013093267A JP2014216876A JP 2014216876 A JP2014216876 A JP 2014216876A JP 2013093267 A JP2013093267 A JP 2013093267A JP 2013093267 A JP2013093267 A JP 2013093267A JP 2014216876 A JP2014216876 A JP 2014216876A
Authority
JP
Japan
Prior art keywords
image data
display
storage
processing
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013093267A
Other languages
English (en)
Other versions
JP6161385B2 (ja
JP2014216876A5 (ja
Inventor
田中 克昌
Katsumasa Tanaka
克昌 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013093267A priority Critical patent/JP6161385B2/ja
Publication of JP2014216876A publication Critical patent/JP2014216876A/ja
Publication of JP2014216876A5 publication Critical patent/JP2014216876A5/ja
Application granted granted Critical
Publication of JP6161385B2 publication Critical patent/JP6161385B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

【課題】記録処理時と再生処理時との間の、表示装置に表示された画像データの色再現の差異を低減することのできる技術を提供する。【解決手段】本発明の撮像装置は、撮像手段と、撮像データを第1の表示用の画像データに変換する第1変換手段と、撮像データを保存用の画像データに変換する第2変換手段と、撮像装置に接続された表示装置である接続表示装置に第1の表示用の画像データを表示しながら、保存用の画像データを記憶部に記録する記録処理と、記憶部に記録された保存用の画像データを接続表示装置に表示する再生処理とを行う処理手段と、を有し、処理手段は、再生処理として、接続表示装置に表示したときの色再現が第1の表示用の画像データと一致するように、保存用の画像データを第2の表示用の画像データに変換し、当該第2の表示用の画像データを接続表示装置に表示する処理を行う。【選択図】図1

Description

本発明は、撮像装置及びその制御方法に関する。
HDRI(ハイダイナミックレンジイメージ)データのフォーマットとして、Open
EXRが公開されている。
Open EXRは、RAWデータを保存することのできる撮像装置において、保存するRAWデータのフォーマットとして用いることができる。
Open EXRは、the Academy of Motion Picture
Arts and SciencesにIIF(Image Interchange
Framework)委員会が提案しているオープン標準である。そのため、Open
EXRを用いることにより、様々な撮像装置の画像処理や、撮像装置に接続される様々な接続装置(例えば、様々な表示装置)の画像処理を施すことのできる画像データを得ることができる。
また、画像データの再生を行う再生装置、画像データの表示を行う表示装置、などの外部装置と接続可能な撮像装置がある。しかしながら、このような撮像装置を1つ以上の外部装置と接続して1つのシステムを構成すると、1つの画像データに同じ画像処理が複数回施されたり、画像データに必要な画像処理が施されなかったりしてしまい、画質の劣化が生じる虞がある。例えば、上記システムにおいて、特定の画像処理を行う機能部を有する装置が複数存在する場合に、1つの画像データに上記特定の画像処理が複数回施されてしまう。
そのような課題を解決するための技術として、特許文献1に開示の技術が提案されている。例えば、特許文献1に開示の再生装置は、色域変換後の画像データである変換後データと、変換後データから色域変換前の画像データである元データを復元する復元処理で使用される復元メタデータとを、DVD等のメディアから取得する。また、再生装置は、当該再生装置に接続されている出力装置と通信を行い、出力装置で復元処理が実行可能か否かを判断する。そして、再生装置は、自身の性能と、出力装置で復元処理が実行可能か否かの判断結果とに基づいて、再生装置と出力装置から復元処理を行わせる装置を選択し、再生装置による復元処理の実行/非実行と、出力装置による復元処理の実行/非実行とを制御する。これにより、復元処理が再生装置と出力装置で重複して行われることを抑制することができる。
ここで、装置間の接続に利用されるインタフェースとして、Thunderboltがある。Thunderboltを用いることにより、装置間で、PCI expressのデータとDisplay Portのデータとを伝送することができる。そして、Thunderboltを用いることにより、装置間で、Open EXRの画像データと、sRGBの画像データとを、同時または個別に伝送することができる。
従って、Thunderboltを用いて撮像装置と表示装置が互いに接続された場合、撮像装置は、ライブビュー用の画像データを表示装置に表示しながら、保存用の画像データを記録することができる。具体的には、撮像装置は、ライブビュー用の画像データであるsRGBの画像データを表示装置に表示しながら、保存用の画像データであるOpen EXRの画像データを記録することができる(記録処理)。さらに、撮像装置は、記録したOpen EXRの画像データを表示装置に表示することができる(再生処理)。
しかしながら、Open EXRの画像データは、ACES(Academy Color Encoding Space)への色空間変換処理が施された画像データ(ACESの画像データ)である。そのため、保存用の画像データ(ACESの画像データ)は、ライブビュー用の画像データ(sRGBの画像データ)とはフォーマットが異なる。その結果、記録処理時と再生処理時とで、表示装置に表示される画像データの色再現が異なり、表示装置に表示される画像データの表示色(画面上の色)や表示輝度(画面上の輝度)が異なってしまう。このような色再現の差異は、ユーザに違和感を抱かせるため、好ましくない。
また、撮像装置や表示装置がACESの画像データをsRGBの画像データに変換する色空間変換処理(ACES−sRGB変換処理)を実行可能な場合であっても、従来技術では、記録処理時と再生処理時とで、色再現が異なってしまう。例えば、特許文献1に開示の技術では、処理を行わせる装置を選択することしか行われない。そのため、特許文献1に開示の技術を用いた場合には、保存用の画像データ(ACESの画像データ)だけでなく、ライブビュー用の画像データ(sRGBの画像データ)に対してもACES−sRGB変換処理が施されてしまう。その結果、記録処理時と再生処理時とで、表示装置に表示される画像データの色再現が異なってしまう。なお、Open EXRの画像データ(ACESの画像データ)をsRGBの画像データに変換するためには、表示装置固有のテーブル(ODTテーブル)が必要である。しかし、特許文献1に開示の技術では、ODTテーブルの送受信が行われないため、再生装置がACES−sRGB変換処理を実行することはできない。
特開2010−273202号公報
本発明は、記録処理時と再生処理時との間の、表示装置に表示された画像データの色再現の差異を低減することのできる技術を提供することを目的とする。
本発明の撮像装置は、
表示装置と接続可能な撮像装置であって、
撮像によって撮像データを生成する撮像手段と、
前記撮像データを第1の表示用の画像データに変換する第1変換手段と、
前記撮像データを保存用の画像データに変換する第2変換手段と、
前記撮像装置に接続された表示装置である接続表示装置に第1の表示用の画像データを表示しながら、保存用の画像データを記憶部に記録する記録処理と、前記記憶部に記録された保存用の画像データを前記接続表示装置に表示する再生処理とを行う処理手段と、
を有し、
保存用の画像データと、第1の表示用の画像データとは、フォーマットが互いに異なり、
前記処理手段は、前記再生処理として、前記接続表示装置に表示したときの色再現が第1の表示用の画像データと一致するように、保存用の画像データを第2の表示用の画像データに変換し、当該第2の表示用の画像データを前記接続表示装置に表示する処理を行うことを特徴とする。
本発明の撮像装置の制御方法は、
表示装置と接続可能な撮像装置の制御方法であって、
撮像によって撮像データを生成する撮像ステップと、
前記撮像データを第1の表示用の画像データに変換する第1変換ステップと、
前記撮像データを保存用の画像データに変換する第2変換ステップと、
前記撮像装置に接続された表示装置である接続表示装置に第1の表示用の画像データを表示しながら、保存用の画像データを記憶部に記録する記録処理と、前記記憶部に記録された保存用の画像データを前記接続表示装置に表示する再生処理とを行う処理ステップと、
を有し、
保存用の画像データと、第1の表示用の画像データとは、フォーマットが互いに異なり、
前記処理ステップでは、前記再生処理として、前記接続表示装置に表示したときの色再現が第1の表示用の画像データと一致するように、保存用の画像データを第2の表示用の画像データに変換し、当該第2の表示用の画像データを前記接続表示装置に表示する処理を行う
ことを特徴とする。
本発明によれば、記録処理時と再生処理時との間の、表示装置に表示された画像データの色再現の差異を低減することができる。
実施例1に係る撮像装置の構成の一例を示すブロック図 実施例1に係るRT・ODT制御部の処理の一例を示すフローチャート 実施例2に係る撮像装置と接続表示装置の構成の一例を示すブロック図 実施例2に係る撮像装置と表示装置の動作の一例を示すタイムチャート
以下、本発明の実施例に係る撮像装置及びその制御方法について、図面を参照して詳細に説明する。本実施例に係る撮像装置は、表示装置と接続可能な装置である。撮像装置は、例えば、Thunderboltを用いて表示装置に接続される。Thunderboltを用いることにより、装置間で、PCI expressのデータとDisplay
Portのデータとを伝送することができる。そして、Thunderboltを用いることにより、装置間で、Open EXRの画像データと、sRGBの画像データとを、同時または個別に伝送することができる。
<実施例1>
図1は、本発明の実施例1に係る撮像装置の構成の一例を示すブロック図である。図1に示すように、本実施例に係る撮像装置1は、撮像素子10、状態管理部11、Open
EXR蓄積部12、撮像データ処理部13、EVF用画像処理部14、スケーラ部15、EVF部16、RT・ODT制御部17、ACES部18、RT・ODT処理部19、出力選択部20、などを有する。
撮像素子10は、撮像によって撮像データを生成する。具体的には、撮像素子10は、撮像によって得られた光学像を電気信号(撮像データ)に変換し、当該電気信号を撮像データ処理部13に出力する。
状態管理部11は、撮像装置1の状態を管理し、撮像装置1で行う処理を判断する。例えば、状態管理部11は、ユーザ操作、予め設定された処理スケジュール(処理のスケジュール)、などに応じて、撮像装置1で行う処理を判断する。本実施例では、状態管理部11は、撮像装置1で記録処理を行うか、再生処理を行うかを判断する。記録処理は、撮
像装置1に接続された表示装置である接続表示装置に第1の表示用の画像データを表示しながら、保存用の画像データをOpen EXR蓄積部12に記録する処理である。再生処理は、Open EXR蓄積部12に記録された保存用の画像データを接続表示装置に表示する処理である。第1の表示用の画像データは、例えば、ライブビュー用の画像データである。ライブビューは、例えば、撮像現場で撮像を行いながらリアルタイムで撮像データ(撮像データに基づく画像)を確認するための機能である。以後、“第1の表示用の画像データ”を“ライブビュー用の画像データ”と記載する。なお、第1の表示用の画像データは、表示に使用される画像データであればよく、ライブビューで使用される画像データに限らない。また、撮像が行われてから撮像データに基づく画像を表示するまでの時間に多少の遅延が生じるケース、例えば、撮像データに基づく画像を表示する際に使用される種々の信号(データ)の伝送に多少の遅延が生じるケースも、ライブビューに含まれる。
Open EXR蓄積部12は、保存用の画像データが記憶される記憶部(記憶媒体)である。Open EXR蓄積部12は、磁気ディスク、光ディスク、半導体メモリなどである。
なお、Open EXR蓄積部12は、撮像装置1から取り外し不可能な記憶媒体であってもよいし、撮像装置1から取り外し可能な記憶媒体であってもよい。
撮像データ処理部13は、撮像素子10が出力した電気信号をライブビュー用の画像データに変換する(第1変換処理)。そして、撮像データ処理部13は、ライブビュー用の画像データをEVF用画像処理部14とRT・ODT制御部17に出力する。本実施例では、電気信号(撮像データ)が、ライブビュー用の画像データであるsRGBの画像データに変換される。
撮像データ処理部13とACES部18により、撮像素子10が出力した電気信号が保存用の画像データに変換される(第2変換)。本実施例では、電気信号(撮像データ)が、保存用の画像データであるACESの画像データに変換される。なお、第2変換処理は、記録処理が行われるときにのみ行われてもよい。
具体的には、撮像データ処理部13は、撮像素子10が出力した電気信号をACES部18が処理可能な画像データに変換し、当該画像データをACES部18に出力する。
ACES部18は、撮像データ処理部13が出力した画像データ(ACES部18が処理可能な画像データ)を、ACESの画像データに変換する。
なお、撮像データ処理部13は、撮像素子10が出力した電気信号に対してキズ補正処理、デモザイク処理などの処理を施す機能を有していてもよい。そして、ライブビュー用の画像データ、及び、保存用の画像データは、キズ補正処理、デモザイク処理などの処理が施された電気信号を変換することにより得られてもよい。
ACES部18、RT・ODT制御部17、RT・ODT処理部19、及び、出力選択部20により、記録処理と再生処理が行われる。具体的には、状態管理部11の判断結果に応じた処理が行われる。
ここで、保存用の画像データと、ライブビュー用の画像データとは、フォーマットが互いに異なる。具体的には、保存用の画像データと、ライブビュー用の画像データとは、色再現範囲、色空間、及び、階調特性の少なくともいずれかが互いに異なる。本実施例では、上述したように、保存用の画像データはACESの画像データであり、ライブビュー用の画像データはsRGBの画像データである。ACESの画像データの色再現範囲は、sRGBの画像データの色再現範囲よりも広い。そのため、再生処理において保存用の画像データをそのまま表示してしまうと、記録処理時と再生処理時とで、表示装置に表示され
る画像データの色再現が異なってしまう。そして、記録処理時と再生処理時とで、表示装置に表示される画像データの表示色(画面上の色)や表示輝度(画面上の輝度)が異なってしまう。このような色再現の差異は、ユーザに違和感を抱かせるため、好ましくない。
そこで、本実施例では、再生処理として、接続表示装置に表示したときの色再現がライブビュー用の画像データと一致するように、保存用の画像データを第2の表示用の画像データに変換し、当該第2の表示用の画像データを接続表示装置に表示する処理を行う。それにより、記録処理時と再生処理時との間の、表示装置に表示された画像データの色再現の差異を低減することができる。以後、“第2の表示用の画像データ”を単に“表示用の画像データ”と記載する。本実施例では、保存用の画像データであるACESの画像データは、表示用の画像データであるsRGBの画像データに変換される。但し、ライブビュー用の画像データは高速処理可能とするためにビット数が小さくされており、表示用の画像データとして、ライブビュー用の画像データよりもビット数が高い画像データを得ることができる。即ち、表示用の画像データとして、ライブビュー用の画像データよりも階調性が高い画像データを得ることができる。
ACES部18は、記録処理において、保存用の画像データをOpen EXR蓄積部12に記録する。本実施例では、保存用の画像データは、Open EXRのフォーマットで記録される。
そして、RT・ODT制御部17、RT・ODT処理部19、及び、出力選択部20により、状態管理部11の判断結果に応じた画像データを接続表示装置に表示する処理が行われる。具体的には、記録処理において、ライブビュー用の画像データが接続表示装置に表示され、再生処理において、保存用の画像データを表示用の画像データが変換され、当該表示用の画像データが接続表示装置に表示される。
RT・ODT制御部17は、状態管理部11の判断結果に応じて、RT・ODT処理部19と出力選択部20の処理を制御する。具体的には、RT・ODT制御部17は、状態管理部11の判断結果に応じた制御信号を、RT・ODT処理部19と出力選択部20に出力する。
また、RT・ODT制御部17は、記録処理においてライブビュー用の画像データを、再生処理において保存用の画像データ(Open EXR蓄積部12に記録された保存用の画像データ)を、RT・ODT処理部19と出力選択部20に出力する。
なお、RT・ODT制御部17は、記録処理においてライブビュー用の画像データを出力選択部20に出力し、再生処理において保存用の画像データをRT・ODT処理部19に出力してもよい。
RT・ODT処理部19は、RT・ODT制御部17から出力された画像データに対して、保存用の画像データを表示用の画像データに変換する表示用変換処理を施す。本実施例では、RT・ODT処理部19は、RT・ODT制御部17からの制御信号に応じて、表示用変換処理を行う。具体的には、記録処理において、RT・ODT処理部19は、ライブビュー用の画像データを表示用変換処理を施さずに出力する。そして、再生処理において、RT・ODT処理部19は、保存用の画像データを表示用変換処理を施して出力する。即ち、再生処理において、RT・ODT処理部19は、表示用の画像データを出力する。
なお、RT・ODT処理部19は、記録処理か再生処理かに拘わらず、入力された画像データを表示用変換処理を施して出力してもよい。
表示用変換処理は、例えば、Reference Rendering Transform(RRT処理)やOutput Device Transform(ODT処理)である。RRT処理は、ACESの画像データ(RRT処理前の画像データ)をある理
想化された表示デバイスに適合したOCES(Output Color Encoding Specification)の画像データに変換する基準レンダリング変換処理である。例えば、1D−LUTおよび3D−LUTを用いた階調変換処理や色補正処理等が含まれる。また、ODT処理は、RRT処理されたOCESの画像データを出力デバイスに応じて変換する出力デバイス変換処理である。例えば、1D−LUTを用いた階調変換処理や色空間変換処理等が含まれる。RT・ODT処理部19は、RRT処理、ODT処理、または、それらの両方を保存用の画像データに施すことにより、保存用の画像データを表示用の画像データに変換する。ACESの画像データがRRT処理後の画像データである場合には、ODT処理のみを行えばよい。ACESの画像データがRRT処理前のデータである場合には、RRT処理とODT処理の両方を行えばよい。但し、ACESの画像データがRRT処理前のデータであっても、ライブビュー用の画像データが理想化されたデバイスの特性に適合した画像データである場合には、RRT処理のみを行えばよい。RRT処理やODT処理で使用するテーブルは、例えば、撮像装置1内に予め記憶されている。
出力選択部20は、Display Portのデータとして画像データを接続表示装置に出力することにより、当該画像データを接続表示装置に表示(画像表示)する。本実施例では、出力選択部20は、RT・ODT制御部17からの制御信号に応じて、RT・ODT制御部17から出力された画像データと、RT・ODT処理部19から出力された画像データとの一方を、出力する画像データとして選択する。そして、出力選択部20は、選択した画像データを接続表示装置に出力する。具体的には、記録処理において、出力選択部20は、RT・ODT制御部17から出力されたライブビュー用の画像データ(表示用変換処理が施される前のライブビュー用の画像データ)を選択(取得)する。そして、再生処理において、出力選択部20は、RT・ODT処理部19から出力された表示用の画像データ(表示用変換処理が施された後の保存用の画像データである表示用の画像データ)を選択する。
なお、上述したように、本実施例では、RT・ODT処理部19は、ライブビュー用の画像データを表示用変換処理を施さずに出力する。そのため、出力選択部20は、記録処理か再生処理かに拘わらず、RT・ODT処理部19から出力された画像データを接続表示装置に表示してもよい。
EVF部16は、画像データを表示するEVF(Electronic View Finder)である。EVF部16は、後述するスケーラ部15でスケーリング処理が施された画像データを表示する。
EVF用画像処理部14は、ライブビュー用の画像データに対し、ライブビュー用の画像データをEVF部16に表示するための画像処理を施す。
スケーラ部15は、EVF用画像処理部14で画像処理が施された画像データに対して、解像度(サイズ)をEVF部16の表示解像度に合わせるスケーリング処理を施す。
(記録処理)
記録処理時の撮像装置1の動作について図2を用いて説明する。図2は、RT・ODT制御部17の処理の一例を示すフローチャートである。
まず、撮像素子10が、ユーザ操作(ユーザによる撮像操作)に応じて撮像を行い、撮像によって生成した電気信号(撮像データ)を撮像データ処理部13に出力する。なお、撮像素子10は、予め設定された処理スケジュールに応じて撮像を行ってもよいし、状態管理部11の判断結果(記録処理を行うという判断結果)に応じて撮像を行ってもよい。
次に、撮像データ処理部13が、撮像素子10が出力した電気信号をライブビュー用の画像データに変換し、ライブビュー用の画像データをEVF用画像処理部14とRT・ODT制御部17に出力する。また、撮像データ処理部13は、撮像素子10が出力した電
気信号をACES部18が処理可能な画像データに変換し、当該画像データをACES部18に出力する。
そして、ACES部18が、撮像データ処理部13が出力した画像データ(ACES部18が処理可能な画像データ)を、ACESの画像データに変換し、ACESの画像データをOpen EXRのフォーマットでOpen EXR蓄積部12に記録する。
また、記録処理を行う際には、
・EVF部16にライブビュー用の画像データを表示する処理
・接続表示装置にライブビュー用の画像データを表示する処理
が行われる。ユーザは、EVF部16や接続表示装置に表示された画像を見ることにより、記録する画像データを確認し、ピント、被写体位置、撮像範囲、明るさ、色味などの撮像条件を調整することができる。
1つ目の処理では、EVF用画像処理部14が、ライブビュー用の画像データに対し、ライブビュー用の画像データをEVF部16に表示するための画像処理を施す。次に、スケーラ部15が、EVF用画像処理部14で画像処理が施された画像データに対して、解像度(サイズ)をEVF部16の表示解像度に合わせるスケーリング処理を施す。そして、EVF部16が、後述するスケーラ部15でスケーリング処理が施された画像データを表示する。
2つ目の処理の前処理として、以下の処理が行われる。
まず、RT・ODT制御部17が、状態管理部11から判断結果(記録処理を行うか、再生処理を行うかの判断結果)を取得する(S201)。ここでは、記録処理を行うと判断されているため(S202:Yes)、S203に処理が進められる。
S203では、RT・ODT制御部17が、RT・ODT制御部17から出力されたライブビュー用の画像データ(表示用変換処理が施される前のライブビュー用の画像データ)の選択を出力選択部20に指示する。
それにより、2つ目の処理として、ライブビュー用の画像データを表示用変換処理を施さずに表示する処理が行われることとなる。具体的には、出力選択部20において、RT・ODT制御部17から出力されたライブビュー用の画像データ(表示用変換処理が施される前のライブビュー用の画像データ)が選択され、接続表示装置に出力される。
(再生処理)
再生処理時の撮像装置1の動作について図2を用いて説明する。
まず、RT・ODT制御部17が、ユーザ操作に応じて、記録された保存用の画像データをOpen EXR蓄積部12から読み出す。なお、RT・ODT制御部17は、予め設定された処理スケジュールに応じて保存用の画像データを読み出してもよいし、状態管理部11の判断結果(再生処理を行うという判断結果)に応じて保存用の画像データを読み出してもよい。
そして、読み出した保存用の画像データを接続表示装置に表示する処理が行われる。
読み出した保存用の画像データを接続表示装置に表示する処理の前処理として、以下の処理が行われる。なお、当該前処理は、保存用の画像データをOpen EXR蓄積部12から読み出す処理よりも前に行われてもよいし、後に行われてもよい。また、当該前処理は、保存用の画像データをOpen EXR蓄積部12から読み出す処理と並列に行われてもよい。
まず、RT・ODT制御部17が、状態管理部11から判断結果(記録処理を行うか、再生処理を行うかの判断結果)を取得する(S201)。ここでは、再生処理を行うと判
断されているため(S202:No)、S204に処理が進められる。
S204では、RT・ODT制御部17が、RT・ODT処理部19から出力された表示用の画像データ(表示用変換処理が施された後の保存用の画像データ)の選択を出力選択部20に指示する。
次に、RT・ODT制御部17が、表示用変換処理の実行をRT・ODT処理部19に指示する。
それにより、読み出した保存用の画像データを接続表示装置に表示する処理として、読み出した保存用の画像データを表示用変換処理を施して表示する処理が行われることとなる。具体的には、出力選択部20において、RT・ODT処理部19から出力された表示用の画像データ(表示用変換処理が施された後の保存用の画像データ)が選択され、接続表示装置に出力される。
なお、上述した前処理(接続表示装置にライブビュー用の画像データや保存用の画像データを表示する処理の前処理)は、例えば、所定時間おきに繰り返し行われる。また、上述した前処理は、ユーザ操作や処理スケジュールに応じて撮像装置1の状態が変更された場合に行われてもよい。例えば、上述した前処理は、ユーザによって記録処理を開始する操作が行われた場合、ユーザによって記録処理を停止する操作が行われた場合、などに行われる。また、上述した前処理は、ユーザによって再生処理を開始する操作が行われた場合、ユーザによって再生処理を停止する操作が行われた場合、などに行われる。
以上述べたように、本実施例によれば、再生処理において、接続表示装置に表示したときの色再現がライブビュー用の画像データと一致するように保存用の画像データが表示用の画像データに変換される。そして、表示用の画像データが接続表示装置に表示される。それにより、記録処理時と再生処理時との間の、表示装置に表示された画像データの色再現の差異を低減することができる。
なお、本実施例では、記録処理時にライブビュー用の画像データが接続表示装置に表示される例を説明したが、これに限らない。ライブビュー用の画像データは、記録処理時に必ずしも接続表示装置に表示されなくてもよい。また、ライブビュー用の画像データは、記録処理時以外に接続表示装置に表示されてもよい。例えば、記録処理も再生処理も行わないときに、ライブビュー用の画像データが接続表示装置に表示されてもよい。
なお、撮像データをライブビュー用の画像データに変換する処理と、撮像データをACES部18が処理可能な画像データに変換する処理とは、異なる機能部によって行われてもよい。例えば、ACES部18が撮像データをACESの画像データに変換してもよい。
また、ACESの画像データを記録する処理(ACES部18の処理)、RT・ODT制御部17の処理、RT・ODT処理部19の処理、及び、出力選択部20の処理は、4つより少ない機能部で行われてもよい。例えば、ACESの画像データを記録する処理、RT・ODT制御部17の処理、RT・ODT処理部19の処理、及び、出力選択部20の処理は、1つの機能部で行われてもよい。RT・ODT制御部17の処理、RT・ODT処理部19の処理、及び、出力選択部20の処理は、1つの機能部で行われてもよい。
なお、ライブビュー用の画像データはsRGBの画像データに限らない。例えば、ライブビュー用の画像データは、ITU−R BT.709の画像データであってもよい。同様に、保存用の画像データはACESの画像データに限らない。また、表示用変換処理は、RRT処理やODT処理に限らない。表示用変換処理は、接続表示装置に表示したときの色再現がライブビュー用の画像データと一致するように、保存用の画像データを表示用の画像データに変換する処理であれば、どのような処理であってもよい。
なお、変換パラメータ保存用の画像データの画素値と、表示用の画像データの画素値との対応関係に関する情報は、テーブルに限らない。例えば、上記対応関係に関する情報は、変換パラメータ保存用の画像データの画素値と、表示用の画像データの画素値との対応関係を表す関数であってもよい。
なお、撮像装置1は、接続表示装置をEVFとして利用することが前提の装置である場合には、EVF用画像処理部14、スケーラ部15、及び、EVF部16を有していなくてもよい。
なお、本実施例では、撮像装置と表示装置がThunderbolt接続される例を示したが、これに限らない。例えば、撮像装置と表示装置は、Display Port規格のケーブルを用いてDisplay Port接続され、且つ、PCI express規格のケーブルを用いてPCI express接続されてもよい。また、撮像装置と表示装置は、Display Port接続とPCI express接続のうちのいずれかの接続方法で接続されてもよい。撮像装置と表示装置はDisplay PortやPCI express以外の規格のケーブルを用いて接続されてもよい。
<実施例2>
実施例1では、表示用変換処理が、保存用の画像データの画素値と、表示用の画像データの画素値との対応関係に関する情報を用いて行われるものであり、当該対応関係に関する情報が撮像装置内に予め記憶されている例を説明した。具体的には、RRT処理やODT処理で使用されるテーブルが撮像装置内に予め記憶されている例を説明した。しかしながら、上記対応関係は表示装置に依存するため、上記対応関係に関する情報を接続表示装置に応じて変更することが望ましい。例えば、表示用の画像データのビット数は表示装置に依存するため、ODT処理で使用されるテーブル(ODTテーブル)も表示装置に依存する。そのため、ODTテーブルを接続表示装置に応じて変更することが望ましい。実施例2では、上記対応関係に関する情報を接続表示装置に応じて変更することのできる構成について説明する。
なお、実施例1と同様の処理については説明を省略する。
図3は、本発明の実施例2に係る撮像装置と接続表示装置の構成の一例を示すブロック図である。図3の例では、撮像装置1は実施例1(図1)と同様の構成を有する。そして、撮像装置1は、表示装置2に接続されている。表示装置2は、ODTテーブル送信部21、RT・ODT処理部22、パネル系画像処理部23、表示パネル24、などを有する。
ODTテーブル送信部21は、保存用の画像データの画素値と、表示用の画像データの画素値との対応関係に関する情報をRT・ODT制御部17へ送信する。換言すれば、RT,ODT制御部17は、上記対応関係に関する情報を表示装置2(接続表示装置)から取得する。本実施例では、ODTテーブル送信部21は、RT・ODT処理部22でのODT処理に必要なODTテーブルをRT・ODT制御部17へ送信する。ODTテーブルは、表示装置固有のテーブルであるため、撮像装置に予め記憶することができないことがある。
RT・ODT処理部22は、表示用変換処理を画像データに施す。本実施例では、PCI expressのデータとして、記録された保存用の画像データを表示装置2に出力して表示することができる。RT・ODT処理部22は、PCI expressのデータである保存用の画像データに対し表示用変換処理を施すことにより、表示用の画像データを生成し、パネル系画像処理部23に出力する。本実施例では、RT・ODT処理部2
2は、PCI expressのデータである保存用の画像データ(RRT処理前のACESの画像データ)に対しRRT処理とODT処理を施すことにより、表示用の画像データを生成する。
パネル系画像処理部23は、入力された画像データ(Display Portのデータとして入力された画像データ、または、RT・ODT処理部22から入力された画像データ)に対して、表示パネル24の表示特性に応じた画像処理を施す。そして、パネル系画像処理部23は、画像処理が施された画像データを、表示パネル24に出力する。画像処理は、γ調整処理や画素毎の輝度調整処理である。
表示パネル24は、パネル系画像処理部23から入力された画像データを表示する表示パネルである。表示パネル24は、例えば、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ELディスプレイパネル、などである。
本実施例に係る撮像装置1と表示装置2の動作の一例について、図4のタイムチャートを用いて説明する。
まず、時刻T1において、撮像装置1が表示装置2に接続される。このとき、表示装置2は、撮像装置1が接続されたことを検知する。
次に、時刻T2において、表示装置2のODTテーブル送信部21が撮像装置1に対して表示用変換処理(RRT処理とODT処理)を実行する機能を有するか否かを問い合わせる。
そして、時刻T3において、撮像装置1のRT・ODT制御部17が、上記問い合わせに対する応答を行う。本実施例では、表示用変換処理(RRT処理とODT処理)を実行する機能を有する旨が表示装置2に通知される。
次に、時刻T4において、表示装置2のODTテーブル送信部21がRT・ODT処理部22からODTテーブルを読み出す。
そして、時刻T5において、表示装置2のODTテーブル送信部21が、撮像装置1のRT・ODT制御部17対してODTテーブルを送信する。
次に、時刻T6において、撮像装置1のRT・ODT制御部17が、ODTテーブルを受信し、RT・ODT処理部19へODTテーブルを送信する。これにより、撮像装置1のRT・ODT処理部19では、RT・ODT制御部17で受信されたODTテーブルを用いたODT処理が行われることとなる。即ち、撮像装置1では、表示装置2から取得された情報(保存用の画像データの画素値と、表示用の画像データの画素値との対応関係に関する情報)を用いて、表示装置2と同じ表示用変換処理(具体的にはODT処理)が行われることとなる。なお、ODTテーブルの格納先は、RT・ODT制御部17でなくてもよい。撮像装置1は、表示装置2から取得したODTテーブルを記憶する記憶部(記憶媒体)を有していてもよい。
以上述べたように、本実施例によれば、保存用の画像データの画素値と、表示用の画像データの画素値との対応関係に関する情報(具体的にはODTテーブル)が外部から取得される。それにより、接続表示装置に適した表示用変換処理を行うことが可能となり、記録処理時と再生処理時との間の、表示装置に表示された画像データの色再現の差異をより確実に低減することが可能となる。具体的には、接続表示装置に依存せずに上記差異を低減することができる。
なお、保存用の画像データの画素値と、表示用の画像データの画素値との対応関係に関する情報の取得は、RT・ODT制御部17とは異なる機能部によって行われてもよい。例えば、撮像装置1が、保存用の画像データの画素値と、表示用の画像データの画素値との対応関係に関する情報の取得する取得部を有していてもよい。
なお、本実施例では、表示装置が、撮像装置が接続されたことを検知し、情報(保存用の画像データの画素値と、表示用の画像データの画素値との対応関係に関する情報)を出力する例を説明したが、これに限らない。例えば、撮像装置が、表示装置が接続されたことを検知し、表示装置に上記情報の送信を指示してもよい。そして、表示装置が、当該指示に応じて上記情報を出力してもよい。
なお、本実施例では、保存用の画像データの画素値と、表示用の画像データの画素値との対応関係に関する情報が接続表示装置から取得される例を示したが、これに限らない。例えば、上記情報は、表示装置毎に上記情報を管理する管理装置から取得されてもよい。具体的には、上記情報は、ユーザ操作に応じて上記管理装置から取得されてもよい。また、接続表示装置から当該接続表示装置の識別情報を取得し、当該接続表示装置(識別情報で表される表示装置)に対応する情報が、上記管理装置から取得されてもよい。
1:撮像装置、10:撮像素子、12:Open EXR蓄積部、13:撮像データ処理部、17:RT・ODT制御部、18:ACES部、19:RT・ODT処理部、20:出力選択部

Claims (18)

  1. 表示装置と接続可能な撮像装置であって、
    撮像によって撮像データを生成する撮像手段と、
    前記撮像データを第1の表示用の画像データに変換する第1変換手段と、
    前記撮像データを保存用の画像データに変換する第2変換手段と、
    前記撮像装置に接続された表示装置である接続表示装置に第1の表示用の画像データを表示しながら、保存用の画像データを記憶部に記録する記録処理と、前記記憶部に記録された保存用の画像データを前記接続表示装置に表示する再生処理とを行う処理手段と、
    を有し、
    保存用の画像データと、第1の表示用の画像データとは、フォーマットが互いに異なり、
    前記処理手段は、前記再生処理として、前記接続表示装置に表示したときの色再現が第1の表示用の画像データと一致するように、保存用の画像データを第2の表示用の画像データに変換し、当該第2の表示用の画像データを前記接続表示装置に表示する処理を行うことを特徴とする撮像装置。
  2. 保存用の画像データと、第1の表示用の画像データとは、色再現範囲、色空間、及び、階調特性の少なくともいずれかが互いに異なる
    ことを特徴とする請求項1に記載の撮像装置。
  3. 保存用の画像データから第2の表示用の画像データへの変換は、変換パラメータ保存用の画像データの画素値と、第2の表示用の画像データの画素値との対応関係に関する情報を用いて行われるものであり、
    前記対応関係に関する情報を取得する取得手段をさらに有し、
    前記処理手段は、前記取得手段で取得された前記情報を用いて、保存用の画像データを第2の表示用の画像データに変換する
    ことを特徴とする請求項1または2に記載の撮像装置。
  4. 前記対応関係は、表示装置に依存するものであり、
    前記取得手段は、前記対応関係に関する情報を前記接続表示装置から取得する
    ことを特徴とする請求項3に記載の撮像装置。
  5. 前記処理手段は、
    前記記録処理において、保存用の画像データを前記記憶部に記録する記録手段と、
    前記記録処理において、第1の表示用の画像データを前記接続表示装置に表示し、前記再生処理において、保存用の画像データを第2の表示用の画像データに変換し、当該第2の表示用の画像データを前記接続表示装置に表示する表示手段と、
    を有する
    ことを特徴とする請求項1〜4のいずれか1項に記載の撮像装置。
  6. 前記表示手段は、
    保存用の画像データを第2の表示用の画像データに変換する表示用変換処理を画像データに施す表示用変換手段と、
    画像データを前記接続表示装置に表示する画像表示手段と、
    を有し、
    前記記録処理において、前記画像表示手段は、前記表示用変換手段で前記表示用変換処理が施される前の第1の表示用の画像データを取得し、当該第1の表示用の画像データを前記接続表示装置に表示し、
    前記再生処理において、前記画像表示手段は、前記表示用変換手段で前記表示用変換処
    理が施された後の保存用の画像データである第2の表示用の画像データを取得し、当該取得した第2の表示用の画像データを前記接続表示装置に表示する
    ことを特徴とする請求項5に記載の撮像装置。
  7. 前記表示手段は、
    保存用の画像データを第2の表示用の画像データに変換する表示用変換処理を画像データに施す表示用変換手段と、
    画像データを前記接続表示装置に表示する画像表示手段と、
    を有し、
    前記記録処理において、前記表示用変換手段は、第1の表示用の画像データを前記表示用変換処理を施さずに出力し、
    前記再生処理において、前記表示用変換手段は、保存用の画像データを前記表示用変換処理を施して出力し、
    前記画像表示手段は、前記表示用変換手段から出力された画像データを前記接続表示装置に表示する
    ことを特徴とする請求項5に記載の撮像装置。
  8. 前記記録処理を行うか、前記再生処理を行うかを判断する判断手段をさらに有し、
    前記処理手段は、前記判断手段の判断結果に応じた処理を行う
    ことを特徴とする請求項1〜7のいずれか1項に記載の撮像装置。
  9. 第1の表示用の画像データは、sRGBの画像データであり、
    保存用の画像データは、ACESの画像データであり、
    前記処理手段は、RRT処理、ODT処理、または、それらの両方を保存用の画像データに施すことにより、保存用の画像データを、第2の表示用の画像データであるsRGBの画像データに変換する
    ことを特徴とする請求項1〜8のいずれか1項に記載の撮像装置。
  10. 表示装置と接続可能な撮像装置の制御方法であって、
    撮像によって撮像データを生成する撮像ステップと、
    前記撮像データを第1の表示用の画像データに変換する第1変換ステップと、
    前記撮像データを保存用の画像データに変換する第2変換ステップと、
    前記撮像装置に接続された表示装置である接続表示装置に第1の表示用の画像データを表示しながら、保存用の画像データを記憶部に記録する記録処理と、前記記憶部に記録された保存用の画像データを前記接続表示装置に表示する再生処理とを行う処理ステップと、
    を有し、
    保存用の画像データと、第1の表示用の画像データとは、フォーマットが互いに異なり、
    前記処理ステップでは、前記再生処理として、前記接続表示装置に表示したときの色再現が第1の表示用の画像データと一致するように、保存用の画像データを第2の表示用の画像データに変換し、当該第2の表示用の画像データを前記接続表示装置に表示する処理を行う
    ことを特徴とする撮像装置の制御方法。
  11. 保存用の画像データと、第1の表示用の画像データとは、色再現範囲、色空間、及び、階調特性の少なくともいずれかが互いに異なる
    ことを特徴とする請求項10に記載の撮像装置の制御方法。
  12. 保存用の画像データから第2の表示用の画像データへの変換は、保存用の画像データの
    画素値と、第2の表示用の画像データの画素値との対応関係に関する情報を用いて行われるものであり、
    前記対応関係に関する情報を取得する取得ステップをさらに有し、
    前記処理ステップでは、前記取得ステップで取得された前記情報を用いて、保存用の画像データを第2の表示用の画像データに変換する
    ことを特徴とする請求項10または11に記載の撮像装置の制御方法。
  13. 前記対応関係は、表示装置に依存するものであり、
    前記取得ステップでは、前記対応関係に関する情報を前記接続表示装置から取得する
    ことを特徴とする請求項12に記載の撮像装置の制御方法。
  14. 前記処理ステップは、
    前記記録処理において、保存用の画像データを前記記憶部に記録する記録ステップと、
    前記記録処理において、第1の表示用の画像データを前記接続表示装置に表示し、前記再生処理において、保存用の画像データを第2の表示用の画像データに変換し、当該第2の表示用の画像データを前記接続表示装置に表示する表示ステップと、
    を有する
    ことを特徴とする請求項10〜13のいずれか1項に記載の撮像装置の制御方法。
  15. 前記表示ステップは、
    保存用の画像データを第2の表示用の画像データに変換する表示用変換処理を画像データに施す表示用変換ステップと、
    画像データを前記接続表示装置に表示する画像表示ステップと、
    を有し、
    前記記録処理において、前記画像表示ステップでは、前記表示用変換ステップで前記表示用変換処理が施される前の第1の表示用の画像データを取得し、当該第1の表示用の画像データを前記接続表示装置に表示し、
    前記再生処理において、前記画像表示ステップは、前記表示用変換ステップで前記表示用変換処理が施された後の保存用の画像データである第2の表示用の画像データを取得し、当該取得した第2の表示用の画像データを前記接続表示装置に表示する
    ことを特徴とする請求項14に記載の撮像装置の制御方法。
  16. 前記表示ステップは、
    保存用の画像データを第2の表示用の画像データに変換する表示用変換処理を画像データに施す表示用変換ステップと、
    画像データを前記接続表示装置に表示する画像表示ステップと、
    を有し、
    前記記録処理において、前記表示用変換ステップでは、第1の表示用の画像データを前記表示用変換処理を施さずに出力し、
    前記再生処理において、前記表示用変換ステップでは、保存用の画像データを前記表示用変換処理を施して出力し、
    前記画像表示ステップでは、前記表示用変換ステップで出力された画像データを前記接続表示装置に表示する
    ことを特徴とする請求項14に記載の撮像装置の制御方法。
  17. 前記記録処理を行うか、前記再生処理を行うかを判断する判断ステップをさらに有し、
    前記処理ステップでは、前記判断ステップの判断結果に応じた処理を行う
    ことを特徴とする請求項10〜16のいずれか1項に記載の撮像装置の制御方法。
  18. 第1の表示用の画像データは、sRGBの画像データであり、
    保存用の画像データは、ACESの画像データであり、
    前記処理ステップでは、RRT処理、ODT処理、または、それらの両方を保存用の画像データに施すことにより、保存用の画像データを第2の表示用の画像データであるsRGBの画像データに変換する
    ことを特徴とする請求項10〜17のいずれか1項に記載の撮像装置の制御方法。
JP2013093267A 2013-04-26 2013-04-26 撮像装置及びその制御方法 Expired - Fee Related JP6161385B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013093267A JP6161385B2 (ja) 2013-04-26 2013-04-26 撮像装置及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013093267A JP6161385B2 (ja) 2013-04-26 2013-04-26 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2014216876A true JP2014216876A (ja) 2014-11-17
JP2014216876A5 JP2014216876A5 (ja) 2016-06-09
JP6161385B2 JP6161385B2 (ja) 2017-07-12

Family

ID=51942216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013093267A Expired - Fee Related JP6161385B2 (ja) 2013-04-26 2013-04-26 撮像装置及びその制御方法

Country Status (1)

Country Link
JP (1) JP6161385B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422809A (zh) * 2019-08-20 2021-02-26 佳能株式会社 摄像设备、摄像设备的控制方法和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096400A (ja) * 2002-08-30 2004-03-25 Minolta Co Ltd 撮像装置、画像記録装置及びプログラム
JP2010187414A (ja) * 2000-10-13 2010-08-26 Seiko Epson Corp 画像ファイルの出力画像調整

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010187414A (ja) * 2000-10-13 2010-08-26 Seiko Epson Corp 画像ファイルの出力画像調整
JP2004096400A (ja) * 2002-08-30 2004-03-25 Minolta Co Ltd 撮像装置、画像記録装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FLORIAN KAINZ: "Using OpenEXR and the Color Transformation Language in Digital Motion Picture Production", OPENEXR [ONLINE], JPN6017003733, 2 August 2007 (2007-08-02), US, pages 1 - 19 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422809A (zh) * 2019-08-20 2021-02-26 佳能株式会社 摄像设备、摄像设备的控制方法和计算机可读介质

Also Published As

Publication number Publication date
JP6161385B2 (ja) 2017-07-12

Similar Documents

Publication Publication Date Title
US10440285B2 (en) Imaging apparatus and imaging method
JPWO2015198554A1 (ja) 変換方法および変換装置
US7512021B2 (en) Register configuration control device, register configuration control method, and program for implementing the method
JP2007166604A (ja) 画像獲得装置及び方法、並びにその方法を行うプログラムが記録された記録媒体
JP2015109563A (ja) 映像信号処理装置及びその制御方法
JP2017005310A5 (ja) 画像表示装置、画像出力装置、及び、それらの制御方法
JP7254477B2 (ja) 表示装置およびその制御方法
CN107077824B (zh) 图像显示控制设备、传输设备、图像显示控制方法
JP2020145625A (ja) 撮像装置及び再生装置及びそれらの制御方法及びプログラム
JP2019057824A (ja) 映像出力装置、映像出力方法
JP6161385B2 (ja) 撮像装置及びその制御方法
US11094286B2 (en) Image processing apparatus and image processing method
US9413974B2 (en) Information processing apparatus, image sensing apparatus, control method, and recording medium for conversion processing
JP2016119648A (ja) パラメータ記録制御装置及びその制御方法
JP5791687B2 (ja) 変換制御装置及びその制御方法
TW201803339A (zh) 影像訊號處理裝置、影像訊號處理方法以及電腦程式產品
JP2014219724A (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP2019009731A (ja) 画像処理装置及び方法、撮像装置、及び、撮像システム
JP2019220752A (ja) 情報処理装置
JP5791244B2 (ja) 画像処理装置、表示装置及びそれらの制御方法
US10893192B2 (en) Moving image pickup apparatus, moving image pickup method, and moving image pickup program using a three-dimensional lookup table
KR20080049468A (ko) 디지털 촬영장치의 제어방법 및 이 방법을 채용한 디지털촬영장치
JP2016208430A (ja) 映像表示装置およびシステム
JP5875348B2 (ja) 色空間変換装置及び色空間変換方法
JP6292870B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170613

R151 Written notification of patent or utility model registration

Ref document number: 6161385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees