JP2018038053A - 撮像装置および画像処理方法 - Google Patents
撮像装置および画像処理方法 Download PDFInfo
- Publication number
- JP2018038053A JP2018038053A JP2017199688A JP2017199688A JP2018038053A JP 2018038053 A JP2018038053 A JP 2018038053A JP 2017199688 A JP2017199688 A JP 2017199688A JP 2017199688 A JP2017199688 A JP 2017199688A JP 2018038053 A JP2018038053 A JP 2018038053A
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- imaging
- raw data
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Camera Data Copying Or Recording (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮影者や撮影監督者等が意図する画像をポストプロダクションの場において、より迅速且つ正確に再現する。【解決手段】この現像装置は、撮像を行いRAWデータを生成する撮像部と、撮像時に自動的に生成される第1のメタデータを取得する第1のメタデータ取得部と、撮像後に表示部に表示されたRAWデータに基づく画像に対してユーザにより設定された情報を含む第2のメタデータを取得する第2のメタデータ取得部と、RAWデータと第1のメタデータと第2のメタデータとを互いに関連付けて出力する出力部とを備え、第1のメタデータ取得部は、撮像時のISO感度を第1のメタデータとして取得し、第2のメタデータ取得部は、画像の色に関する設定情報を第2のメタデータとして取得する。【選択図】図1
Description
本技術は、RAW撮影を行う撮像装置およびこの撮像装置により撮影されたRAWデータに対するポストプロダクションを行うポストプロダクション装置に関する。
撮影された映像素材を含む様々な映像シーンが連結して構成される映像コンテンツの作成工程では、カメラを用いてシーンを撮像する作業、撮像された画像ソースを後処理(ポストプロダクション処理)する作業が順次行われる。これらの作業を効率的に行うためのコンテンツ作成システムが提案されている(たとえば、特許文献1参照)。
特許文献1に記載のコンテンツ作成システムでは、ポストプロダクション処理において、撮影時に設定されるカメラ設定値と、映像を調整する効果補正値との2種類の補正パラメータが用いられる。カメラ設定値は、撮影時における設定値で、たとえば、露出、ホワイトバランス、ガンマ補正、カラー調整など、カメラの各機能を設定する値を含む。一方、効果補正値は、所望の画質を得るために撮影後の映像の補正に用いられる設定値である。たとえば、露出、ホワイトバランス、ガンマ補正、3D効果、トリミング、ズームなど、映像の効果に関する属性を調整する値を含む。ポストプロダクション処理時には、ユーザが操作入力部を介して設定した補正パラメータ値や、データベースに蓄積されている過去の編集情報に設定されている補正パラメータ値などが使われる。
近年、撮影現場において撮像装置に各種のパラメータを与えることで、現像後の画像を確認することができるようになってきている。さらには、撮像装置で用いたパラメータをポストプロダクション装置の側にRAWデータと共にメタデータとして伝送してポストプロダクションでの現像に反映させる仕組みが検討されている。
本技術は、撮像装置で用いたパラメータをポストプロダクション装置の側にRAWデータと共にメタデータとして伝送してポストプロダクションでの現像に反映させる仕組みのさらなる高機能化を実現して、撮影者や撮影監督者等が意図する画像をポストプロダクションの場において、より迅速且つ正確に再現することができ、ポストプロダクションの作業効率の向上を図ることのできる撮像装置および画像処理装置を提供することにある。
上記の課題を解決するために、本技術に係る撮像装置は、
撮像を行いRAWデータを生成する撮像部と、
前記生成されたRAWデータを補間により画像データに変換する第1の変換部と、
撮影環境の照度に対応した露出指標値を取得する取得部と、
前記画像データの値を前記露出指標値をもとに補正する第1の補正部と、
前記RAWデータと前記取得された露出指標値とを互いに関連付けて出力する出力部とを具備する。
撮像を行いRAWデータを生成する撮像部と、
前記生成されたRAWデータを補間により画像データに変換する第1の変換部と、
撮影環境の照度に対応した露出指標値を取得する取得部と、
前記画像データの値を前記露出指標値をもとに補正する第1の補正部と、
前記RAWデータと前記取得された露出指標値とを互いに関連付けて出力する出力部とを具備する。
前記取得部は、照度計からの測定値を取得して前記露出指標値に変換する照度取得部を有するものであってよい。
前記取得部は、画像データのポストプロダクションのための有効エリアに関する情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された有効エリアに関する情報とを互いに関連付けて出力するようにしてもよい。
前記出力部は、前記RAWデータと前記取得された有効エリアに関する情報とを互いに関連付けて出力するようにしてもよい。
前記取得部は、画像データの色修正のための情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された色修正のための情報とを互いに関連付けて出力するようにしてもよい。
前記出力部は、前記RAWデータと前記取得された色修正のための情報とを互いに関連付けて出力するようにしてもよい。
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)とすることができる。
上記の課題を解決するために、本技術に係る画像処理装置は、
撮像装置より出力されたRAWデータおよびこのRAWデータに関連する露出指標値とを入力する入力部と、
前記RAWデータを補間により画像データに変換する第2の変換部と、
前記画像データの値を前記露出指標値をもとに補正する第2の補正部と
を具備する。
撮像装置より出力されたRAWデータおよびこのRAWデータに関連する露出指標値とを入力する入力部と、
前記RAWデータを補間により画像データに変換する第2の変換部と、
前記画像データの値を前記露出指標値をもとに補正する第2の補正部と
を具備する。
前記入力部は、画像データのポストプロダクションのための有効エリアに関する情報をさらに入力し、
上記の画像処理装置は、前記有効エリアに関する情報をもとに前記画像データから前記有効エリアに相当する部分を切り出す切り出し部をさらに具備するものであってよい。
上記の画像処理装置は、前記有効エリアに関する情報をもとに前記画像データから前記有効エリアに相当する部分を切り出す切り出し部をさらに具備するものであってよい。
前記入力部は、前記画像データの色修正のための情報をさらに入力し、
上記の画像処理装置は、前記色修正のための情報をもとに前記画像データの色修正を行う色修正部をさらに具備するものであってよい。
上記の画像処理装置は、前記色修正のための情報をもとに前記画像データの色修正を行う色修正部をさらに具備するものであってよい。
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)とすることができる。
以上のように、本技術によれば、撮影者や撮影監督者等が意図する画像をポストプロダクションの場において、より迅速且つ正確に再現することができ、ポストプロダクションの作業効率の向上を図ることができる。
以下、本技術に係る実施形態を説明する。
本実施形態は、RAW撮像記録を行う撮像装置と、この撮像装置によって撮像されたRAWデータとこのRAWデータに対する現像用のメタデータを取得してポストプロダクションを行うポストプロダクション装置に関する。
本実施形態は、RAW撮像記録を行う撮像装置と、この撮像装置によって撮像されたRAWデータとこのRAWデータに対する現像用のメタデータを取得してポストプロダクションを行うポストプロダクション装置に関する。
この撮像装置では、カメライメージャにより撮像されたRAWデータに対して色補間処理、増感/減感処理、ゲイン調整、色調整などが行われることによって得られた画像データを撮影現場の撮影者や撮影監督者等がリアルタイムで確認することができるように、当該画像データを撮像装置に接続されたモニターや、撮像装置に設けられたビューファインダに表示させることができる。撮影者や撮影監督者等は、モニターやビューファインダに表示された画像データを確認しつつ、当該画像データに対する現像用の各種のパラメータをメタデータの一部として設定することができる。
ここで、メタデータには、
1.ポストプロダクション装置において自動的に画像データに反映されるもの。
2.ポストプロダクション装置において画像データに対して任意に反映されるもの。すなわち、撮影現場の撮影者や撮影監督者等がポストプロダクションを行う作業者に対して「このように現像して欲しい」といった推奨的なメタデータとがある。
前者を「第1のメタデータ」、後者を「第2のメタデータ」と呼び分けることとする。
1.ポストプロダクション装置において自動的に画像データに反映されるもの。
2.ポストプロダクション装置において画像データに対して任意に反映されるもの。すなわち、撮影現場の撮影者や撮影監督者等がポストプロダクションを行う作業者に対して「このように現像して欲しい」といった推奨的なメタデータとがある。
前者を「第1のメタデータ」、後者を「第2のメタデータ」と呼び分けることとする。
第1のメタデータには、さらに、使用するカメライメージャの種類に対応して一意に決まるパラメータと、撮影時に人為的に設定されたパラメータとがある。
そして撮像装置は、RAWデータと上記のメタデータとを互いに関連付けてポストプロダクション装置に伝送する。
ポストプロダクション装置では、撮像装置より伝送されたRAWデータとメタデータを取得し、RAWデータの現像に対して第1のメタデータが自動的に反映され、その結果がポストプロダクション装置に接続されたモニターに表示される。また、第2のメタデータは、ポストプロダクションの作業者からの指示のもとRAWデータの現像に適宜反映される。これにより撮影者や撮影監督者等が意図する画像データおよび推奨される画像データをポストプロダクションの場において再現することができる。
上記の第1のメタデータとしては、例えば以下がある。
1.撮影ガンマ(Capture Gamma Equation)
撮影ガンマには、例えば、Scene Linear、Cine-Log、そしてソニーが開発したS-Logなどがある。
2.ホワイトバランス(White Balance)
3.イメージャ感度(ISO Sensitivity)
4.RAWデータのブラック/グレー/ホワイトの値(RAW Code Value)
5.CDL適用ガンマ(Gamma For CDL)
ここで撮影ガンマ、RAWデータのブラック/グレー/ホワイトの値、CDL適用ガンマは、撮像装置に使用されたカメライメージャの種類によって一意に決まるパラメータである。ホワイトバランスとイメージャ感度は撮影時に撮影者等によって選択されたデータである。
1.撮影ガンマ(Capture Gamma Equation)
撮影ガンマには、例えば、Scene Linear、Cine-Log、そしてソニーが開発したS-Logなどがある。
2.ホワイトバランス(White Balance)
3.イメージャ感度(ISO Sensitivity)
4.RAWデータのブラック/グレー/ホワイトの値(RAW Code Value)
5.CDL適用ガンマ(Gamma For CDL)
ここで撮影ガンマ、RAWデータのブラック/グレー/ホワイトの値、CDL適用ガンマは、撮像装置に使用されたカメライメージャの種類によって一意に決まるパラメータである。ホワイトバランスとイメージャ感度は撮影時に撮影者等によって選択されたデータである。
上記の第2のメタデータとしては、例えば以下がある。
1.EI(Exposure Index Of Photo Meter)
EIは、照度計から得られた照度に対応する露出指標値である。このEIとイメージャ感度の値をもとに画像データに対するゲイン調整などの処理が行われる。
1.EI(Exposure Index Of Photo Meter)
EIは、照度計から得られた照度に対応する露出指標値である。このEIとイメージャ感度の値をもとに画像データに対するゲイン調整などの処理が行われる。
2.エフェクティブマーカ(Effective Marker)
エフェクティブマーカは、撮影された画像データの中で撮影現場の撮影者や撮影監督者等が意図する有効エリアを特定するための情報である。ポストプロダクション装置では、このエフェクティブマーカの情報をもとに画像データから有効な領域の切り出しなどが行われる。
エフェクティブマーカは、撮影された画像データの中で撮影現場の撮影者や撮影監督者等が意図する有効エリアを特定するための情報である。ポストプロダクション装置では、このエフェクティブマーカの情報をもとに画像データから有効な領域の切り出しなどが行われる。
3.ASC−CDL(The American Society of Cinematographers Color Decision List)
ASC−CDLは、全米映画撮影監督協会(ASC)によって定義された色修正のための情報である。ASC−CDLでは、色をRGB毎にオフセット(入力ゼロ時の出力値)、スロープ(入出力のゲイン)、パワー(入出力のガンマーカブ特性)の3つのパラメータによって定義される。
ASC−CDLは、全米映画撮影監督協会(ASC)によって定義された色修正のための情報である。ASC−CDLでは、色をRGB毎にオフセット(入力ゼロ時の出力値)、スロープ(入出力のゲイン)、パワー(入出力のガンマーカブ特性)の3つのパラメータによって定義される。
これらの第2のメタデータは、いずれも撮影現場の撮影者や撮影監督者等によって適宜選択される。撮像装置では、これら第2のメタデータが反映された画像をモニターを通して見ることができる。
撮像装置で設定された第1のメタデータおよび第2のメタデータは、例えば、XML(Extensible Markup Language)形式などのファイルとしてまとめられ、RAWデータのファイルと関連付けて、ストレージに保存、あるいは通信媒体を通じてポストプロダクション装置などに伝送される。
以下、本技術に係る第1の実施形態を図面をもとに説明する。
[撮像装置]
図1は本技術に係る一実施形態の撮像装置100の構成を示すブロック図である。
同図に示すように、本実施形態の撮像装置100は、カメライメージャ101、RAWファイル書き出し部102、第1のディベイヤ処理部103、第1の増感/減感・ゲイン調整・カラースペース変換部104、第1のIDT(Input Device Transform)処理部105、第1の色修正部106、第1のODT(Onput Device Transform)処理部107、エフェクティブマーカ合成部108、第1のメタデータ取得部109、第2のメタデータ取得部110、および伝送部111を有する。
[撮像装置]
図1は本技術に係る一実施形態の撮像装置100の構成を示すブロック図である。
同図に示すように、本実施形態の撮像装置100は、カメライメージャ101、RAWファイル書き出し部102、第1のディベイヤ処理部103、第1の増感/減感・ゲイン調整・カラースペース変換部104、第1のIDT(Input Device Transform)処理部105、第1の色修正部106、第1のODT(Onput Device Transform)処理部107、エフェクティブマーカ合成部108、第1のメタデータ取得部109、第2のメタデータ取得部110、および伝送部111を有する。
撮像装置100は、その他のハードウェア的な構成として、CPU(Central Processing Unit)、ROM(Read Only Memory)、メインメモリ、ストレージ、ネットワークI/Fなどのコンピュータシステムを有する。メインメモリおよびストレージには、CPUにより実行されるプログラムが格納される。CPUはそのプログラムを実行することで、コンピュータシステムを、RAWファイル書き出し部102、第1のディベイヤ処理部103、第1の増感/減感・ゲイン調整・カラースペース変換部104、第1のIDT処理部105、第1の色修正部106、第1のODT処理部107、エフェクティブマーカ合成部108、第1のメタデータ取得部109、第2のメタデータ取得部110、および伝送部111として動作させる。
カメライメージャ101(撮像部)は、RAW撮影用のイメージャであり、例えばCMOS(Complementary Metal Oxide Semiconductor)などである。
RAWファイル書き出し部102は、カメライメージャ101により得られたRAWデータをそのままファイル120に書き出す。
RAWファイル書き出し部102は、カメライメージャ101により得られたRAWデータをそのままファイル120に書き出す。
第1のディベイヤ処理部103(第1の変換部)は、RAWデータに対して色補間などを行うことによってRGB画像(画像データ)を生成する。
第1の増感/減感・ゲイン調整・カラースペース変換部104(第1の補正部)は、第1のディベイヤ処理部103により変換された画像データに対して増感処理及び減感処理などを行う。第1の増感/減感・ゲイン調整・カラースペース変換部104は、増感処理及び減感処理が施された画像データに対して、第1のメタデータ取得部109より取得された第1のメタデータに属するホワイトバランス(White Balance)およびイメージャ感度(ISO Sensitivity)と、第2のメタデータ取得部110にて取得された第2のメタデータに属するEI(Exposure Index Of Photo Meter)をもとにゲイン調整を行い、画像データのカラースペースをカメライメージャ101のカラースペースから標準のカラースペースに変換する。
第1のIDT処理部105は、第1の増感/減感・ゲイン調整・カラースペース変換部104より出力された画像データを、第1のメタデータ取得部109より取得された第1のメタデータにそれぞれ属する撮影ガンマ(Capture Gamma Equation)およびCDL適用ガンマ(Gamma For CDL)をもとに、ASC−CDLを用いた色調整のための値に変換する。
第1の色修正部106は、第1のIDT処理部105によって変換された画像データに第2のメタデータ取得部110により取得したASC−CDLを適用して色の修正を行う。
第1のODT処理部107は、第1の色修正部106により色修正された画像データのカラースペースを撮像装置100に接続されたモニターのカラースペースに変換して当該モニターに出力する。
エフェクティブマーカ合成部108は、第1の増感/減感・ゲイン調整・カラースペース変換部104より出力された画像データに、第2のメタデータ取得部110により取得されたエフェクティブマーカ(Effective Marker)のグラフィックスを合成してビューファインダに出力する。
第1のメタデータ取得部109は、第1のメタデータである撮影ガンマ、ホワイトバランス、RAWデータのブラック/グレー/ホワイトの値、CDL適用ガンマを取得して、カメライメージャ101、第1の増感/減感・ゲイン調整・カラースペース変換部104、第1のIDT処理部105、第1の色修正部106に供給する。
第2のメタデータ取得部110は、第2のメタデータであるEI、エフェクティブマーカ(Effective Marker)、ASC−CDLを取得して、第1の増感/減感・ゲイン調整・カラースペース変換部104、エフェクティブマーカ合成部108、第1の色修正部106に供給する。
第2のメタデータ取得部110は、EIを取得するEI取得部112(照度取得部)を有する。EI取得部112は、照度計113より有線または無線で送信された測定値をリアルタイムに取得し、露出指標値であるEI(Exposure Index of Photo Meter)の値に変換する。また、第2のメタデータ取得部110は、グラフィカルユーザインタフェース(GUI)114を有する。グラフィカルユーザインタフェース(GUI)114を通じて撮影者や撮影監督などより入力されたエフェクティブマーカ(Effective Marker)およびASC−CDLを受け付けることによってこれらを取得する。
伝送部111(出力部)は、撮像装置100にて得られたRAWデータおよびメタデータとを互いに関連付けて後段の処理環境(ポストプロダクション装置200など)へ伝送する。
[ポストプロダクション装置]
図2は本技術に係る一実施形態のポストプロダクション装置200の構成を示すブロック図である。
同図に示すように、本実施形態のポストプロダクション装置200(画像処理装置)は、RAWデータ・メタデータ取得部201、第2のディベイヤ処理部202、第2の増感/減感・ゲイン調整・カラースペース変換部203、第2のIDT処理部204、第2の色修正部205、エフェクティブマーカ処理部206、および第2のODT処理部207を有する。
図2は本技術に係る一実施形態のポストプロダクション装置200の構成を示すブロック図である。
同図に示すように、本実施形態のポストプロダクション装置200(画像処理装置)は、RAWデータ・メタデータ取得部201、第2のディベイヤ処理部202、第2の増感/減感・ゲイン調整・カラースペース変換部203、第2のIDT処理部204、第2の色修正部205、エフェクティブマーカ処理部206、および第2のODT処理部207を有する。
ポストプロダクション装置200は、その他のハードウェア的な構成として、CPU(Central Processing Unit)、ROM(Read Only Memory)、メインメモリ、ストレージ、ネットワークI/F、モニター、マウスやキーボードなどの入力装置などのコンピュータシステムを有する。メインメモリおよびストレージには、CPUにより実行されるプログラムが格納される。CPUはそのプログラムを実行することで、コンピュータシステムを、RAWデータ・メタデータ取得部201、第2のディベイヤ処理部202、第2の増感/減感・ゲイン調整・カラースペース変換部203、第2のIDT処理部204、第2の色修正部205、エフェクティブマーカ処理部206、および第2のODT処理部207として動作させる。
RAWデータ・メタデータ取得部201(入力部)は、撮像装置100より伝送されたRAWファイルおよびメタデータを取得する。
第2のディベイヤ処理部202(第2の変換部)は、撮像装置100と同様、RAWデータに対して色補間などを行うことによってRGB画像(画像データ)を生成する。
第2の増感/減感・ゲイン調整・カラースペース変換部203(第2の補正部)は、第2のディベイヤ処理部202により変換されたRGB画像(画像データ)に対して増感処理及び減感処理などを行う。第2の増感/減感・ゲイン調整・カラースペース変換部203は、増感処理及び減感処理が施された画像データに対して、RAWデータ・メタデータ取得部201によって取得された第1のメタデータに属するホワイトバランス(White Balance)およびイメージャ感度(ISO Sensitivity)と、第2のメタデータに属するEI(Exposure Index Of Photo Meter)をもとにゲイン調整を行い、画像データのカラースペースを撮像装置100のカメライメージャ101のカラースペースから標準のカラースペースに変換する。
第2のIDT処理部204は、第2の増感/減感・ゲイン調整・カラースペース変換部203より出力された画像データを、RAWデータ・メタデータ取得部201によって取得された第1のメタデータにそれぞれ属する撮影ガンマ(Capture Gamma Equation)およびCDL適用ガンマ(Gamma For CDL)をもとに、ASC−CDLを用いた色修正のための値に変換する。
第2の色修正部205(色修正部)は、第2のIDT処理部204によって変換された画像データにRAWデータ・メタデータ取得部201により取得したASC−CDLを適用して色の修正を行う。
エフェクティブマーカ処理部206(切り出し部)は、第2の色修正部205によって色修正が施された画像データから、RAWデータ・メタデータ取得部201により取得された第2のメタデータに属するエフェクティブマーカ(Effective Marker)をもとに有効エリアの切り出し、リサイズなどの処理を行う。
第2のODT処理部207は、エフェクティブマーカ処理部206によって切り出し、リサイズなどが施された画像データのカラースペースをポストプロダクション装置200に接続されたモニターのカラースペースに変換して当該モニターに出力する。
[第2のメタデータに基づく処理について]
本実施形態では、撮像装置100において、EI、エフェクティブマーカ、ASC−CDLが、RAWデータの現像処理に反映させることを推奨する目的の第2のメタデータとして設定され、RAWデータおよび第1のメタデータと共にポストプロダクション装置200に伝送される。したがって、撮像装置100とポストプロダクション装置200のそれぞれにおいて、同一の第2のメタデータを共有することができ、撮影者や撮影監督者等が推奨する画像データをポストプロダクションの場において再現することができる。
本実施形態では、撮像装置100において、EI、エフェクティブマーカ、ASC−CDLが、RAWデータの現像処理に反映させることを推奨する目的の第2のメタデータとして設定され、RAWデータおよび第1のメタデータと共にポストプロダクション装置200に伝送される。したがって、撮像装置100とポストプロダクション装置200のそれぞれにおいて、同一の第2のメタデータを共有することができ、撮影者や撮影監督者等が推奨する画像データをポストプロダクションの場において再現することができる。
次に、EI、エフェクティブマーカ、ASC−CDLに基づく処理について説明する。但し、本技術は以下の処理そのものに特徴を有するものではない。
(EIを用いたゲイン調整)
次に、撮像装置100およびポストプロダクション装置200でのEIに基づく処理の例を説明する。
撮像装置100において、第2のメタデータ取得部110のEI取得部112は、照度計113より有線または無線で送信された測定値(dB)をリアルタイムに受信し、これを図3に示す表を用いてEI(Exposure Index of Photo Meter)の値に変換する。表に示されるように、EIは、"200"から"3200"までの範囲において決められる複数の整数値を少なくともカバーし、"800"を基準値とする。
次に、撮像装置100およびポストプロダクション装置200でのEIに基づく処理の例を説明する。
撮像装置100において、第2のメタデータ取得部110のEI取得部112は、照度計113より有線または無線で送信された測定値(dB)をリアルタイムに受信し、これを図3に示す表を用いてEI(Exposure Index of Photo Meter)の値に変換する。表に示されるように、EIは、"200"から"3200"までの範囲において決められる複数の整数値を少なくともカバーし、"800"を基準値とする。
撮像装置100およびポストプロダクション装置200において増感/減感・ゲイン調整・カラースペース変換部(103,203)は、以下の式によってRAWデータのホワイトの値に適用するゲインを算出する。
EI/イメージャ感度 ・・・(1)
したがって、第1のメタデータとして与えられたイメージャ感度(ISO Sensitivity)の値を"800"、EIを"1600"としたとき、RAWデータのホワイトの値に適用するゲインの値として"2"が求められる。
EI/イメージャ感度 ・・・(1)
したがって、第1のメタデータとして与えられたイメージャ感度(ISO Sensitivity)の値を"800"、EIを"1600"としたとき、RAWデータのホワイトの値に適用するゲインの値として"2"が求められる。
図4は、増感/減感・ゲイン調整・カラースペース変換部(103,203)が画像データに割り当てるゲインを示すグラフである。RAWデータのブラックの値はカメライメージャ101のシャッタオフ時の値であることから照度依存性は無視することができるとしてゲインは"1"で固定である。RAWデータのホワイトの値に適用するゲインの値として"2"が上記の計算方法によって算出された場合、ブラックからホワイトまでの範囲のRAWデータの値に対して"1"から"2"までの範囲のゲインが比例的に割り当てられる。
より具体的には、RAW Code Valueのブラックの値(固定値)が"512"、RAW Code Valueのホワイトの値(測定値)が"2992"とした場合、(2992−512)×2=5472がゲイン調整されたホワイトの値となる。
以上のように本実施形態では、EIを第2のメタデータとしてポストプロダクション装置200に伝送するようにしたことによって、撮影者や撮影監督等が撮像装置100に接続されたモニターで見ていた明るさの画像をポストプロダクション装置200において再現することができる。これにより、ポストプロダクションの作業効率を向上させることができる。
[エフェクティブマーカを用いた処理]
次に、撮像装置100およびポストプロダクション装置200でのエフェクティブマーカに基づく処理を説明する。
エフェクティブマーカは、撮影者が意図したフレーミングを表現することを目的とするメタデータである。エフェクティブマーカは、図5に示すように、有効エリアマーカのペイロードの画枠に対する縮小率(長片の比率)を示すEffective Marker Coverageと、有効エリアマーカのアスペクト比を示すEffective Marker Aspect Ratioとからなる。第2のメタデータ取得部110は、グラフィカルユーザインタフェース(GUI)114を通じてユーザより、マーカの縮小率の値を取得し、モニターの画面のアスペクト比との相関により、Effective Marker CoverageとEffective Marker Aspect Ratioを決定する。このエフェクティブマーカは第2のメタデータとして、伝送部111によってポストプロダクション装置200にRAWデータおよび第1のメタデータと共に伝送される。
次に、撮像装置100およびポストプロダクション装置200でのエフェクティブマーカに基づく処理を説明する。
エフェクティブマーカは、撮影者が意図したフレーミングを表現することを目的とするメタデータである。エフェクティブマーカは、図5に示すように、有効エリアマーカのペイロードの画枠に対する縮小率(長片の比率)を示すEffective Marker Coverageと、有効エリアマーカのアスペクト比を示すEffective Marker Aspect Ratioとからなる。第2のメタデータ取得部110は、グラフィカルユーザインタフェース(GUI)114を通じてユーザより、マーカの縮小率の値を取得し、モニターの画面のアスペクト比との相関により、Effective Marker CoverageとEffective Marker Aspect Ratioを決定する。このエフェクティブマーカは第2のメタデータとして、伝送部111によってポストプロダクション装置200にRAWデータおよび第1のメタデータと共に伝送される。
図6に示すように、撮像装置100では、エフェクティブマーカ合成部108が、第2のメタデータ取得部110によって取得されたエフェクティブマーカのメタデータをもとにビューファインダに表示された画像125にエフェクティブマーカのグラフィックス130を合成して表示させる。
一方、ポストプロダクション装置200では、エフェクティブマーカ処理部206が、RAWデータ・メタデータ取得部201によって取得されたエフェクティブマーカのメタデータをもとに、画像データから有効エリアを切り出し、切り出された画像データをもとの解像度まで拡大する。
一方、ポストプロダクション装置200では、エフェクティブマーカ処理部206が、RAWデータ・メタデータ取得部201によって取得されたエフェクティブマーカのメタデータをもとに、画像データから有効エリアを切り出し、切り出された画像データをもとの解像度まで拡大する。
このように、エフェクティブマーカを第2のメタデータとしてポストロダクション装置200に伝送するようにしたことによって、撮影者や撮影監督等が意図する有効エリアの切り出し処理などをポストプロダクション装置200において迅速に行うことができる。これにより、ポストプロダクションの作業効率を向上させることができる。
[ASC−CDLに基づく色修正]
次に、撮像装置100およびポストプロダクション装置200でのASC−CDLに基づく色修正について説明する。
ASC−CDLは、全米映画撮影監督協会(ASC)によって定義された色調整のための情報である。ASC−CDLでは、色をRGB毎にオフセット(入力ゼロ時の出力値)、スロープ(入出力のゲイン)、パワー(入出力のガンマーカブ特性)の3つのパラメータによって定義される。なお、ASC−CDLに基づく色修正の詳細については、"ASC Color Decision List (ASC CDL) Transfer Functions and Interchange Syntax,ASC-CDL_Release1.2,Joshua Pines and David Reisner,2009-05-04"などに開示される。
次に、撮像装置100およびポストプロダクション装置200でのASC−CDLに基づく色修正について説明する。
ASC−CDLは、全米映画撮影監督協会(ASC)によって定義された色調整のための情報である。ASC−CDLでは、色をRGB毎にオフセット(入力ゼロ時の出力値)、スロープ(入出力のゲイン)、パワー(入出力のガンマーカブ特性)の3つのパラメータによって定義される。なお、ASC−CDLに基づく色修正の詳細については、"ASC Color Decision List (ASC CDL) Transfer Functions and Interchange Syntax,ASC-CDL_Release1.2,Joshua Pines and David Reisner,2009-05-04"などに開示される。
撮像装置100において、第2のメタデータ取得部110は、例えば、図7に示すように、グラフィカルユーザインタフェース(GUI)114を用いてユーザより与えられた、RGB毎のオフセット、スロープ、パワーの各値を取得し、これらを1つのまとめてASC−CDLを作成する。図7のグラフィカルユーザインタフェース(GUI)114においては、RGB毎のオフセット、スロープ、パワーの各値は、スライドゲージまたはアップ/ダウンボタンを操作することによってそれぞれ個別にユーザが選択することができる。設定されたASC−CDLは、画像表示エリア131に表示された画像にリアルタイムに反映されることで、ユーザは画像の色の変化を確認しながらASC−CDLの設定を行うことができる。
このASC−CDLは第2のメタデータとして、伝送部111によってポストプロダクション装置200にRAWデータおよび第1のメタデータと共に伝送される。これにより、撮影者や撮影監督等が意図する色修正をポストプロダクション装置200の第2の色修正部205にて実行させることができ、この結果、ポストプロダクションの作業効率を向上させることができる。
以上、本技術に係る一実施形態を説明したが、本技術は次のような変形も可能である。
照度計113と撮像装置100との通信にはワイヤレス通信を採用することが有益である。また、照度計113は撮像装置100に一体に設けられていてもよい。
照度計113と撮像装置100との通信にはワイヤレス通信を採用することが有益である。また、照度計113は撮像装置100に一体に設けられていてもよい。
上記の一実施形態では、EI、エフェクティブマーカ、ASC−CDLを第2のメタデータとして撮像装置100からポストプロダクション装置200に伝送することとしたが、EI、エフェクティブマーカ、ASC−CDLのうち少なくともいずれか1つを第2のメタデータとして伝送するようにしてもよい。さらに、上記の一実施形態では、EI、エフェクティブマーカ、ASC−CDLをポストプロダクション装置200において自動的に現像に反映されることのないメタデータとして扱うこととしたが、EI、エフェクティブマーカ、ASC−CDLのうち少なくともいずれか1つはポストプロダクション装置200において自動的に現像に反映されるメタデータとして扱うように変更してもよい。
なお、本技術は、上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
本技術は以下のような構成も採ることができる。
(1)撮像を行いRAWデータを生成する撮像部と、
前記生成されたRAWデータを補間により画像データに変換する第1の変換部と、
撮影環境の照度に対応した露出指標値を取得する取得部と、
前記画像データの値を前記露出指標値をもとに補正する第1の補正部と、
前記RAWデータと前記取得された露出指標値とを互いに関連付けて出力する出力部と
を具備する撮像装置。
(2)前記(1)に記載の撮像装置であって、
請求項1に記載の撮像装置であって、
前記取得部は、照度計からの測定値を取得して前記露出指標値に変換する照度取得部を有する
撮像装置。
(3)前記(1)から(2)のうちいずれか1つに記載の撮像装置であって、
前記取得部は、前記画像データのポストプロダクションのための有効エリアに関する情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された有効エリアに関する情報とを互いに関連付けて出力する
撮像装置。
(4)前記(1)から(3)のうちいずれか1つに記載の撮像装置であって、
前記取得部は、前記画像データの色修正のための情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された色修正のための情報とを互いに関連付けて出力する
撮像装置。
(5)前記(1)から(4)のうちいずれか1つに記載の撮像装置であって、
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)である
撮像装置。
(6)撮像装置より出力されたRAWデータおよびこのRAWデータに関連する露出指標値とを入力する入力部と、
前記RAWデータを補間により画像データに変換する第2の変換部と、
前記画像データの値を前記露出指標値をもとに補正する第2の補正部と
を具備する画像処理装置。
(7)前記(6)に記載の画像処理装置であって、
前記入力部は、前記画像データのポストプロダクションのための有効エリアに関する情報をさらに入力し、
前記有効エリアに関する情報をもとに前記画像データから前記有効エリアに相当する部分を切り出す切り出し部を
さらに具備する画像処理装置。
(8)前記(6)から(7)のうちいずれか1つに記載の画像処理装置であって、
前記入力部は、前記画像データの色修正のための情報をさらに入力し、
前記色修正のための情報をもとに前記画像データの色修正を行う色修正部を
さらに具備する画像処理装置。
(9)前記(6)から(8)のうちいずれか1つに記載の画像処理装置であって、
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)である
画像処理装置。
(1)撮像を行いRAWデータを生成する撮像部と、
前記生成されたRAWデータを補間により画像データに変換する第1の変換部と、
撮影環境の照度に対応した露出指標値を取得する取得部と、
前記画像データの値を前記露出指標値をもとに補正する第1の補正部と、
前記RAWデータと前記取得された露出指標値とを互いに関連付けて出力する出力部と
を具備する撮像装置。
(2)前記(1)に記載の撮像装置であって、
請求項1に記載の撮像装置であって、
前記取得部は、照度計からの測定値を取得して前記露出指標値に変換する照度取得部を有する
撮像装置。
(3)前記(1)から(2)のうちいずれか1つに記載の撮像装置であって、
前記取得部は、前記画像データのポストプロダクションのための有効エリアに関する情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された有効エリアに関する情報とを互いに関連付けて出力する
撮像装置。
(4)前記(1)から(3)のうちいずれか1つに記載の撮像装置であって、
前記取得部は、前記画像データの色修正のための情報をさらに取得し、
前記出力部は、前記RAWデータと前記取得された色修正のための情報とを互いに関連付けて出力する
撮像装置。
(5)前記(1)から(4)のうちいずれか1つに記載の撮像装置であって、
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)である
撮像装置。
(6)撮像装置より出力されたRAWデータおよびこのRAWデータに関連する露出指標値とを入力する入力部と、
前記RAWデータを補間により画像データに変換する第2の変換部と、
前記画像データの値を前記露出指標値をもとに補正する第2の補正部と
を具備する画像処理装置。
(7)前記(6)に記載の画像処理装置であって、
前記入力部は、前記画像データのポストプロダクションのための有効エリアに関する情報をさらに入力し、
前記有効エリアに関する情報をもとに前記画像データから前記有効エリアに相当する部分を切り出す切り出し部を
さらに具備する画像処理装置。
(8)前記(6)から(7)のうちいずれか1つに記載の画像処理装置であって、
前記入力部は、前記画像データの色修正のための情報をさらに入力し、
前記色修正のための情報をもとに前記画像データの色修正を行う色修正部を
さらに具備する画像処理装置。
(9)前記(6)から(8)のうちいずれか1つに記載の画像処理装置であって、
前記色修正のための情報はASC−CDL(The American Society of Cinematographers Color Decision List)である
画像処理装置。
100…撮像装置
101…カメライメージャ
102…RAWファイル書き出し部
103…第1のディベイヤ処理部
104…増感/減感・ゲイン調整・カラースペース変換部
105…第1のIDT処理部
106…第1の色修正部
107…第1のODT処理部
108…エフェクティブマーカ合成部
109…第1のメタデータ取得部
110…第2のメタデータ取得部
111…伝送部
112…EI取得部
113…照度計
114…グラフィカルユーザインタフェース
200…ポストプロダクション装置
201…RAWデータ・メタデータ取得部
202…第2のディベイヤ処理部
203…増感/減感・ゲイン調整・カラースペース変換部
204…第2のIDT処理部
205…第2の色修正部
206…エフェクティブマーカ処理部
207…第2のODT処理部
101…カメライメージャ
102…RAWファイル書き出し部
103…第1のディベイヤ処理部
104…増感/減感・ゲイン調整・カラースペース変換部
105…第1のIDT処理部
106…第1の色修正部
107…第1のODT処理部
108…エフェクティブマーカ合成部
109…第1のメタデータ取得部
110…第2のメタデータ取得部
111…伝送部
112…EI取得部
113…照度計
114…グラフィカルユーザインタフェース
200…ポストプロダクション装置
201…RAWデータ・メタデータ取得部
202…第2のディベイヤ処理部
203…増感/減感・ゲイン調整・カラースペース変換部
204…第2のIDT処理部
205…第2の色修正部
206…エフェクティブマーカ処理部
207…第2のODT処理部
Claims (16)
- 撮像を行いRAWデータを生成する撮像部と、
前記撮像時に自動的に生成される第1のメタデータを取得する第1のメタデータ取得部と、
前記撮像後に表示部に表示された前記RAWデータに基づく画像に対してユーザにより設定された情報を含む第2のメタデータを取得する第2のメタデータ取得部と、
前記RAWデータと前記第1のメタデータと前記第2のメタデータとを互いに関連付けて出力する出力部とを備え、
前記第1のメタデータ取得部は、前記撮像時のISO感度を前記第1のメタデータとして取得し、
前記第2のメタデータ取得部は、画像の色に関する設定情報を前記第2のメタデータとして取得する
撮像装置。 - 前記RAWデータに基づく画像に対する設定としてユーザが選択するための情報が、前記RAWデータに基づく画像とともに前記表示部に表示される
請求項1に記載の撮像装置。 - 前記RAWデータに基づく画像に対する設定としてユーザにより選択された情報とともに、前記ユーザにより選択された情報が反映された画像が前記表示部に表示される
請求項2に記載の撮像装置。 - 前記ユーザが選択するための情報に対するユーザ操作に応じて、前記ユーザ操作がリアルタイムに反映された画像が前記表示部に表示される
請求項2に記載の撮像装置。 - 前記第2のメタデータ取得部は、ユーザによるボタン操作により前記第2のメタデータを取得する
請求項1から4のうちいずれかの1つに記載の撮像装置。 - 前記第2のメタデータ取得部は、ユーザによるアップ/ダウンボタン操作により前記第2のメタデータを取得する
請求項5に記載の撮像装置。 - 出力された前記RAWデータと前記第1のメタデータと前記第2のメタデータは、記録媒体に記録される
請求項1から6のうちいずれかの1つに記載の撮像装置。 - 前記第2のメタデータは、外部の画像処理装置での画像処理のための情報である
請求項1から7のうちいずれかの1つに記載の撮像装置。 - 前記画像の色に関する設定情報は、ASC−CDL(The American Society of Cinematographers Color Decision List)である
請求項1から8のうちいずれかの1つに記載の撮像装置。 - 前記第2のメタデータ取得部は、前記RAWデータに基づく画像の有効エリアに関する情報を前記第2のメタデータとして取得する
請求項1から9のうちいずれかの1つに記載の撮像装置。 - 前記第2のメタデータ取得部は、照度計からの測定値を取得して露出指標値に変換する照度取得部を有する
請求項1から10のうちいずれかの1つに記載の撮像装置。 - 前記第2のメタデータは、前記外部の画像処理装置において表示するための画像データに対して自動的に反映される
請求項8に記載の撮像装置。 - 前記RAWデータに対して補間処理を行う変換部をさらに有する
請求項1から12のうちいずれかの1つに記載の撮像装置。 - 前記RAWデータに基づく画像の色を修正するための処理を行う色修正部をさらに有する
請求項1から12のうちいずれかの1つに記載の撮像装置。 - 前記色修正部は、前記画像の色に関する設定情報を含む前記第2のメタデータをもとに、前記RAWデータに基づく画像の色を修正するための処理を行う
請求項14に記載の撮像装置。 - 撮像部の撮像により生成されたRAWデータを取得し、
第1のメタデータ取得部が、前記撮像時に自動的に生成されるISO感度を第1のメタデータとして取得し、
第2のメタデータ取得部が、前記撮像後に表示部に表示された前記RAWデータに基づく画像に対してユーザにより設定された、前記画像の色に関する設定情報を第2のメタデータとして取得し、
出力部が、前記RAWデータと前記第1のメタデータと前記第2のメタデータとを互いに関連付けて出力する
画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017199688A JP6409938B2 (ja) | 2017-10-13 | 2017-10-13 | 撮像装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017199688A JP6409938B2 (ja) | 2017-10-13 | 2017-10-13 | 撮像装置および画像処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017091242A Division JP6229809B2 (ja) | 2017-05-01 | 2017-05-01 | 撮像装置及び画像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018181748A Division JP6769466B2 (ja) | 2018-09-27 | 2018-09-27 | 撮像装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018038053A true JP2018038053A (ja) | 2018-03-08 |
JP6409938B2 JP6409938B2 (ja) | 2018-10-24 |
Family
ID=61567808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017199688A Active JP6409938B2 (ja) | 2017-10-13 | 2017-10-13 | 撮像装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6409938B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111696050A (zh) * | 2020-05-11 | 2020-09-22 | 江苏省互联网行业管理服务中心 | 一种面向工艺参数曲线图的脱敏工具 |
JP7318237B2 (ja) | 2019-03-08 | 2023-08-01 | 三井化学株式会社 | 不織布、積層体、被覆シート、及び不織布の製造方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001223979A (ja) * | 2000-02-07 | 2001-08-17 | Fuji Photo Film Co Ltd | 画像撮影装置及び画像処理装置 |
JP2002182299A (ja) * | 2000-10-06 | 2002-06-26 | Fuji Photo Film Co Ltd | 擬似ズームカメラおよび画像処理システム |
JP2004040559A (ja) * | 2002-07-04 | 2004-02-05 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP2005269145A (ja) * | 2004-03-18 | 2005-09-29 | Olympus Corp | 撮像装置、画像処理装置、及び画像処理システム |
JP2006203573A (ja) * | 2005-01-20 | 2006-08-03 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置及び画像記録装置 |
JP2006287365A (ja) * | 2005-03-31 | 2006-10-19 | Seiko Epson Corp | デジタルカメラ |
JP2009520395A (ja) * | 2005-12-16 | 2009-05-21 | トムソン ライセンシング | ディジタル的に捕捉された画像から再生可能ディジタル映像プロダクトを与える方法、装置及びシステム |
JP2009183009A (ja) * | 2002-07-12 | 2009-08-13 | Seiko Epson Corp | 画像データの出力画像調整 |
JP2010063036A (ja) * | 2008-09-05 | 2010-03-18 | Canon Inc | 撮像装置及び画像表示方法 |
-
2017
- 2017-10-13 JP JP2017199688A patent/JP6409938B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001223979A (ja) * | 2000-02-07 | 2001-08-17 | Fuji Photo Film Co Ltd | 画像撮影装置及び画像処理装置 |
JP2002182299A (ja) * | 2000-10-06 | 2002-06-26 | Fuji Photo Film Co Ltd | 擬似ズームカメラおよび画像処理システム |
JP2004040559A (ja) * | 2002-07-04 | 2004-02-05 | Fuji Photo Film Co Ltd | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP2009183009A (ja) * | 2002-07-12 | 2009-08-13 | Seiko Epson Corp | 画像データの出力画像調整 |
JP2005269145A (ja) * | 2004-03-18 | 2005-09-29 | Olympus Corp | 撮像装置、画像処理装置、及び画像処理システム |
JP2006203573A (ja) * | 2005-01-20 | 2006-08-03 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置及び画像記録装置 |
JP2006287365A (ja) * | 2005-03-31 | 2006-10-19 | Seiko Epson Corp | デジタルカメラ |
JP2009520395A (ja) * | 2005-12-16 | 2009-05-21 | トムソン ライセンシング | ディジタル的に捕捉された画像から再生可能ディジタル映像プロダクトを与える方法、装置及びシステム |
JP2010063036A (ja) * | 2008-09-05 | 2010-03-18 | Canon Inc | 撮像装置及び画像表示方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7318237B2 (ja) | 2019-03-08 | 2023-08-01 | 三井化学株式会社 | 不織布、積層体、被覆シート、及び不織布の製造方法 |
CN111696050A (zh) * | 2020-05-11 | 2020-09-22 | 江苏省互联网行业管理服务中心 | 一种面向工艺参数曲线图的脱敏工具 |
Also Published As
Publication number | Publication date |
---|---|
JP6409938B2 (ja) | 2018-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6136086B2 (ja) | 撮像装置および画像処理装置 | |
JP3974964B2 (ja) | 画像処理装置 | |
US9294750B2 (en) | Video conversion device, photography system of video system employing same, video conversion method, and recording medium of video conversion program | |
US20110239100A1 (en) | Inspection information processing apparatus and method | |
JP2005252711A (ja) | デジタルスチルカメラを用いた撮影システム、及び撮影制御方法 | |
JP6409938B2 (ja) | 撮像装置および画像処理方法 | |
US8094205B2 (en) | Imaging apparatus, image processing method and computer program for smoothing dynamic range of luminance of an image signal, color conversion process | |
US20140147090A1 (en) | Image capturing apparatus, image processing apparatus, and control method therefor | |
JP6229809B2 (ja) | 撮像装置及び画像処理方法 | |
JP4143425B2 (ja) | 画像処理方法及び装置、並びに画像処理プログラム | |
JP6769466B2 (ja) | 撮像装置および画像処理方法 | |
US9413974B2 (en) | Information processing apparatus, image sensing apparatus, control method, and recording medium for conversion processing | |
JP2014107838A (ja) | 撮像装置、画像処理装置、画像処理システム、及び制御方法 | |
JP2004349842A (ja) | 合成画像の補正方法及びプログラム | |
JP7224826B2 (ja) | 撮像制御装置、撮像制御方法、およびプログラム | |
US20060050954A1 (en) | Image processing method, computer program product, and image processing apparatus | |
US8810645B2 (en) | System and method for the profiling and calibration of film scanners | |
JP2004222076A (ja) | 画像処理プログラム及び方法 | |
JP2015125583A (ja) | 画像処理装置および撮像装置 | |
JP2021078051A (ja) | 画像処理装置および画像制御方法、プログラム、並びに記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180910 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6409938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |