JP2016100883A - フォーカスアシスト装置およびそのプログラム - Google Patents
フォーカスアシスト装置およびそのプログラム Download PDFInfo
- Publication number
- JP2016100883A JP2016100883A JP2014239244A JP2014239244A JP2016100883A JP 2016100883 A JP2016100883 A JP 2016100883A JP 2014239244 A JP2014239244 A JP 2014239244A JP 2014239244 A JP2014239244 A JP 2014239244A JP 2016100883 A JP2016100883 A JP 2016100883A
- Authority
- JP
- Japan
- Prior art keywords
- video
- cut
- focus
- assist device
- viewfinder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Viewfinders (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Studio Devices (AREA)
Abstract
【課題】フォーカス調整をアシストするフォーカスアシスト装置を提供する。【解決手段】フォーカスアシスト装置2は、カメラの撮影映像をビューファインダ3の解像度に縮小したダウンコンバート映像を生成するダウンコンバート手段21と、ポインティングデバイスの操作信号として入力される位置信号から切出座標を計算する切出座標計算手段24と、切出座標に基づいて、撮影映像から撮影映像の1画素をビューファインダ3の1画素以上で表示可能な領域の映像を切出映像として切り出す映像切出手段22と、操作信号として入力される切替信号に基づいて、ダウンコンバート映像と切出映像とのいずれを表示対象とするかを判定する映像切替判定手段25と、判定されたダウンコンバート映像または切出映像を切り替えてビューファインダ3に出力する映像切替出力手段26と、を備える。【選択図】図3
Description
本発明は、超高精細撮影カメラのフォーカス調整を、当該超高精細撮影カメラの解像度より低いビューファインダで行うためのフォーカスアシスト装置およびそのプログラムに関する。
近年、次世代の映像フォーマットとして、ハイビジョン(HD:High Definition)の16倍の画素数(7680×4320:8K解像度)を持つスーパーハイビジョン(8K UHD〔8K Ultra HD〕)が登場している。また、これにあわせて、映像素材を超高精細映像で撮影する超高精細撮影カメラも登場している。
しかし、映像の高精細化に伴って、撮像素子の画素サイズが小さくなり、被写界深度が浅くなることから、フォーカス調整が非常に難しくなっている。
しかし、映像の高精細化に伴って、撮像素子の画素サイズが小さくなり、被写界深度が浅くなることから、フォーカス調整が非常に難しくなっている。
そこで、フォーカス調整を補助する機能(フォーカスアシスト機能)として、撮影映像の空間周波数の高い領域がフォーカスの合っている領域であることを利用し、撮影映像の当該領域部分にマーカ(ピーキング画像)を合成してビューファインダに表示する手法が開示されている(特許文献1参照)。
また、他のフォーカスアシスト機能として、撮影映像の一部を拡大して、ビューファインダに表示する手法が開示されている(特許文献2参照)。
このように、従来は、ビューファインダに表示されたマーカや拡大映像をカメラマンに視認させることで、フォーカス調整を可能としている。
また、他のフォーカスアシスト機能として、撮影映像の一部を拡大して、ビューファインダに表示する手法が開示されている(特許文献2参照)。
このように、従来は、ビューファインダに表示されたマーカや拡大映像をカメラマンに視認させることで、フォーカス調整を可能としている。
現在、超高精細撮影カメラを操作するカメラマンが視認するビューファインダは、1920×1080(2K解像度)や3840×2160(4K解像度)程度の解像度を有する小型のモニタである。
そこで、特許文献1に記載の手法を用い、フォーカスの合っている領域にマーカを合成したとしても、ビューファインダの解像度の制限により、映像は縮小され、劣化して表示されるため、細かいフォーカス調整は困難である。
そこで、特許文献1に記載の手法を用い、フォーカスの合っている領域にマーカを合成したとしても、ビューファインダの解像度の制限により、映像は縮小され、劣化して表示されるため、細かいフォーカス調整は困難である。
また、特許文献2に記載された手法を用い、ビューファインダに拡大した映像を表示する場合、どの領域を拡大するのかを指定する必要があるが、特許文献2には、撮影映像の画角に対して、どの領域を拡大するのかが開示されていない。すなわち、この手法は、少なくとも、拡大領域を指定するために、別途、スイッチ等の手段が必要になる。
このような映像を拡大するための指示や、拡大すべき領域を指定するスイッチ等の操作は、パン、チルトの操作に加え、フォーカス調整を行うカメラマンにとっては、より簡易で、撮影に影響を与えないものであることが望まれる。
このような映像を拡大するための指示や、拡大すべき領域を指定するスイッチ等の操作は、パン、チルトの操作に加え、フォーカス調整を行うカメラマンにとっては、より簡易で、撮影に影響を与えないものであることが望まれる。
本発明は、このような問題に鑑みてなされたものであり、カメラマンが、撮影映像よりも解像度の低いビューファインダを見ながらフォーカス調整を行う場合に、容易にフォーカス対象となる領域を選択し、ビューファインダに劣化のない映像を表示して、フォーカス調整を行うことが可能なフォーカスアシスト装置およびそのプログラムを提供することを課題とする。
前記課題を解決するため、本発明に係るフォーカスアシスト装置は、撮影装置の撮影映像を、撮影装置の解像度よりも低いビューファインダで表示する際に、操作面の操作により位置信号または切替信号を操作信号として出力するポインティングデバイスから入力される操作信号に基づいて、ビューファインダの表示状態を切り替えるフォーカスアシスト装置であって、ダウンコンバート手段と、切出座標計算手段と、映像切出手段と、映像切替判定手段と、映像切替出力手段と、を備える構成とした。
かかる構成において、フォーカスアシスト装置は、ダウンコンバート手段によって、スーパーハイビジョンのような超高精細映像な撮影映像をビューファインダの解像度の映像に縮小したダウンコンバート映像を生成する。このダウンコンバート映像は、カメラマンにとって、ビューファインダ上で撮影映像全体が視認可能な映像となる。
また、フォーカスアシスト装置は、切出座標計算手段によって、操作信号として入力される位置信号から、撮影映像の切出座標を計算する。そして、フォーカスアシスト装置は、映像切出手段によって、切出座標計算手段で計算された切出座標に基づいて、撮影映像から、撮影映像の1画素をビューファインダの1画素以上で表示可能な領域の映像を切出映像として切り出す。この切出映像は、撮影映像の1画素が、少なくともビューファインダの1画素に表示されるため、カメラマンにとって、フォーカス調整を行う際に劣化がなく、フォーカスの確認を行うことができる映像となる。
また、フォーカスアシスト装置は、映像切替判定手段によって、操作信号として入力される切替信号に基づいて、ダウンコンバート映像と切出映像とのいずれを表示対象とするかを判定する。
そして、フォーカスアシスト装置は、映像切替出力手段によって、映像切替判定手段で判定されたダウンコンバート映像または切出映像を切り替えてビューファインダに出力する。これによって、フォーカスアシスト装置は、ポインティングデバイスの操作面を操作する簡易な操作で、フォーカス対象の領域を選択し、ダウンコンバート映像と切出映像とを切り替えることができる。
なお、フォーカスアシスト装置は、コンピュータを前記した各手段として機能させるプログラム(フォーカスアシストプログラム)で動作させることができる。
そして、フォーカスアシスト装置は、映像切替出力手段によって、映像切替判定手段で判定されたダウンコンバート映像または切出映像を切り替えてビューファインダに出力する。これによって、フォーカスアシスト装置は、ポインティングデバイスの操作面を操作する簡易な操作で、フォーカス対象の領域を選択し、ダウンコンバート映像と切出映像とを切り替えることができる。
なお、フォーカスアシスト装置は、コンピュータを前記した各手段として機能させるプログラム(フォーカスアシストプログラム)で動作させることができる。
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、解像度が超高精細映像の解像度よりも低いビューファインダであっても、ビューファインダの表示を、超高精細映像の1画素をビューファインダの1画素以上で表示する表示状態に切り替えることで、カメラマンが細かいフォーカス調整を行うことができる。
また、本発明によれば、ポインティングデバイスの操作面を操作する簡易な操作で、フォーカス調整時のビューファインダの表示を切り替えることができるとともに、フォーカス調整を行いたい領域を容易に選択することができる。
本発明によれば、解像度が超高精細映像の解像度よりも低いビューファインダであっても、ビューファインダの表示を、超高精細映像の1画素をビューファインダの1画素以上で表示する表示状態に切り替えることで、カメラマンが細かいフォーカス調整を行うことができる。
また、本発明によれば、ポインティングデバイスの操作面を操作する簡易な操作で、フォーカス調整時のビューファインダの表示を切り替えることができるとともに、フォーカス調整を行いたい領域を容易に選択することができる。
以下、本発明の実施形態について図面を参照して説明する。
≪撮影装置の全体構成≫
最初に、図1を参照して、本発明の実施形態に係るフォーカスアシスト装置を備えた撮影装置の全体構成について説明する。
撮影装置Cは、被写体を撮影するカメラであって、スーパーハイビジョンの映像(以下、8K映像)を撮影可能な超高精細撮影カメラとする。
ここでは、撮影装置Cは、カメラヘッド1と、フォーカスアシスト装置2と、ビューファインダ(モニタ)3と、ポインティングデバイス4と、雲台5と、を備える。
≪撮影装置の全体構成≫
最初に、図1を参照して、本発明の実施形態に係るフォーカスアシスト装置を備えた撮影装置の全体構成について説明する。
撮影装置Cは、被写体を撮影するカメラであって、スーパーハイビジョンの映像(以下、8K映像)を撮影可能な超高精細撮影カメラとする。
ここでは、撮影装置Cは、カメラヘッド1と、フォーカスアシスト装置2と、ビューファインダ(モニタ)3と、ポインティングデバイス4と、雲台5と、を備える。
カメラヘッド1は、図示を省略した光学系、撮像素子等を含んだカメラ本体である。このカメラヘッド1で撮影された8K映像(映像信号)は、図示を省略した信号線を介して、フォーカスアシスト装置2に出力される。
フォーカスアシスト装置2は、カメラヘッド1で撮影された映像(8K映像)を、ビューファインダ3で表示する映像に変換するものである。ここで、フォーカスアシスト装置2は、ポインティングデバイス4によって指示された8K映像内の領域について、少なくとも映像信号の1画素をビューファインダ3の1画素以上に対応させた映像に変換し、ビューファインダ3用の映像を生成する。このフォーカスアシスト装置2で生成された映像(映像信号)は、図示を省略した信号線を介して、ビューファインダ3に出力される。これによって、フォーカスアシスト装置2は、カメラマンがフォーカス調整を行う際に、フォーカスを行いたい領域について、劣化のない映像をビューファインダ3に表示させることができる。このフォーカスアシスト装置2については、後で詳細に説明を行う。
ビューファインダ(モニタ)3は、カメラヘッド1で撮影された映像が、フォーカスアシスト装置2を介して変換された映像を表示するものである。このビューファインダ3は、カメラヘッド1で撮影される映像(8K映像)よりも解像度が低く、ここでは、4K解像度の映像(以下、4K映像)を表示するものとする。
ポインティングデバイス4は、カメラヘッド1で撮影された映像内で、カメラマンがフォーカス調整を行いたい領域(位置)を指し示すものである。このポインティングデバイス4は、操作面の操作により操作信号を出力するもので、例えば、タッチパッドを用いることができる。このポインティングデバイス4の操作面の操作は、操作面において接触状態を感知可能であれば、手指、ペン等、特に限定するものではないが、ここでは、カメラマンの操作性を考慮して手指で操作することとして説明する。
このポインティングデバイス4は、図示を省略した信号線を介して、操作信号をフォーカスアシスト装置2に出力する。
このポインティングデバイス4は、図示を省略した信号線を介して、操作信号をフォーカスアシスト装置2に出力する。
このポインティングデバイス4は、例えば、タッチパッドの場合、図2に示すような操作を示す操作信号を出力する。すなわち、図2(a)に示すように、手指による接触摺動があった場合、移動量(または絶対位置)を検知し、その移動量(または絶対位置)を操作信号(位置信号)として出力する。
また、図2(b)に示すように、タッチパッドが圧力式タッチパッドの場合、手指の押し込み操作により所定以上の圧力を検知し、表示状態の切り替えを示す操作信号(切替信号)を出力する。また、図2(c)に示すように、タッチパッドが静電容量方式タッチパッドの場合、手指のタップ操作により、静電容量の変化を検出し、表示状態の切り替えを示す操作信号(切替信号)を出力する。
このように、操作面に対する手指の接触状態を操作信号として出力するポインティングデバイス4を用いることで、操作の振動がカメラヘッド1に伝わることを防止することができる。
また、図2(b)に示すように、タッチパッドが圧力式タッチパッドの場合、手指の押し込み操作により所定以上の圧力を検知し、表示状態の切り替えを示す操作信号(切替信号)を出力する。また、図2(c)に示すように、タッチパッドが静電容量方式タッチパッドの場合、手指のタップ操作により、静電容量の変化を検出し、表示状態の切り替えを示す操作信号(切替信号)を出力する。
このように、操作面に対する手指の接触状態を操作信号として出力するポインティングデバイス4を用いることで、操作の振動がカメラヘッド1に伝わることを防止することができる。
雲台5は、三脚等に取り付けてカメラヘッド1を搭載する台である。この雲台5は、パン方向およびチルト方向に回転するパン機構およびチルト機構(不図示)を備え、カメラマンによる雲台5に固定されたパンアーム5aの操作によって、パン方向またはチルト方向に回転する。
このパンアーム5aにポインティングデバイス4を備えることで、カメラマンのパン操作、チルト操作時においても容易にポインティングデバイス4の操作を行うことができる。なお、ここでは、ポインティングデバイス4をタッチパッドとして、パンアーム5aに固定した例を示しているが、ポインティングデバイス4は、ビューファインダ3の表示面に備えたタッチパネルとしてもよい。
以下、フォーカスアシスト装置2の構成および動作について詳細に説明する。
このパンアーム5aにポインティングデバイス4を備えることで、カメラマンのパン操作、チルト操作時においても容易にポインティングデバイス4の操作を行うことができる。なお、ここでは、ポインティングデバイス4をタッチパッドとして、パンアーム5aに固定した例を示しているが、ポインティングデバイス4は、ビューファインダ3の表示面に備えたタッチパネルとしてもよい。
以下、フォーカスアシスト装置2の構成および動作について詳細に説明する。
≪第1実施形態≫
<フォーカスアシスト装置の構成>
まず、図3を参照して、本発明の第1実施形態に係るフォーカスアシスト装置2の構成について説明する。
図3に示すように、フォーカスアシスト装置2は、映像入力手段20と、ダウンコンバート手段21と、映像切出手段22と、操作信号入力手段23と、切出座標計算手段24と、映像切替判定手段25と、映像切替出力手段26と、を備える。なお、各手段を経由する映像は、図示を省略したメモリ(フレームメモリ)を介して送受される。
<フォーカスアシスト装置の構成>
まず、図3を参照して、本発明の第1実施形態に係るフォーカスアシスト装置2の構成について説明する。
図3に示すように、フォーカスアシスト装置2は、映像入力手段20と、ダウンコンバート手段21と、映像切出手段22と、操作信号入力手段23と、切出座標計算手段24と、映像切替判定手段25と、映像切替出力手段26と、を備える。なお、各手段を経由する映像は、図示を省略したメモリ(フレームメモリ)を介して送受される。
映像入力手段20は、カメラヘッド1から映像(8K映像)を入力するものである。この映像入力手段20は、入力した8K映像を、図示を省略したメモリを介して、ダウンコンバート手段21および映像切出手段22に出力する。
ダウンコンバート手段21は、映像入力手段20から入力された映像を、ビューファインダ3の解像度の映像に縮小(ダウンコンバート)するものである。ここでは、カメラヘッド1から入力される映像を8K映像、ビューファインダ3の解像度を4K解像度としているため、ダウンコンバート手段21は、入力された8K映像を4K映像に縮小する。
このダウンコンバート手段21は、縮小した映像(4K映像)を映像切替出力手段26に出力する。
これによって、ダウンコンバート手段21は、入力された8K映像を、その全体をビューファインダ3で表示可能な映像に変換することができる。
このダウンコンバート手段21は、縮小した映像(4K映像)を映像切替出力手段26に出力する。
これによって、ダウンコンバート手段21は、入力された8K映像を、その全体をビューファインダ3で表示可能な映像に変換することができる。
映像切出手段22は、映像入力手段20から入力された映像から、当該映像の1画素をビューファインダ3の1画素に表示可能な映像を抽出するものである。
ここでは、映像切出手段22は、切出座標計算手段24から入力される切出座標を中心として、入力された8K映像から、画素数がビューファインダ3の表示画素数よりも少ない映像を切り出す。ここでは、ビューファインダ3と同じアスペクト比の2K映像を切り出すこととする。この映像切出手段22は、切り出した映像(2K映像)を映像切替出力手段26に出力する。
ここでは、映像切出手段22は、切出座標計算手段24から入力される切出座標を中心として、入力された8K映像から、画素数がビューファインダ3の表示画素数よりも少ない映像を切り出す。ここでは、ビューファインダ3と同じアスペクト比の2K映像を切り出すこととする。この映像切出手段22は、切り出した映像(2K映像)を映像切替出力手段26に出力する。
また、映像切出手段22は、切出座標から、切り出した映像を表示するための表示座標を計算し、映像切替出力手段26に出力する。なお、この表示座標は、ダウンコンバート後の映像であって、ビューファインダ3に表示する映像の座標系に対応する座標である。具体的には、切出座標(X,Y)が8K映像の座標系を基準にしたものであるため、ダウンコンバート後の4K映像の座標系においては、表示座標を(X/2,Y/2)とすればよい。この映像切出手段22は、表示座標を映像切替出力手段26に出力する。
これによって、映像切出手段22は、入力された8K映像から、ビューファインダ3においてドットバイドットで表示可能な映像(8K映像の1画素がビューファインダ3の1画素に対応した映像)を切り出すことができる。
これによって、映像切出手段22は、入力された8K映像から、ビューファインダ3においてドットバイドットで表示可能な映像(8K映像の1画素がビューファインダ3の1画素に対応した映像)を切り出すことができる。
操作信号入力手段23は、ポインティングデバイス4から、操作信号を入力するものである。この操作信号入力手段23は、入力された操作信号が、移動量を示す操作信号(位置信号)である場合(図2(a)参照)、水平方向の移動量ΔXと垂直方向の移動量ΔYとからなる座標移動量を、切出座標計算手段24に出力する。なお、ポインティングデバイス4として、移動量ではなく絶対位置を出力するものを用いる場合、操作信号入力手段23は、入力した絶対位置の座標を切出座標計算手段24に出力する。
また、操作信号入力手段23は、入力された操作信号が、表示状態の切り替えを示す信号(押し込み/タップ:切替信号)である場合(図2(b),(c)参照)、映像の切り替えを行う指示信号(切替指示)を映像切替判定手段25に出力する。
また、操作信号入力手段23は、入力された操作信号が、表示状態の切り替えを示す信号(押し込み/タップ:切替信号)である場合(図2(b),(c)参照)、映像の切り替えを行う指示信号(切替指示)を映像切替判定手段25に出力する。
切出座標計算手段24は、操作信号入力手段23から入力される座標移動量(位置信号)から、カメラヘッド1から入力される映像(8K映像)の切出位置(切出座標)を計算するものである。ここでは、切出座標計算手段24は、予め定めた基準位置(例えば、8K映像の中心座標)を初期値として、座標移動量(ΔX,ΔY)を順次加算して、切出座標(X,Y)を算出する。この切出座標を中心として、映像切出手段22が2K映像を切り出せない場合、切出座標計算手段24は、切出座標をずらすこととする。もちろん、この切出座標をずらす処理は、映像切出手段22で行うこととしてもよい。
なお、操作信号入力手段23から、座標移動量ではなく、絶対位置の座標を入力することとした場合、切出座標計算手段24は、絶対座標、すなわち、ポインティングデバイス4の座標系の値を、8K映像の座標系に変換した座標を切出座標(X,Y)として算出すればよい。
この切出座標計算手段24は、計算した切出座標を映像切出手段22に出力する。
これによって、切出座標計算手段24は、カメラマンがフォーカスを調整したいと思う8K映像の領域に対応する切出座標を計算することができる。
この切出座標計算手段24は、計算した切出座標を映像切出手段22に出力する。
これによって、切出座標計算手段24は、カメラマンがフォーカスを調整したいと思う8K映像の領域に対応する切出座標を計算することができる。
映像切替判定手段25は、操作信号入力手段23から入力される切替指示に基づいて、映像切出手段22で切り出された映像(2K映像)を表示させるか否かを判定するものである。すなわち、映像切替判定手段25は、ダウンコンバート手段21で生成された映像(4K映像)に、映像切出手段22で切り出された映像(2K映像)を合成するか否かを判定するものである。
ここでは、映像切替判定手段25は、ダウンコンバート手段21で生成された4K映像のみを表示している状態(ダウンコンバート映像〔以下、D/C映像〕表示状態)で、切替指示が入力された場合、映像切出手段22で切り出された2K映像を表示すると判定し、その旨の指定(映像指定:切出映像)を映像切替出力手段26に出力する。
ここでは、映像切替判定手段25は、ダウンコンバート手段21で生成された4K映像のみを表示している状態(ダウンコンバート映像〔以下、D/C映像〕表示状態)で、切替指示が入力された場合、映像切出手段22で切り出された2K映像を表示すると判定し、その旨の指定(映像指定:切出映像)を映像切替出力手段26に出力する。
また、2K映像が表示されている状態(切出映像表示状態)で、切替指示が入力された場合、映像切替判定手段25は、映像切出手段22で切り出された2K映像を表示しないと判定し、その旨の指定(映像指定:D/C映像)を映像切替出力手段26に出力する。
また、映像切替判定手段25は、現在の表示状態を保持し、切替指示が入力されるたびに、その状態を切り替えて映像指定を行う。
なお、2K映像を表示しないと判定した場合、映像切替判定手段25は、さらに、映像切出手段22に映像の切り出しを行わないように指示することとしてもよい。
これによって、映像切替判定手段25は、現状の表示状態から、4K映像の表示と、4K映像に2K映像を合成した映像の表示とのいずれに切り替えるかを判定することができる。
また、映像切替判定手段25は、現在の表示状態を保持し、切替指示が入力されるたびに、その状態を切り替えて映像指定を行う。
なお、2K映像を表示しないと判定した場合、映像切替判定手段25は、さらに、映像切出手段22に映像の切り出しを行わないように指示することとしてもよい。
これによって、映像切替判定手段25は、現状の表示状態から、4K映像の表示と、4K映像に2K映像を合成した映像の表示とのいずれに切り替えるかを判定することができる。
映像切替出力手段26は、映像切替判定手段25から指示される映像指定によって、ダウンコンバート手段21で生成されたD/C映像(4K映像)と、そのD/C映像に、映像切出手段22で切り出された切出映像(2K映像)を合成した映像とを切り替えて、ビューファインダ3に出力するものである。
この映像切替出力手段26は、映像指定により2K映像を合成する場合、4K映像上で、映像切出手段22から出力される表示座標を中心とした領域に、2K映像をオーバーレイ合成する。
なお、映像切替出力手段26は、映像切替判定手段25から映像指定を入力した場合、次の映像指定が入力されるまで、その状態(D/C映像表示状態、切出映像表示状態)を継続する。
この映像切替出力手段26は、映像指定により2K映像を合成する場合、4K映像上で、映像切出手段22から出力される表示座標を中心とした領域に、2K映像をオーバーレイ合成する。
なお、映像切替出力手段26は、映像切替判定手段25から映像指定を入力した場合、次の映像指定が入力されるまで、その状態(D/C映像表示状態、切出映像表示状態)を継続する。
以上説明したようにフォーカスアシスト装置2を構成することで、フォーカスアシスト装置2は、カメラマンのポインティングデバイス4の簡易な操作によって、所望の映像領域をドットバイドットでビューファインダ3に表示させることができる。
これによって、フォーカスアシスト装置2は、カメラヘッド1の解像度よりも低いビューファインダ3であっても、フォーカス調整を行う際に、ドットバイドット表示によって、カメラマンが映像の細部まで確認することができ、8K映像等の超高精細映像において、精度よくフォーカス調整を行うことができる。
これによって、フォーカスアシスト装置2は、カメラヘッド1の解像度よりも低いビューファインダ3であっても、フォーカス調整を行う際に、ドットバイドット表示によって、カメラマンが映像の細部まで確認することができ、8K映像等の超高精細映像において、精度よくフォーカス調整を行うことができる。
<フォーカスアシスト装置の動作>
次に、図4および図5を参照(構成については適宜図3参照)して、本発明の第1実施形態に係るフォーカスアシスト装置2の動作について説明する。また、フォーカスアシスト装置2の各手段が動作時においてメモリを介して送受する映像については、適宜図6を参照することとする。
次に、図4および図5を参照(構成については適宜図3参照)して、本発明の第1実施形態に係るフォーカスアシスト装置2の動作について説明する。また、フォーカスアシスト装置2の各手段が動作時においてメモリを介して送受する映像については、適宜図6を参照することとする。
ここで、図4は、フォーカスアシスト装置2が8K映像をビューファインダ3用の映像に変換する動作を示すフローチャートである。また、図5は、フォーカスアシスト装置2が、カメラマンの操作によってフォーカス調整用の映像を切り替える状態を設定する動作を示すフローチャートである。この図4の映像の映像変換動作、図5の状態設定動作は、それぞれ並行して動作する。
最初に、図4を参照して、フォーカスアシスト装置2の映像変換動作について説明する。
まず、フォーカスアシスト装置2は、映像入力手段20によって、カメラヘッド1から8K映像を入力する(ステップS1)。
そして、フォーカスアシスト装置2は、ダウンコンバート手段21によって、ステップS1で入力された8K映像を、ビューファインダ3の解像度にあわせた4K映像に縮小(ダウンコンバート)する(ステップS2)。
これによって、図6に示すように、映像入力手段20によって入力され、メモリ(8Kフレームメモリ31)に一時保存された8K映像を、ダウンコンバート手段21が、4K映像に縮小し、メモリ(4Kフレームメモリ32)に保存する。
まず、フォーカスアシスト装置2は、映像入力手段20によって、カメラヘッド1から8K映像を入力する(ステップS1)。
そして、フォーカスアシスト装置2は、ダウンコンバート手段21によって、ステップS1で入力された8K映像を、ビューファインダ3の解像度にあわせた4K映像に縮小(ダウンコンバート)する(ステップS2)。
これによって、図6に示すように、映像入力手段20によって入力され、メモリ(8Kフレームメモリ31)に一時保存された8K映像を、ダウンコンバート手段21が、4K映像に縮小し、メモリ(4Kフレームメモリ32)に保存する。
一方、フォーカスアシスト装置2は、映像切出手段22によって、ステップS1で入力された8K映像から、指定された切出座標を中心に2K映像を切り出す(ステップS3)。なお、この切出座標は、後で説明する図5のステップS12で計算されるものであるが、初期値としては、例えば、8K映像の中心座標とする。
これによって、図6に示すように、映像入力手段20によって入力され、メモリ(8Kフレームメモリ31)に一時保存された8K映像から、映像切出手段22が、2K映像を切り出し、メモリ(2Kフレームメモリ33)に保存する。
これによって、図6に示すように、映像入力手段20によって入力され、メモリ(8Kフレームメモリ31)に一時保存された8K映像から、映像切出手段22が、2K映像を切り出し、メモリ(2Kフレームメモリ33)に保存する。
そして、フォーカスアシスト装置2は、映像切替出力手段26によって、現在のビューファインダ3への表示の状態が切出映像表示状態であるか否かを判定する(ステップS4)。なお、この状態の更新は、後で説明する図5のステップS15,S16によって行われる。
ここで、現在の状態が切出映像表示状態である場合(ステップS4でYes)、フォーカスアシスト装置2は、映像切替出力手段26によって、ステップS2でダウンコンバートされた4K映像に、ステップS3で切り出された2K映像をオーバーレイ合成する(ステップS5)。なお、現在の状態がD/C映像表示状態である場合(ステップS4でNo)、映像切替出力手段26は合成を行わない。
これによって、映像切替出力手段26は、図6に示すように、切出映像の表示を行う場合には、4Kフレームメモリ32に保存されている4K映像(D/C映像)に、2Kフレームメモリ33に保存されている2K映像(切出映像)を合成し、ビューファインダ3に出力するための表示メモリ(表示4Kフレームメモリ34)に保存する。また、切出映像の表示を行わない場合、映像切替出力手段26は、4Kフレームメモリ32に保存されている4K映像(D/C映像)を、表示4Kフレームメモリ34に単純コピーする。
そして、フォーカスアシスト装置2は、映像切替出力手段26によって、ステップS5で2K映像を合成した4K映像、または、合成が行われなかった4K映像を、ビューファインダ3に出力する(ステップS6)。
なお、このステップS1からS6までの動作は、カメラヘッド1から入力されるフレーム単位で繰り返し実行される。
なお、このステップS1からS6までの動作は、カメラヘッド1から入力されるフレーム単位で繰り返し実行される。
次に、図5を参照して、フォーカスアシスト装置2の状態設定動作について説明する。
まず、フォーカスアシスト装置2は、操作信号入力手段23によって、ポインティングデバイス4から、操作信号を入力する(ステップS10)。
そして、フォーカスアシスト装置2は、操作信号入力手段23によって、入力された操作信号が、移動量を示す操作信号であるか否かを判定する(ステップS11)。
ここで、操作信号が移動量を示す操作信号である場合(ステップS11でYes)、フォーカスアシスト装置2は、切出座標計算手段24によって、8K映像中の切出座標を計算する(ステップS12)。この切出座標は、先に説明した図4のステップS3において使用される。そして、フォーカスアシスト装置2は、本動作を終了する。
まず、フォーカスアシスト装置2は、操作信号入力手段23によって、ポインティングデバイス4から、操作信号を入力する(ステップS10)。
そして、フォーカスアシスト装置2は、操作信号入力手段23によって、入力された操作信号が、移動量を示す操作信号であるか否かを判定する(ステップS11)。
ここで、操作信号が移動量を示す操作信号である場合(ステップS11でYes)、フォーカスアシスト装置2は、切出座標計算手段24によって、8K映像中の切出座標を計算する(ステップS12)。この切出座標は、先に説明した図4のステップS3において使用される。そして、フォーカスアシスト装置2は、本動作を終了する。
一方、操作信号が移動量を示す操作信号(位置信号)でない場合(ステップS11でNo)、フォーカスアシスト装置2は、操作信号入力手段23によって、入力された操作信号が、表示状態の切り替えを示す操作信号(切替信号)であるか否かを判定する(ステップS13)。
ここで、操作信号が表示状態の切り替えを示す操作信号(切替信号)である場合(ステップS13でYes)、フォーカスアシスト装置2は、映像切替判定手段25によって、現在の状態が切出映像表示状態であるか否かを判定する(ステップS14)。
ここで、操作信号が表示状態の切り替えを示す操作信号(切替信号)である場合(ステップS13でYes)、フォーカスアシスト装置2は、映像切替判定手段25によって、現在の状態が切出映像表示状態であるか否かを判定する(ステップS14)。
そして、現在の状態が切出映像表示状態である場合(ステップS14でYes)、フォーカスアシスト装置2は、映像切替判定手段25によって、現在の状態をD/C映像表示状態に設定する(ステップS15)。一方、現在の状態がD/C映像表示状態である場合(ステップS14でNo)、フォーカスアシスト装置2は、映像切替判定手段25によって、現在の状態を切出映像表示状態に設定する(ステップS16)。このように設定された表示状態は、先に説明した図4のステップS4において参照される。
なお、このステップS10からS16までの動作は、カメラマンが適宜ポインティングデバイス4を操作するタイミングで実行される。
なお、このステップS10からS16までの動作は、カメラマンが適宜ポインティングデバイス4を操作するタイミングで実行される。
以上、本発明の第1実施形態に係るフォーカスアシスト装置2の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。以下、本発明の他の実施形態について説明する。
≪第2実施形態≫
<フォーカスアシスト装置の構成>
図7を参照して、本発明の第2実施形態に係るフォーカスアシスト装置2Bの構成について説明する。
図3で説明したフォーカスアシスト装置2は、フォーカス調整を行う際に、ビューファインダ3の解像度よりも低い解像度の映像をドットバイドット表示するものであった。
図7に示すフォーカスアシスト装置2Bは、フォーカス調整を行う際に、ビューファインダ3の解像度と同じ解像度の映像をドットバイドット表示するものである点が、フォーカスアシスト装置2とは異なる。
<フォーカスアシスト装置の構成>
図7を参照して、本発明の第2実施形態に係るフォーカスアシスト装置2Bの構成について説明する。
図3で説明したフォーカスアシスト装置2は、フォーカス調整を行う際に、ビューファインダ3の解像度よりも低い解像度の映像をドットバイドット表示するものであった。
図7に示すフォーカスアシスト装置2Bは、フォーカス調整を行う際に、ビューファインダ3の解像度と同じ解像度の映像をドットバイドット表示するものである点が、フォーカスアシスト装置2とは異なる。
図7に示すように、フォーカスアシスト装置2Bは、映像入力手段20と、ダウンコンバート手段21と、映像切出手段22Bと、操作信号入力手段23と、切出座標計算手段24と、映像切替判定手段25と、映像切替出力手段26Bと、を備える。
映像切出手段22Bおよび映像切替出力手段26B以外の構成については、図3で説明したフォーカスアシスト装置2と同じ構成であるため、同一の符号を付して説明を省略する。
映像切出手段22Bおよび映像切替出力手段26B以外の構成については、図3で説明したフォーカスアシスト装置2と同じ構成であるため、同一の符号を付して説明を省略する。
映像切出手段22Bは、映像入力手段20から入力された映像から、当該映像の1画素をビューファインダ3の1画素に表示可能な、ビューファインダ3と同じ解像度の映像を抽出するものである。
ここでは、映像切出手段22Bは、切出座標計算手段24から入力される切出座標を中心として、入力された8K映像から、ビューファインダ3と同じ解像度で同じアスペクト比の4K映像を切り出す。この映像切出手段22Bは、切り出した映像(4K映像)を映像切替出力手段26Bに出力する。
これによって、映像切出手段22Bは、入力された8K映像から、ビューファインダ3においてドットバイドットで最大表示可能な映像を切り出すことができる。
ここでは、映像切出手段22Bは、切出座標計算手段24から入力される切出座標を中心として、入力された8K映像から、ビューファインダ3と同じ解像度で同じアスペクト比の4K映像を切り出す。この映像切出手段22Bは、切り出した映像(4K映像)を映像切替出力手段26Bに出力する。
これによって、映像切出手段22Bは、入力された8K映像から、ビューファインダ3においてドットバイドットで最大表示可能な映像を切り出すことができる。
映像切替出力手段26Bは、映像切替判定手段25から指示される映像指定によって、ダウンコンバート手段21で生成された映像(4K映像)と、映像切出手段22Bで切り出された映像(4K映像)とを切り替えて、ビューファインダ3に出力するものである。
なお、映像切替出力手段26Bは、映像切替判定手段25から映像指定を入力した場合、次の映像指定が入力されるまで、その状態(D/C映像表示状態、切出映像表示状態)を継続する。
なお、映像切替出力手段26Bは、映像切替判定手段25から映像指定を入力した場合、次の映像指定が入力されるまで、その状態(D/C映像表示状態、切出映像表示状態)を継続する。
これによって、フォーカスアシスト装置2Bは、解像度がカメラヘッド1の解像度よりも低いビューファインダ3であっても、フォーカス調整を行う際に、ドットバイドット表示によって、カメラマンが映像の細部まで確認することができ、8K映像等の超高精細映像において、精度よくフォーカス調整を行うことができる。
<フォーカスアシスト装置の動作>
フォーカスアシスト装置2Bの動作は、基本的に、図4および図5で説明したフォーカスアシスト装置2と同じであるが、ステップS3,S5,S6の動作が異なっている。
まず、フォーカスアシスト装置2Bは、図4のステップS3において、映像切出手段22Bによって、ステップS1で入力された8K映像から、指定された切出座標を中心に4K映像を切り出す。
すなわち、図8に示すように、映像入力手段20によって入力され、メモリ(8Kフレームメモリ31)に一時保存された8K映像から、映像切出手段22Bが、4K映像を切り出し、メモリ(4Kフレームメモリ33A)に保存する。
フォーカスアシスト装置2Bの動作は、基本的に、図4および図5で説明したフォーカスアシスト装置2と同じであるが、ステップS3,S5,S6の動作が異なっている。
まず、フォーカスアシスト装置2Bは、図4のステップS3において、映像切出手段22Bによって、ステップS1で入力された8K映像から、指定された切出座標を中心に4K映像を切り出す。
すなわち、図8に示すように、映像入力手段20によって入力され、メモリ(8Kフレームメモリ31)に一時保存された8K映像から、映像切出手段22Bが、4K映像を切り出し、メモリ(4Kフレームメモリ33A)に保存する。
また、フォーカスアシスト装置2Bは、図4のステップS5の合成動作を行わず、ステップS6において、現在の状態が切出映像表示状態である場合(ステップS4でYes)、映像切替出力手段26Bが、切り出した4K映像をビューファインダ3に出力する。また、現在の状態がD/C映像表示状態である場合(ステップS4でNo)、映像切替出力手段26Bが、ステップS2でダウンコンバートした4K映像をビューファインダ3に出力する。
すなわち、映像切替出力手段26Bは、図8に示すように、4Kフレームメモリ32に保存されている4K映像(D/C4K映像)または4Kフレームメモリ33Aに保存されている4K映像(切出4K映像)とのいずれか一方を、ビューファインダ3に出力するための表示メモリ(表示4Kフレームメモリ34)に単純コピーする。
以上説明したフォーカスアシスト装置2Bによれば、フォーカスアシスト装置2よりも広い映像領域をドットバイドットでビューファインダ3に表示させることができる。
以上説明したフォーカスアシスト装置2Bによれば、フォーカスアシスト装置2よりも広い映像領域をドットバイドットでビューファインダ3に表示させることができる。
≪第3実施形態≫
<フォーカスアシスト装置の構成>
図9を参照して、本発明の第3実施形態に係るフォーカスアシスト装置2Cの構成について説明する。
図9に示すフォーカスアシスト装置2Cは、図3で説明したフォーカスアシスト装置2がドットバイドット表示する切出映像に対して、さらにフォーカスの合っている領域を強調して表示する機能を付加している。
<フォーカスアシスト装置の構成>
図9を参照して、本発明の第3実施形態に係るフォーカスアシスト装置2Cの構成について説明する。
図9に示すフォーカスアシスト装置2Cは、図3で説明したフォーカスアシスト装置2がドットバイドット表示する切出映像に対して、さらにフォーカスの合っている領域を強調して表示する機能を付加している。
図9に示すように、フォーカスアシスト装置2Cは、映像入力手段20と、ダウンコンバート手段21と、映像切出手段22Cと、操作信号入力手段23と、切出座標計算手段24と、映像切替判定手段25Cと、映像切替出力手段26Cと、合焦強調映像生成手段27と、を備える。
映像切出手段22C、映像切替判定手段25C、映像切替出力手段26Cおよび合焦強調映像生成手段27以外の構成については、図3で説明したフォーカスアシスト装置2と同じ構成であるため、同一の符号を付して説明を省略する。
映像切出手段22C、映像切替判定手段25C、映像切替出力手段26Cおよび合焦強調映像生成手段27以外の構成については、図3で説明したフォーカスアシスト装置2と同じ構成であるため、同一の符号を付して説明を省略する。
映像切出手段22Cは、基本的には、図3で説明した映像切出手段22と同じものであるが、切り出した映像(2K映像)をさらに合焦強調映像生成手段27に出力する点のみが異なっている。
映像切替判定手段25Cは、操作信号入力手段23から入力される切替指示に基づいて、映像切出手段22Cで切り出された映像(2K映像)を表示させるか否かを判定するものである。なお、映像切替判定手段25Cは、操作信号入力手段23から切り替え指示が入力されるたびに、3つの表示状態を遷移するように映像指定を切り替える。
1つ目の表示状態は、ダウンコンバート手段21でダウンコンバートされた映像(4K映像:D/C映像)を表示する状態である。このとき、映像切替判定手段25Cは、その表示状態を指示する指定(映像指定:D/C映像)を映像切替出力手段26Cに出力する。
2つ目の表示状態は、ダウンコンバートされたD/C映像(4K映像)に、映像切出手段22で切り出された切出映像(2K映像)を合成して表示する状態である。このとき、映像切替判定手段25Cは、その表示状態を指示する指定(映像指定:切出映像)を映像切替出力手段26Cに出力する。
3つ目の表示状態は、ダウンコンバートされたD/C映像(4K映像)に、映像切出手段22で切り出された切出映像(2K映像)内で焦点が合っている部分を強調した映像を合成して表示する状態である。このとき、映像切替判定手段25Cは、その表示状態を指示する指定(映像指定:合焦強調切出映像)を映像切替出力手段26Cに出力する。この表示状態の遷移順序は、この順序に限定されるものではない。
なお、映像切替判定手段25Cは、D/C映像を表示させると判定した場合、映像切出手段22Cに映像の切り出しを行わないように指示することとしてもよい。また、映像切替判定手段25Cは、切出映像を表示させると判定した場合、合焦強調映像生成手段27に合焦強調切出映像の生成を行わないように指示することとしてもよい。
映像切替出力手段26Cは、映像切替判定手段25Cから指示される映像指定によって、ダウンコンバート手段21で生成されたD/C映像(4K映像)と、D/C映像に映像切出手段22Cで切り出された切出映像を合成した映像(2K映像)と、D/C映像に合焦強調映像生成手段27で生成された合焦強調切出映像を合成した映像(2K映像)とを切り替えて、ビューファインダ3に出力するものである。
なお、映像切替出力手段26Cは、映像切替判定手段25Cから映像指定を入力した場合、次の映像指定が入力されるまで、その状態(D/C映像表示状態、切出映像表示状態、合焦強調切出映像表示状態)を継続する。
なお、映像切替出力手段26Cは、映像切替判定手段25Cから映像指定を入力した場合、次の映像指定が入力されるまで、その状態(D/C映像表示状態、切出映像表示状態、合焦強調切出映像表示状態)を継続する。
合焦強調映像生成手段27は、映像切出手段22Cで切り出された映像において、フォーカスが合っている領域を強調した映像を生成するものである。ここでは、合焦強調映像生成手段27は、高域抽出手段27aと、強調合成手段27bと、を備える。
高域抽出手段27aは、映像切出手段22Cで切り出された映像から予め定めた周波数以上の高域空間周波数成分を抽出するものである。この高域抽出手段27aは、一般的な高域通過フィルタで構成することができる。
この高域抽出手段27aは、抽出した高域空間周波数成分を強調合成手段27bに出力する。
この高域抽出手段27aは、抽出した高域空間周波数成分を強調合成手段27bに出力する。
強調合成手段27bは、映像切出手段22Cで切り出された切出映像に、高域抽出手段27aで抽出された高域空間周波数成分をマーカ(ピーキング画像)として合成するものである。この強調合成手段27bは、例えば、抽出された高域空間周波数成分を予め定めた色とする画像(ピーキング画像)とし、切出映像に合成する。
これによって、強調合成手段27bは、フォーカスが合っている領域を強調した映像(合焦強調映像)を生成することができる。
この強調合成手段27bは、生成した合焦強調映像を、映像切替出力手段26Cに出力する。
これによって、強調合成手段27bは、フォーカスが合っている領域を強調した映像(合焦強調映像)を生成することができる。
この強調合成手段27bは、生成した合焦強調映像を、映像切替出力手段26Cに出力する。
これによって、フォーカスアシスト装置2Cは、解像度がカメラヘッド1の解像度よりも低いビューファインダ3であっても、フォーカス調整を行う際に、ドットバイドット表示によって、カメラマンが映像の細部まで確認することができるとともに、フォーカスの合っている領域をマーカ(ピーキング画像)によって確認することができ、8K映像等の超高精細映像において、精度よくフォーカス調整を行うことができる。
<フォーカスアシスト装置の動作>
次に、図10および図11を参照(構成については適宜図9参照)して、本発明の第3実施形態に係るフォーカスアシスト装置2Cの動作について説明する。また、フォーカスアシスト装置2Cの各手段が動作時においてメモリを介して送受する映像については、適宜図12を参照することとする。
次に、図10および図11を参照(構成については適宜図9参照)して、本発明の第3実施形態に係るフォーカスアシスト装置2Cの動作について説明する。また、フォーカスアシスト装置2Cの各手段が動作時においてメモリを介して送受する映像については、適宜図12を参照することとする。
ここで、図10は、フォーカスアシスト装置2Cが8K映像をビューファインダ3用の映像に変換する動作を示すフローチャートである。また、図11は、フォーカスアシスト装置2Cが、カメラマンの操作によってフォーカス調整用の映像を切り替える状態を設定する動作を示すフローチャートである。この図10の映像の映像変換動作、図11の状態設定動作は、それぞれ並行して動作する。
最初に、図10を参照して、フォーカスアシスト装置2Cの映像変換動作について説明する。なお、この動作は、図4で説明したフォーカスアシスト装置2(図3)の動作と基本的な動作は同じであるため、相違点についてのみ説明する。
ステップS3の動作後、フォーカスアシスト装置2Cは、合焦強調映像生成手段27によって、ステップS3で切り出された映像(2K映像)から、フォーカスの合った領域を強調した合焦強調映像を生成する(ステップS3B)。
ステップS3の動作後、フォーカスアシスト装置2Cは、合焦強調映像生成手段27によって、ステップS3で切り出された映像(2K映像)から、フォーカスの合った領域を強調した合焦強調映像を生成する(ステップS3B)。
これによって、図12に示すように、映像入力手段20によって入力され、メモリ(8Kフレームメモリ31)に一時保存された8K映像から、映像切出手段22Cが、2K映像を切り出し、メモリ(2Kフレームメモリ33A)に保存する。また、合焦強調映像生成手段27が、2K映像のフォーカス合った領域を強調し、メモリ(2Kフレームメモリ33B)に保存する。
そして、フォーカスアシスト装置2Cは、映像切替出力手段26Cによって、現在のビューファインダ3への表示の状態が切出映像表示状態であるか否かを判定する(ステップS4)。なお、現在の状態が切出映像表示状態である場合(ステップS4でYes)の動作は、図4と同じである。
そして、フォーカスアシスト装置2Cは、現在の状態が切出映像表示状態でない場合(ステップS4でNo)、さらに、映像切替出力手段26Cによって、現在のビューファインダ3への表示の状態が合焦強調切出映像表示状態であるか否かを判定する(ステップS4B)。
そして、フォーカスアシスト装置2Cは、現在の状態が切出映像表示状態でない場合(ステップS4でNo)、さらに、映像切替出力手段26Cによって、現在のビューファインダ3への表示の状態が合焦強調切出映像表示状態であるか否かを判定する(ステップS4B)。
ここで、現在の状態が合焦強調切出映像表示状態である場合(ステップS4BでYes)、フォーカスアシスト装置2Cは、映像切替出力手段26Cによって、ステップS2でダウンコンバートされた4K映像に、ステップS3Bで生成された合掌強調切出映像をオーバーレイ合成する(ステップS4C)。一方、現在の状態が合焦強調切出映像表示状態でない場合(ステップS4BでNo)、映像切替出力手段26Cは合成を行わない。
これによって、映像切替出力手段26Cは、図12に示すように、切出映像の表示を行う場合には、4Kフレームメモリ32に保存されている4K映像(D/C映像)に、2Kフレームメモリ33Aに保存されている2K映像(切出映像)を合成し、ビューファインダ3に出力するための表示メモリ(表示4Kフレームメモリ34)に保存する。
また、合焦強調切出映像の表示を行う場合には、4Kフレームメモリ32に保存されている4K映像(D/C映像)に、2Kフレームメモリ33Bに保存されている2K映像(合焦強調切出映像)を合成し、表示メモリ(表示4Kフレームメモリ34)に保存する。
また、切出映像や合焦強調切出映像の表示を行わない場合、映像切替出力手段26Cは、4Kフレームメモリ32に保存されている4K映像(D/C映像)を、表示4Kフレームメモリ34に単純コピーする。
また、切出映像や合焦強調切出映像の表示を行わない場合、映像切替出力手段26Cは、4Kフレームメモリ32に保存されている4K映像(D/C映像)を、表示4Kフレームメモリ34に単純コピーする。
次に、図11を参照して、フォーカスアシスト装置2Cの状態設定動作について説明する。なお、この動作は、図5で説明したフォーカスアシスト装置2(図3)の動作と基本的な動作は同じであるため、相違点についてのみ説明する。
表示状態の切り替えを示す操作信号(切替信号)が入力され、現在の状態が切出映像表示状態である場合(ステップS14でYes)、フォーカスアシスト装置2Cは、映像切替判定手段25Cによって、現在の状態を合焦切出映像表示状態に設定する(ステップS15B)。
また、現在の状態が合焦強調切出映像表示状態である場合(ステップS14BでYes)、フォーカスアシスト装置2Cは、映像切替判定手段25Cによって、現在の状態をD/C映像表示状態に設定する(ステップS15)。
また、現在の状態がD/C映像表示状態である場合(ステップS14BでNo)、フォーカスアシスト装置2Cは、映像切替判定手段25Cによって、現在の状態を切出映像表示状態に設定する(ステップS16)。
また、現在の状態が合焦強調切出映像表示状態である場合(ステップS14BでYes)、フォーカスアシスト装置2Cは、映像切替判定手段25Cによって、現在の状態をD/C映像表示状態に設定する(ステップS15)。
また、現在の状態がD/C映像表示状態である場合(ステップS14BでNo)、フォーカスアシスト装置2Cは、映像切替判定手段25Cによって、現在の状態を切出映像表示状態に設定する(ステップS16)。
以上説明したフォーカスアシスト装置2Cによれば、フォーカスアシスト装置2の効果に加え、マーカ(ピーキング画像)によって、フォーカス領域をさらに分かりやすく表示することができる。
≪第4実施形態≫
次に、図13を参照して、本発明の第4実施形態に係るフォーカスアシスト装置2Dについて説明する。
先に説明した第3実施形態に係るフォーカスアシスト装置2C(図9)は、第2実施形態のフォーカスアシスト装置2B(図7)と同様に、フォーカス調整を行う際に、ビューファインダ3の解像度と同じ解像度の映像をドットバイドット表示することとしてもよい。そこで、フォーカスアシスト装置2C(図9)を、ビューファインダ3の解像度と同じ解像度の映像をドットバイドット表示するように変更した構成を、第4実施形態に係るフォーカスアシスト装置2Dとした。
次に、図13を参照して、本発明の第4実施形態に係るフォーカスアシスト装置2Dについて説明する。
先に説明した第3実施形態に係るフォーカスアシスト装置2C(図9)は、第2実施形態のフォーカスアシスト装置2B(図7)と同様に、フォーカス調整を行う際に、ビューファインダ3の解像度と同じ解像度の映像をドットバイドット表示することとしてもよい。そこで、フォーカスアシスト装置2C(図9)を、ビューファインダ3の解像度と同じ解像度の映像をドットバイドット表示するように変更した構成を、第4実施形態に係るフォーカスアシスト装置2Dとした。
ここで、第4実施形態に係るフォーカスアシスト装置2Dと、第3実施形態に係るフォーカスアシスト装置2C(図9)との相違点(映像切出手段22D、映像切替判定手段25D、映像切替出力手段26D)のみ説明する。なお、フォーカスアシスト装置2Dの合焦強調映像生成手段27は、入力する映像が4K映像であるが、フォーカスアシスト装置2Cの合焦強調映像生成手段27とは、対象とする映像の大きさが異なるのみで、処理内容は同じであるため、説明を省略する。
映像切出手段22Dは、映像入力手段20から入力された映像から、当該映像の1画素をビューファインダ3の1画素に表示可能な、ビューファインダ3と同じ解像度の映像を抽出するものである。
ここでは、映像切出手段22Dは、切出座標計算手段24から入力される切出座標を中心として、入力された8K映像から、ビューファインダ3と同じ解像度で同じアスペクト比の4K映像を切り出す。この映像切出手段22Dは、切り出した映像(4K映像)を映像切替出力手段26Dと合焦強調映像生成手段27とに出力する。
ここでは、映像切出手段22Dは、切出座標計算手段24から入力される切出座標を中心として、入力された8K映像から、ビューファインダ3と同じ解像度で同じアスペクト比の4K映像を切り出す。この映像切出手段22Dは、切り出した映像(4K映像)を映像切替出力手段26Dと合焦強調映像生成手段27とに出力する。
映像切替判定手段25Dは、操作信号入力手段23から入力される切替指示に基づいて、映像切出手段22Dで切り出された映像(4K映像)を表示させるか否かを判定するものである。なお、映像切替判定手段25Dは、操作信号入力手段23から切替指示が入力されるたびに、3つの表示状態を遷移するように映像指定を切り替える。
1つ目の表示状態は、ダウンコンバート手段21でダウンコンバートされた映像(4K映像:D/C映像)を表示する状態である。このとき、映像切替判定手段25Dは、その表示状態を指示する指定(映像指定:D/C映像)を映像切替出力手段26Dに出力する。
2つ目の表示状態は、映像切出手段22Dで切り出された切出映像(4K映像)を表示する状態である。このとき、映像切替判定手段25Dは、その表示状態を指示する指定(映像指定:切出映像)を映像切替出力手段26Dに出力する。
3つ目の表示状態は、映像切出手段22Dで切り出された切出映像(4K映像)に、その切出映像内で焦点が合っている部分を強調した合焦強調切出映像を表示する状態である。このとき、映像切替判定手段25Dは、その表示状態を指示する指定(映像指定:合焦強調切出映像)を映像切替出力手段26Dに出力する。この表示状態の遷移順序は、この順序に限定されるものではない。
なお、映像切替判定手段25Dは、D/C映像を表示させると判定した場合、映像切出手段22Dに映像の切り出しを行わないように指示することとしてもよい。また、映像切替判定手段25Dは、切出映像を表示させると判定した場合、合焦強調映像生成手段27に合焦強調切出映像の生成を行わないように指示することとしてもよい。
映像切替出力手段26Dは、映像切替判定手段25Dから指示される映像指定によって、ダウンコンバート手段21で生成されたD/C映像(4K映像)と、映像切出手段22Dで切り出された切出映像(4K映像)と、合焦強調映像生成手段27で生成された合焦強調切出映像(4K映像)とを切り替えて、ビューファインダ3に出力するものである。
これによって、フォーカスアシスト装置2Dは、解像度がカメラヘッド1の解像度よりも低いビューファインダ3であっても、フォーカス調整を行う際に、ドットバイドット表示によって、カメラマンが映像の細部まで確認することができるとともに、フォーカスの合っている領域を確認することができ、8K映像等の超高精細映像において、精度よくフォーカス調整を行うことができる。
なお、フォーカスアシスト装置2Dの動作は、フォーカスアシスト装置2Cの動作に対して、切出映像の大きさが4K映像になり、表示状態が、D/C映像(4K映像)と、切出映像(4K映像)と、合焦強調切出映像(4K映像)とをそれぞれ表示する状態に遷移する点が、異なるだけであるため、ここでは詳細な説明は省略する。
≪第5実施形態≫
次に、図14を参照して、本発明の第5実施形態に係るフォーカスアシスト装置2Eについて説明する。
図7で説明したフォーカスアシスト装置2Bは、ビューファインダ3に映像をドットバイドット表示するため、映像切出手段22Bにおいて、ビューファインダ3の解像度と同じ解像度の映像(4K映像)を切り出した。
図14に示すフォーカスアシスト装置2Eは、切出映像を拡大してビューファインダ3に表示する機能を有する点が、フォーカスアシスト装置2Bとは異なる。
次に、図14を参照して、本発明の第5実施形態に係るフォーカスアシスト装置2Eについて説明する。
図7で説明したフォーカスアシスト装置2Bは、ビューファインダ3に映像をドットバイドット表示するため、映像切出手段22Bにおいて、ビューファインダ3の解像度と同じ解像度の映像(4K映像)を切り出した。
図14に示すフォーカスアシスト装置2Eは、切出映像を拡大してビューファインダ3に表示する機能を有する点が、フォーカスアシスト装置2Bとは異なる。
図14に示すように、フォーカスアシスト装置2Bは、映像入力手段20と、ダウンコンバート手段21と、映像切出手段22Eと、操作信号入力手段23と、切出座標計算手段24と、映像切替判定手段25Eと、映像切替出力手段26Bと、を備える。
映像切出手段22Eおよび映像切替判定手段25E以外の構成については、図7で説明したフォーカスアシスト装置2Bと同じ構成であるため、同一の符号を付して説明を省略する。
映像切出手段22Eおよび映像切替判定手段25E以外の構成については、図7で説明したフォーカスアシスト装置2Bと同じ構成であるため、同一の符号を付して説明を省略する。
映像切出手段22Eは、映像入力手段20から入力された映像から、当該映像の1画素をビューファインダ3の1画素以上に表示可能な映像を抽出するものである。この映像切出手段22Eは、切出座標計算手段24から入力される切出座標を基準(中心)に、映像切替判定手段25Eから入力される拡大倍率(1倍、2倍、3倍等)で映像を拡大して抽出する。
すなわち、映像切出手段22Eは、入力された8K映像から、ビューファインダ3の縦横の画素数をそれぞれ拡大倍率で除算した縦横の画素数に対応する映像を、切出座標を中心に切り出し、拡大倍率で拡大する。
これによって、映像切出手段22Eは、入力された8K映像から、ビューファインダ3の解像度に対して、ドットバイドットまたはそれ以上に拡大した映像を切り出すことができる。
すなわち、映像切出手段22Eは、入力された8K映像から、ビューファインダ3の縦横の画素数をそれぞれ拡大倍率で除算した縦横の画素数に対応する映像を、切出座標を中心に切り出し、拡大倍率で拡大する。
これによって、映像切出手段22Eは、入力された8K映像から、ビューファインダ3の解像度に対して、ドットバイドットまたはそれ以上に拡大した映像を切り出すことができる。
映像切替判定手段25Eは、操作信号入力手段23から入力される切替指示に基づいて、映像切出手段22Eで切り出された映像(2K映像)を表示させるか否かを判定するものである。また、映像切替判定手段25Eは、切替指示に基づいて、映像切出手段22Eで切り出される映像の倍率を判定する。なお、映像切替判定手段25Eは、操作信号入力手段23から切替指示が入力されるたびに、ダウンコンバート手段21でダウンコンバートされた映像(4K映像:D/C映像)を表示する状態と、映像切出手段22Eで切り出される倍率に応じた映像を表示する複数の状態とを遷移するように映像指定を切り替える。
ここでは、一例として、倍率を1倍、2倍、3倍、4倍とする。この場合、映像切替判定手段25Eは、D/C映像を表示する状態と、倍率1倍から4倍の各映像を表示する4つの状態の合計5つの表示状態を切り替える。例えば、映像切替判定手段25Eは、押し込み/タップによる切替指示が入力されるたびに、図15に示すように、状態を遷移させる。
なお、映像切替判定手段25Eは、D/C映像を表示対象とする場合、D/C映像を指示する指定(映像指定:D/C映像)を映像切替出力手段26Bに出力する。また、拡大映像(1倍〜4倍)を表示対象とする場合、切出映像を指示する指定(映像指定:切出映像)を映像切替出力手段26Bに出力する。
また、映像切替判定手段25Eは、拡大映像(1倍〜4倍)を表示対象とする場合、その拡大倍率を、映像切出手段22Eに出力する。
また、映像切替判定手段25Eは、拡大映像(1倍〜4倍)を表示対象とする場合、その拡大倍率を、映像切出手段22Eに出力する。
なお、ポインティングデバイス4で拡大を指定する場合、タッチパッドへの押し込み/タップ操作の代わりに、図16(a)に示すピンチアウト操作、図16(b)に示すピンチイン操作を用いてもよい。
その場合、映像切替判定手段25Eは、ピンチアウト操作(図16(a))およびピンチイン操作(図16(b))による切替指示が入力されるたびに、図17に示すように、状態を遷移させればよい。
その場合、映像切替判定手段25Eは、ピンチアウト操作(図16(a))およびピンチイン操作(図16(b))による切替指示が入力されるたびに、図17に示すように、状態を遷移させればよい。
このフォーカスアシスト装置2Eの動作は、フォーカスアシスト装置2Bの動作に対して、切出映像の大きさが拡大映像になり、表示状態が、D/C映像(4K映像)と、倍率に応じた拡大映像(4K映像)とをそれぞれ表示する状態に遷移する点が、異なるだけであるため、ここでは詳細な説明は省略する。
ここで、フォーカスアシスト装置2Eの各手段が動作時においてメモリを介して送受する映像について、図18を参照(適宜図14参照)して簡単に説明しておく。ここでは、説明を簡略化するため、拡大倍率を1倍と2倍の2つにしている。
図18に示すように、映像入力手段20によって入力され、メモリ(8Kフレームメモリ31)に一時保存された8K映像を、ダウンコンバート手段21が、4K映像に縮小し、メモリ(4Kフレームメモリ32)に保存する。
図18に示すように、映像入力手段20によって入力され、メモリ(8Kフレームメモリ31)に一時保存された8K映像を、ダウンコンバート手段21が、4K映像に縮小し、メモリ(4Kフレームメモリ32)に保存する。
そして、メモリ(8Kフレームメモリ31)に一時保存された8K映像から、映像切出手段22Eが、拡大倍率に応じた領域の映像を切り出して、拡大倍率に応じて拡大し、4K映像として、メモリ(4Kフレームメモリ33A)に保存する。
そして、ダウンコンバートした映像(D/C映像)の表示を行う場合、映像切替出力手段26Bが、4Kフレームメモリ32に保存されている4K映像(D/C映像)を、表示4Kフレームメモリ34に単純コピーする。また、切出映像(拡大映像)の表示を行う場合、映像切替出力手段26Bが、4Kフレームメモリ33Aに保存されている4K映像(拡大4K映像)を、表示4Kフレームメモリ34に単純コピーする。
そして、ダウンコンバートした映像(D/C映像)の表示を行う場合、映像切替出力手段26Bが、4Kフレームメモリ32に保存されている4K映像(D/C映像)を、表示4Kフレームメモリ34に単純コピーする。また、切出映像(拡大映像)の表示を行う場合、映像切替出力手段26Bが、4Kフレームメモリ33Aに保存されている4K映像(拡大4K映像)を、表示4Kフレームメモリ34に単純コピーする。
これによって、フォーカスアシスト装置2Eは、解像度がカメラヘッド1の解像度よりも低いビューファインダ3であっても、フォーカス調整を行う際に、ドットバイドット表示あるいはそれをさらに拡大することで、カメラマンが映像の細部まで確認することができるとともに、8K映像等の超高精細映像において、精度よくフォーカス調整を行うことができる。
以上、本発明の第1実施形態から第5実施形態に係るフォーカスアシスト装置2(2B,2C,2D,2E)について説明したが、これらは、コンピュータを前記した各手段として機能させるプログラム(フォーカスアシストプログラム)で動作させることができる。また、このフォーカスアシストプログラムは、記録媒体に記録して配布したり、通信回線を介して配布したりすることも可能である。
C 撮影装置
1 カメラヘッド
2 フォーカスアシスト装置
20 映像入力手段
21 ダウンコンバート手段
22 映像切出手段
23 操作信号入力手段
24 切出座標計算手段
25 映像切替判定手段
26 映像切替出力手段
27 合焦強調映像生成手段
3 ビューファインダ
4 ポインティングデバイス
1 カメラヘッド
2 フォーカスアシスト装置
20 映像入力手段
21 ダウンコンバート手段
22 映像切出手段
23 操作信号入力手段
24 切出座標計算手段
25 映像切替判定手段
26 映像切替出力手段
27 合焦強調映像生成手段
3 ビューファインダ
4 ポインティングデバイス
Claims (6)
- 撮影装置の撮影映像を、前記撮影装置の解像度よりも低いビューファインダで表示する際に、操作面の操作により位置信号または切替信号を操作信号として出力するポインティングデバイスから入力される前記操作信号に基づいて、前記ビューファインダの表示状態を切り替えるフォーカスアシスト装置であって、
前記撮影映像を前記ビューファインダの解像度の映像に縮小したダウンコンバート映像を生成するダウンコンバート手段と、
前記操作信号として入力される前記位置信号から、前記撮影映像の切出座標を計算する切出座標計算手段と、
この切出座標計算手段で計算された切出座標に基づいて、前記撮影映像から、前記撮影映像の1画素を前記ビューファインダの1画素以上で表示可能な領域の映像を切出映像として切り出す映像切出手段と、
前記操作信号として入力される前記切替信号に基づいて、前記ダウンコンバート映像と、前記切出映像とのいずれを表示対象とするかを判定する映像切替判定手段と、
この映像切替判定手段で判定された前記ダウンコンバート映像または前記切出映像を切り替えて前記ビューファインダに出力する映像切替出力手段と、
を備えることを特徴とするフォーカスアシスト装置。 - 前記映像切出手段で切り出された切出映像から、予め定めた周波数以上の高域空間周波数成分を有する領域を強調した合焦強調映像を生成する合焦強調映像生成手段をさらに備え、
前記映像切替判定手段は、前記ダウンコンバート映像および前記切出映像に前記合焦強調映像を加えて、前記切替信号による表示対象の判定を行い、
前記映像切替出力手段は、前記映像切替判定手段で判定された前記ダウンコンバート映像、前記切出映像または前記合焦強調映像を切り替えて前記ビューファインダに出力することを特徴とする請求項1に記載のフォーカスアシスト装置。 - 前記切出映像は、その画素数が前記ビューファインダの表示画素数よりも少ない映像であって、
前記映像切替出力手段は、前記切出映像を出力する際に、前記ダウンコンバート映像上の前記切出座標に対応する位置に前記切出映像を合成して出力することを特徴とする請求項1に記載のフォーカスアシスト装置。 - 前記切出映像は、その画素数が前記ビューファインダの表示画素数よりも少ない映像であって、
前記映像切替出力手段は、前記切出映像を出力する際または前記合焦強調映像を出力する際に、前記ダウンコンバート映像上の前記切出座標に対応する位置に前記切出映像または前記合焦強調映像を合成して出力することを特徴とする請求項2に記載のフォーカスアシスト装置。 - 前記映像切出手段は、前記操作信号として入力される前記切替信号に基づいて、順次、拡大倍率を変えて前記切出映像を切り出すことを特徴とする請求項1に記載のフォーカスアシスト装置。
- コンピュータを、請求項1から請求項5のいずれか一項に記載のフォーカスアシスト装置として機能させるためのフォーカスアシストプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014239244A JP2016100883A (ja) | 2014-11-26 | 2014-11-26 | フォーカスアシスト装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014239244A JP2016100883A (ja) | 2014-11-26 | 2014-11-26 | フォーカスアシスト装置およびそのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016100883A true JP2016100883A (ja) | 2016-05-30 |
Family
ID=56078206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014239244A Pending JP2016100883A (ja) | 2014-11-26 | 2014-11-26 | フォーカスアシスト装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016100883A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019009506A (ja) * | 2017-06-20 | 2019-01-17 | 池上通信機株式会社 | フォーカス補助システム装置 |
JP2020077005A (ja) * | 2020-01-22 | 2020-05-21 | キヤノン株式会社 | 表示装置及び表示制御方法 |
WO2021010020A1 (ja) * | 2019-07-17 | 2021-01-21 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
WO2022137928A1 (ja) * | 2020-12-22 | 2022-06-30 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001211351A (ja) * | 2000-01-27 | 2001-08-03 | Fuji Photo Film Co Ltd | 画像撮像装置およびその動作制御方法 |
JP2006067044A (ja) * | 2004-08-25 | 2006-03-09 | Sony Corp | 画像処理装置および画像処理方法 |
JP2010130540A (ja) * | 2008-11-28 | 2010-06-10 | Canon Inc | 映像表示装置 |
JP2012009915A (ja) * | 2010-06-22 | 2012-01-12 | Nikon Corp | 撮像装置、再生装置および再生プログラム |
-
2014
- 2014-11-26 JP JP2014239244A patent/JP2016100883A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001211351A (ja) * | 2000-01-27 | 2001-08-03 | Fuji Photo Film Co Ltd | 画像撮像装置およびその動作制御方法 |
JP2006067044A (ja) * | 2004-08-25 | 2006-03-09 | Sony Corp | 画像処理装置および画像処理方法 |
JP2010130540A (ja) * | 2008-11-28 | 2010-06-10 | Canon Inc | 映像表示装置 |
JP2012009915A (ja) * | 2010-06-22 | 2012-01-12 | Nikon Corp | 撮像装置、再生装置および再生プログラム |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019009506A (ja) * | 2017-06-20 | 2019-01-17 | 池上通信機株式会社 | フォーカス補助システム装置 |
JP6999296B2 (ja) | 2017-06-20 | 2022-01-18 | 池上通信機株式会社 | フォーカス補助システム装置 |
WO2021010020A1 (ja) * | 2019-07-17 | 2021-01-21 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
JP7420141B2 (ja) | 2019-07-17 | 2024-01-23 | ソニーグループ株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
US11979670B2 (en) | 2019-07-17 | 2024-05-07 | Sony Group Corporation | Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal |
JP2020077005A (ja) * | 2020-01-22 | 2020-05-21 | キヤノン株式会社 | 表示装置及び表示制御方法 |
JP7016895B2 (ja) | 2020-01-22 | 2022-02-07 | キヤノン株式会社 | 表示装置、表示制御方法、及びプログラム |
WO2022137928A1 (ja) * | 2020-12-22 | 2022-06-30 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10742888B2 (en) | Image display device displaying partial areas and positional relationship therebetween | |
JP2013255262A (ja) | 超解像度デジタルズーム | |
KR101739318B1 (ko) | 표시 제어장치, 촬상 시스템, 표시 제어방법, 및 기록 매체 | |
JP6074754B2 (ja) | 画像処理装置および画像処理方法 | |
JP2010021698A (ja) | 画像処理装置およびプログラム | |
JP2016100883A (ja) | フォーカスアシスト装置およびそのプログラム | |
JP2017011427A (ja) | 撮像装置 | |
US11184545B2 (en) | Display control apparatus, imaging apparatus, control method for display apparatus, and non-transitory computer readable medium | |
JP2014123917A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2014034137A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2009089172A (ja) | 画像表示装置 | |
JP2017143504A (ja) | 撮像装置 | |
JP2017143340A (ja) | 情報処理装置及びプログラム | |
JP2017143504A5 (ja) | ||
JPWO2019176804A1 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
US11734936B2 (en) | Digital microscope system, method for operating the same and computer program | |
JP2005130390A (ja) | 表示画面制御装置及びそれを用いた遠方監視装置 | |
JP2018066845A (ja) | 顕微鏡システム | |
JP2021040231A (ja) | 画像処理装置およびプログラム | |
JP6619217B2 (ja) | 顕微鏡システムとその制御方法 | |
JP2017163261A (ja) | 画像表示装置及び画像表示方法 | |
JP2017182843A (ja) | プログラム、表示制御装置及び表示制御方法 | |
JP2024002631A (ja) | 画像処理装置、撮像装置、画像処理方法、コンピュータのプログラムおよび記録媒体 | |
JP7214368B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP2019047145A (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180629 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181225 |