JP2016042720A - 電子機器およびプログラム - Google Patents

電子機器およびプログラム Download PDF

Info

Publication number
JP2016042720A
JP2016042720A JP2015214133A JP2015214133A JP2016042720A JP 2016042720 A JP2016042720 A JP 2016042720A JP 2015214133 A JP2015214133 A JP 2015214133A JP 2015214133 A JP2015214133 A JP 2015214133A JP 2016042720 A JP2016042720 A JP 2016042720A
Authority
JP
Japan
Prior art keywords
electronic camera
cpu
tracking
subject
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015214133A
Other languages
English (en)
Other versions
JP6176306B2 (ja
Inventor
静二 ▲高▼野
静二 ▲高▼野
Seiji Takano
博幸 坂田
Hiroyuki Sakata
博幸 坂田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2015214133A priority Critical patent/JP6176306B2/ja
Publication of JP2016042720A publication Critical patent/JP2016042720A/ja
Application granted granted Critical
Publication of JP6176306B2 publication Critical patent/JP6176306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

【課題】被写体に発信機を備えることなしに、電子カメラにおける撮影対象の情報を外部カメラへリアルタイムに伝えること。【解決手段】電子カメラ1は、撮像素子12と、撮像素子12が所定時間ごとに取得する画像情報に基づいて主要被写体を追尾する追尾手段18と、外部カメラとの間で通信する通信手段19と、を備える。通信手段19は、外部カメラへ撮影依頼信号を送信し、当該送信時および送信後の所定タイミングにおいてそれぞれ主要被写体を示す情報を外部カメラへ送信する。【選択図】図1

Description

本発明は、電子機器およびプログラムに関する。
複数のカメラで所望被写体を同調して撮影する技術が知られている(特許文献1参照)。
特開2006−261999号公報
従来の技術では、マスターカメラが照準した被写体を変更した場合に同調カメラも撮影対象を変更することができるが、あらかじめ被写体に発信機を取り付けておかなければならないという問題があった。
請求項1に記載の電子機器は、画像情報に基づいて被写体を追尾する追尾部と、前記追尾部が前記被写体を追尾の対象としたタイミングに基づいて、前記被写体の撮影依頼を撮像装置へ送信する通信部と、を備える。
本発明による電子機器によれば、撮影対象の情報を外部カメラへリアルタイムに伝えることができる。
本発明の第一の実施の形態による電子カメラの構成を例示するブロック図である。 電子カメラを2台組み合わせて使用する場面を説明する図である。 電子カメラのCPUが実行する連動処理の流れを説明するフローチャートである。 LCDモニタに表示されるライブビュー画像の一例を示す図である。 検出した被写体領域を枠で囲む表示を例示する図である。 追加したテンプレート情報に基づいて検出した被写体領域を枠で囲む表示を例示する図である。 撮影依頼する場合のタッチ操作画面を例示する図である。 更新後のテンプレート情報に基づいて検出した被写体領域を枠で囲む表示を例示する図である。 撮影依頼を受けたことを知らせるLCDモニタの表示画面を例示する図である。 更新後のテンプレート情報に基づいて検出した被写体領域を枠で囲む表示を例示する図である。 捕捉している主要被写体を含む撮影画面を例示する図である。 撮影画像を例示する図である。 本発明の第二の実施形態による電子カメラのCPUが実行する連動処理の流れを説明するフローチャートである。 追尾対象指定操作を受け付ける時点のライブビュー画像の一例を示す図である。 撮影依頼およびテンプレート情報を送信する電子カメラのLCDモニタの表示画面を例示する図である。 変更後のテンプレート情報に基づいて検出した被写体領域を枠で囲む表示を例示する図である。 撮影依頼を受けたことを知らせるLCDモニタの表示画面を例示する図である。 変更後のテンプレート情報に基づいて検出した被写体領域を枠で囲む表示を例示する図である。 捕捉している主要被写体を含む撮影画面を例示する図である。 撮影画像を例示する図である。 本発明の第三の実施形態による電子カメラのCPUが実行する連動処理の流れを説明するフローチャートである。 追尾対象指定操作を受け付ける時点のライブビュー画像の一例を示す図である。 検出した被写体領域を枠で囲む表示を例示する図である。 撮影依頼を送信する電子カメラのLCDモニタの表示画面を例示する図である。 撮影依頼終了を送信する電子カメラのLCDモニタの表示画面を例示する図である。 撮影依頼を受けたことを知らせるLCDモニタの表示画面を例示する図である。 撮影依頼終了を受けたことを知らせるLCDモニタの表示画面を例示する図である。 本発明の第四の実施形態による電子カメラのCPUが実行する連動処理の流れを説明するフローチャートである。 追尾対象指定操作を受け付ける時点のライブビュー画像の一例を示す図である。 検出した被写体領域を枠で囲む表示を例示する図である。 撮影依頼する場合のタッチ操作画面を例示する図である。 撮影依頼を受けたことを知らせるLCDモニタの表示画面を例示する図である。 ガイド表示を例示する図である。 捕捉している主要被写体を含む撮影画面を例示する図である。 撮影画像を例示する図である。
以下、図面を参照して本発明を実施するための形態について説明する。
(第一の実施形態)
図1は、本発明の第一の実施の形態による電子カメラ1の構成を例示するブロック図である。図1において、電子カメラ1は、撮影光学系11と、撮像素子12と、AFE(Analog front end)回路13と、画像処理回路14と、LCDモニタ15と、RAM16と、フラッシュメモリ17と、CPU18と、通信制御回路19と、GPSモジュール20と、操作部材21とを備える。
CPU18、RAM16、フラッシュメモリ17、画像処理回路14、LCDモニタ15および通信制御回路19は、それぞれがバス22を介して接続されている。
撮影光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子12の受光面に結像させる。なお、図1を簡単にするため、撮影光学系11を単レンズとして図示している。
撮像素子12は、受光面に受光素子が二次元配列されたCCDイメージセンサやCMOSイメージセンサなどによって構成される。撮像素子12は、撮影光学系11を通過した光束による被写体像を光電変換してアナログ画像信号を生成する。アナログ画像信号は、AFE回路13に入力される。
AFE回路13は、アナログ画像信号に対して所定のアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。デジタル画像データは画像処理回路14に入力される。画像処理回路14は、デジタル画像データに対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など)を施す。
LCDモニタ15は液晶パネルによって構成され、CPU18からの指示に応じて画像や操作メニュー画面などを表示する。RAM16はCPU18のワークメモリとして使用される。また、RAM16は、画像処理回路14による画像処理工程におけるデジタル画像データを一時的に記憶する。フラッシュメモリ17は、CPU18に実行させるプログラムを記憶する。
CPU18は、フラッシュメモリ17が記憶するプログラムを実行することによって電子カメラ1が行う動作を制御する。CPU18は、AF(オートフォーカス)動作制御や、自動露出(AE)演算も行う。AF動作は、画像のコントラスト情報に基づいてフォーカシングレンズ(不図示)の合焦位置を求めるコントラスト検出方式を用いる。CPU18は、たとえば、撮像素子12によって所定の時間間隔(たとえば30コマ/毎秒)で繰り返し取得される画像から逐次コントラスト情報を取得し、フォーカス調節を行う。
操作部材21は、メインスイッチ、レリーズボタン、メニュースイッチ、およびLCDモニタ15の表示面上に構成された不図示のタッチセンサを含む。操作部材21は、メインスイッチ操作やレリーズ操作、メニュー選択操作など、各操作に応じた操作信号をCPU18へ送出する。タッチセンサは、LCDモニタ15の表示面上のタッチ位置を示す信号をCPU18へ送出する。CPU18は、操作部材21からの操作信号の入力を監視する他、GPSモジュール20からの測位情報も取得する。
GPSモジュール20は、GPS衛星201、202からの電波を受信し、受信信号にのせられている情報を用いて測位情報(緯度、経度、高度)を算出する。なお、図1においては2つのGPS衛星のみを図示している。CPU18は、GPSモジュール20から所定時間(たとえば、5秒)ごとに測位情報を受け取って不揮発性メモリ(フラッシュメモリ17)の所定領域に測位情報を上書き保存する。
方位センサ23は、たとえば地磁気に基づいて電子カメラ1の撮影方向を検出する。撮影方向を示す方位情報は、上記測位情報に関連づけて不揮発性メモリ(フラッシュメモリ17)の所定領域に保存される。
撮影地点の測位情報、および撮影方向を示す方位情報を撮影画像に関連づけて保存する設定が行われている場合のCPU18は、撮影画像のデータ、およびその測位情報、方位情報を含むExif形式の画像ファイルを生成し、不図示のメモリカードへ当該画像ファイルを記録するように制御する。具体的には、CPU18がレリーズボタンの押下操作を示す操作信号を受けると、図1の各ブロックへ指示を送って撮影処理を開始させる。
Exif形式の画像ファイルは、JPEG画像フォーマットの画像データ内にサムネイル画像や撮影情報などのデータを埋め込むようにしたものである。このファイル構造は、画像の付属情報を記録するタグ領域と撮影画像データを記録する画像データ領域とを有する。CPU18は、撮影時にフラッシュメモリ17の所定領域に保存されている測位情報、方位情報を読み出し、読み出した情報をタグ領域に含めて画像ファイルを生成する。
通信制御回路19は、CPU18からの指示に応じて外部機器との間で無線通信を行う。通信制御回路19は、アンテナ19aを介して電波を送受信する。本実施形態では、電子カメラ1と同様の構成を有する他の電子カメラ1との間で無線通信を行う例を説明する。
図2は、図1に例示した電子カメラ1を2台組み合わせて使用する場面を説明する図である。図2において、たとえば運動会において複数の撮影者が同一のランナー50(50B)を撮影する。撮影者A(不図示)が第1の電子カメラ61を操作し、撮影者B(不図示)が第2の電子カメラ62を操作する。ランナー50は、第1の電子カメラ61の前を通過した後、第2の電子カメラ62の前を駆け抜ける(ランナー50B)。
電子カメラ61は、撮影対象(ランナー50)を照準すると、電子カメラ61が取得した照準情報を撮影依頼情報とともに電子カメラ62へ送信する。撮影依頼情報を受けた電子カメラ62は、受信した照準情報に基づいて撮影対象(ランナー50B)を追尾する。電子カメラ61および電子カメラ62はそれぞれ、撮影者A(撮影者B)によってレリーズ操作されると、ランナー50(ランナー50B)を撮影する。
なお、電子カメラ61および62は、あらかじめ撮影者A、Bがそれぞれの電子カメラ61、62に対して行ったメニュー操作により、電子カメラ61および62間で撮影依頼の送受を行うように設定されている。たとえば、撮影者Aは、メニュー画面(不図示)をLCDモニタ15に表示させた上で「連動撮影」の項目を選び、「撮影依頼を送信する」項目を選択する。一方、撮影者Bはメニュー画面(不図示)をLCDモニタ15に表示させた上で「連動撮影」の項目を選び、「撮影依頼を受信する」の項目を選択する。「撮影依頼を送信する」項目が選択された場合、CPU18は電子カメラ61として動作する処理を実行する。「撮影依頼を受信する」項目が選択された場合、CPU18は電子カメラ62として動作する処理を実行する。
図3は、第一の実施形態による電子カメラ61および62のCPU18が実行する連動処理の流れを説明するフローチャートである。図3において左側に記載したステップS11から始まる処理は、撮影者Aが操作する電子カメラ61のCPU18が実行する処理である。図3において右側に記載したステップS51から始まる処理は、撮影者Bが操作する電子カメラ62のCPU18が実行する処理である。上述したように、電子カメラ61が電子カメラ62に対して撮影依頼を行う。
<電子カメラ61の処理>
電子カメラ61のCPU18は、図3のステップS11において追尾対象の指定操作を受け付ける。図4は、電子カメラ61のLCDモニタ15に表示されているライブビュー画像の一例を示す図である。CPU18は、たとえば、ライブビュー画像のうち操作部材21によって指示された領域に位置する被写体を追尾対象とする。ここで、ライブビュー画像とは、撮影指示前に撮像素子12によって所定の時間間隔(たとえば30フレーム/毎秒)で繰り返し取得されるモニタ用画像のことをいう。
ステップS12において、CPU18は、指示された領域内の画像データから特徴量を抽出し、公知のテンプレートマッチング処理を行うためのテンプレート情報を生成する。テンプレート情報は、たとえば低解像度(撮像素子12で取得できる画像の約1/9サイズ)の縮小画像データであり、RAM16へ記録する。ステップS13において、CPU18は、追尾処理を開始してステップS14へ進む。具体的には、取得時刻が異なる複数フレームの画像データを用いてテンプレートマッチング処理を施すことにより、先に取得された画像データにおける追尾被写体と類似する領域を、後から取得された画像データから検出(捕捉)する。図5は、検出した被写体領域を枠で囲む表示を例示する図である。電子カメラ61の右側の縮小画像は、テンプレート情報を表す。
追尾処理においては、撮影画面内で主要被写体が移動したか否かを判定する。CPU18は、後から取得された画像データにおける検出(捕捉)領域の位置と、先に取得された画像データにおける追尾被写体の位置との相対距離が所定差を超えている場合に、主要被写体が移動したと判断する。このような処理を繰り返すことによって撮影画面内で主要被写体を追尾する。
CPU18は、追尾対象の向きの変化や移動に応じて適宜テンプレート情報を追加生成する。テンプレート数が所定数(たとえば4)に達したら、古いものからRAM16へ上書きして更新する。図6は、新たに追加したテンプレート情報に基づいて検出した被写体領域を枠で囲む表示を例示する図である。電子カメラ61の右側の縮小画像は、テンプレート情報を表す。
ステップS14において、CPU18は、撮影依頼操作が行われたか否かを判定する。CPU18は、たとえば図7に例示するタッチ操作画面により「撮影依頼する」ボタンのタッチ操作が行われた場合にステップS14を肯定判定してステップS15へ進む。CPU18は、タッチ操作画面により「撮影依頼する」ボタンのタッチ操作が行われない場合には、ステップS14を否定判定してステップS21へ進む。ステップS21では、CPU18がタイムアウト判定を行う。CPU18は、「撮影依頼する」ボタンのタッチ操作が行われずに所定時間(たとえば5分)が経過した場合に図3による処理を終了する。CPU18は、経過時間が所定時間に満たない場合はステップS14へ戻り、ステップS14の判定処理を繰り返す。
ステップS14を肯定判定したCPU18は、ステップS15において通信制御回路19へ送信指示を送ってステップS16へ進む。これにより通信制御回路19が撮影依頼およびテンプレート情報を電子カメラ62へ送信する。CPU18は、たとえば「撮影依頼を送信しました」というメッセージをLCDモニタ15に表示させ、撮影依頼したことを撮影者Aに知らせる。なお、図7において電子カメラ61の右側の縮小画像は、電子カメラ62へ送信するテンプレート情報を表す。
ステップS16において、CPU18は、撮影データを受信したか否かを判定する。CPU18は、電子カメラ62から送信された撮影画像データを通信制御回路19が受信した場合にステップS16を肯定判定してステップS17へ進む。CPU18は、電子カメラ62から送信された撮影画像データを通信制御回路19が受信しない場合には、ステップS16を否定判定してステップS19へ進む。
ステップS17において、CPU18は、受信した撮影画像データをフラッシュメモリ17へ記録してステップS18へ進む。ステップS18において、CPU18は、追尾処理を終了して図3による処理を終了する。
ステップS19において、CPU18は、テンプレート情報を更新したか否かを判定する。CPU18は、ステップS15で送信したテンプレート情報と異なるテンプレート情報がRAM16に存在する場合、ステップS20へ進む。ステップS20において、CPU18は、上記更新されているテンプレート情報を送信するように通信制御回路19へ指示を送ってステップS16へ戻る。これにより、通信制御回路19がテンプレート情報を電子カメラ62へ送信する。図8は、更新後のテンプレート情報に基づいて検出した被写体領域を枠で囲む表示を例示する図である。電子カメラ61の右側の縮小画像は、電子カメラ62へ送信するテンプレート情報を表す。一方CPU18は、ステップS15で送信したテンプレート情報と異なるテンプレート情報がRAM16に存在しない場合は、通信制御回路19へテンプレート情報の送信を指示することなくステップS16へ戻る。
なお、本実施の形態の説明において電子カメラ61がレリーズ操作される場合の説明を省略したが、CPU18は、電子カメラ62に撮影依頼をしている場合にも、操作部材21からレリーズ操作信号が入力された場合にはただちに撮影処理を行うように構成されている。また、電子カメラ61がレリーズ操作された場合において、電子カメラ61のレリーズ操作信号を電子カメラ62に送信して、電子カメラ61のレリーズ操作に同期して、電子カメラ62のレリーズ操作を自動的に行ってもよい。
<電子カメラ62の処理>
電子カメラ62のCPU18は、図3のステップS51において撮影依頼およびテンプレート情報を受信したか否かを判定する。CPU18は、電子カメラ61から送信された情報を通信制御回路19が受信した場合にステップS51を肯定判定してステップS52へ進む。受信したテンプレート情報は、RAM16へ記録する。CPU18は、電子カメラ61から送信された情報を通信制御回路19が受信しない場合には、ステップS51を否定判定して当該判定処理を繰り返す。
ステップS52において、CPU18は、受信したテンプレート情報に基づいて追尾処理を開始し、ステップS53へ進む。CPU18は、図9に例示するように「撮影依頼を受けました。」というメッセージをLCDモニタ15に表示させる。CPU18はさらに、受信したテンプレート情報に基づいて検出した被写体領域を枠で囲む表示をさせる。電子カメラ62の右側の縮小画像は、受信したテンプレート情報を表す。
ステップS53において、CPU18は、レリーズ操作されたか否かを判定する。CPU18は、操作部材21からレリーズ操作信号が入力された場合はステップS53を肯定判定してステップS54へ進む。CPU18は、操作部材21からレリーズ操作信号が入力されない場合には、ステップS53を否定判定してステップS57へ進む。
ステップS57において、CPU18は、テンプレート情報を受信したか否かを判定する。CPU18は、電子カメラ61から送信されたテンプレート情報を通信制御回路19が受信した場合にステップS57を肯定判定してステップS58へ進む。CPU18は、電子カメラ61から送信された情報を通信制御回路19が受信しない場合には、ステップS57を否定判定してステップS53へ戻る。
ステップS58において、CPU18は、受信したテンプレート情報をRAM16へ記録し、ステップS53へ戻る。なお、テンプレート数が所定数(たとえば4)に達したら、古いものからRAM16へ上書きして更新する。図10は、更新後のテンプレート情報に基づいて検出した被写体領域を枠で囲む表示を例示する図である。電子カメラ62の右側の縮小画像は、受信したテンプレート情報を表す。
ステップS53を肯定判定して進むステップS54において、CPU18は、この時点で検出(捕捉)している主要被写体を含む撮影を行う。図11は、この場合の撮影画面を例示する図である。電子カメラ62の右側の縮小画像は、RAM16に有するテンプレート情報を表す。ステップS54において、CPU18は所定の撮影処理を行ってステップS55へ進む。ステップS55において、CPU18は通信制御回路19へ指示を送り、画像データを電子カメラ61へ送信させてステップS56へ進む。図12は、撮影画像を例示する図である。ステップS56において、CPU18は、追尾処理を終了して図3による処理を終了する。
以上説明した第一の実施形態によれば、次の作用効果が得られる。
(1)電子カメラ61は、撮像素子12と、撮像素子12が所定時間ごとに取得する画像情報に基づいて主要被写体を追尾するCPU18と、電子カメラ62へ、撮影依頼を示す撮影依頼信号、および追尾の対象の主要被写体を示すテンプレート情報を送信する通信制御回路19とを備えるようにした。これにより、主要被写体に発信機をつけなくても、撮影対象の情報を電子カメラ62へリアルタイムに伝えることができる。
(2)主要被写体を追尾する電子カメラ61のCPU18は、追尾の対象とする主要被写体の向きの変化、または主要被写体の移動に応じて、テンプレート情報を生成し、通信制御回路19は、CPU18によりテンプレート情報が生成された場合に最新のテンプレート情報を電子カメラ62へ送信するので、最新のテンプレート情報を電子カメラ62へリアルタイムに伝えることができる。
(3)電子カメラ62は、撮像素子12と、撮像素子12が所定時間ごとに取得する画像情報に基づいて主要被写体を追尾するCPU18と、電子カメラ61から、撮影依頼を示す撮影依頼信号、及び追尾の対象の主要被写体を示すテンプレート情報を受信する通信制御回路19と、電子カメラ61からの撮影依頼信号およびテンプレート情報を受信した場合に、受信したテンプレート情報と撮像素子12が所定時間ごとに取得する画像情報とに基づいてCPU18に主要被写体を追尾させるよう制御するCPU18を備えるので、電子カメラ61から撮影依頼された被写体をリアルタイムに追尾できる。
(4)電子カメラ61から受信したテンプレート情報のうち最新の所定数の情報を記録するRAM16をさらに備え、CPU18は、RAM16に記録されている情報と撮像素子12が所定時間ごとに取得する画像情報とに基づいて主要被写体を追尾するように制御するようにしたので、RAM16の領域を必要以上に使用しなくてよい。
(第二の実施形態)
図13は、本発明の第二の実施形態による電子カメラ61および62のCPU18が実行する連動処理の流れを説明するフローチャートである。図13において左側に記載したステップS11から始まる処理は、撮影者Aが操作する電子カメラ61のCPU18が実行する処理である。図13において右側に記載したステップS51から始まる処理は、撮影者Bが操作する電子カメラ62のCPU18が実行する処理である。第一の実施形態と同様に、電子カメラ61が電子カメラ62に対して撮影依頼を行う。図13において、第一の実施形態の図3と同じ処理には、図3の場合と同一のステップ番号を付して説明を省略する。
第二の実施形態では、図3に比べてステップS14が省略される点、ステップS21が省略される点、およびステップS19に代えてステップS30を実行する点が異なるので、これらの相違点を中心に説明する。
<電子カメラ61の処理>
図14は、電子カメラ61が追尾対象指定操作を受け付ける(ステップS11)時点でLCDモニタ15に表示されているライブビュー画像の一例を示す図である。第二の実施形態では、電子カメラ61が追尾開始(ステップS13)を契機に撮影依頼およびテンプレート情報を電子カメラ62へ送信する(ステップS15)。図15は、この場合の電子カメラ61のLCDモニタ15の表示画面を例示する図である。電子カメラ61の右側の縮小画像は、電子カメラ62へ送信するテンプレート情報を表す。
電子カメラ62から送信される撮影画像データを受信していない場合(ステップS16を否定)のCPU18は、ステップS30において、追尾対象変更操作が行われたか否かを判定する。CPU18は、操作部材21から追尾対象の変更を指示する操作信号が入力された場合にステップS30を肯定判定してステップS20へ進む。CPU18は、操作部材21から追尾対象の変更を指示する操作信号が入力されない場合には、ステップS30を否定判定してステップS16へ戻る。図16は、追尾対象の変更操作が行われ、変更後のテンプレート情報に基づいて検出した被写体領域を枠で囲む表示を例示する図である。
ステップS20において、CPU18は、変更後のテンプレート情報を電子カメラ62へ送信するように通信制御回路19へ指示を送ってステップS16へ戻る。これにより、通信制御回路19がテンプレート情報を電子カメラ62へ送信する。図16において電子カメラ61の右側の縮小画像は、電子カメラ62へ送信するテンプレート情報を表す。
なお、第二の実施形態においても、電子カメラ62に撮影依頼をしているか否かにかかわらず、操作部材21からレリーズ操作信号が入力された場合にはただちに撮影処理を行うように構成されている。
<電子カメラ62の処理>
図17は、撮影依頼を受信し(ステップS51)、追尾を開始(ステップS52)した場合の電子カメラ62のLCDモニタ15の表示画面を例示する図である。CPU18は、図17に例示するように「撮影依頼を受けました。」というメッセージをLCDモニタ15に表示させる。CPU18はさらに、受信したテンプレート情報に基づいて検出した被写体領域を枠で囲む表示をさせる。電子カメラ62の右側の縮小画像は、電子カメラ61から受信したテンプレート情報を表す。
図18は、変更後(ステップS58)のテンプレート情報に基づいて検出した被写体領域を枠で囲む表示を例示する図である。電子カメラ62の右側の縮小画像は、テンプレート情報を表す。図19は、ステップS53を肯定判定した場合の撮影画面を例示する図である。電子カメラ62の右側の縮小画像は、テンプレート情報を表す。図20は、撮影画像を例示する図である。
以上説明した第二の実施形態によれば、次の作用効果が得られる。
(1)主要被写体を追尾する電子カメラ61のCPU18はさらに、追尾の対象の変更指示に応じてテンプレート情報を生成するので、変更後の追尾対象のテンプレート情報を電子カメラ62へリアルタイムに伝えることができる。
(2)電子カメラ61の通信制御回路19は、CPU18が追尾を開始したタイミングに基づいて、電子カメラ62へ撮影依頼信号を送信するようにしたので、撮影依頼操作に応じて送信する場合に比べて、電子カメラ61の撮影者の操作負担を軽減できる。
(第三の実施形態)
図21は、本発明の第三の実施形態による電子カメラ61および62のCPU18が実行する連動処理の流れを説明するフローチャートである。図21において左側に記載したステップS11から始まる処理は、撮影者Aが操作する電子カメラ61のCPU18が実行する処理である。図21において右側に記載したステップS51から始まる処理は、撮影者Bが操作する電子カメラ62のCPU18が実行する処理である。第一の実施形態と同様に、電子カメラ61が電子カメラ62に対して撮影依頼を行う。図21において、第一の実施形態の図3と同じ処理には、図3の場合と同一のステップ番号を付して説明を省略する。
第三の実施形態では、図3に比べてステップS14に代えてステップS14Bを実行する点、ステップS21が省略される点、ステップS19に代えてステップS30を実行する点、ステップS20に代えてステップS32を実行する点、ステップS57に代えてステップS60を実行する点、およびステップS58に代えてステップS61を実行する点が異なるので、これらの相違点を中心に説明する。
<電子カメラ61の処理>
図22は、電子カメラ61が追尾対象指定操作を受け付ける(ステップS11)時点で電子カメラ61のLCDモニタ15に表示されているライブビュー画像の一例を示す図である。図23は、電子カメラ61で検出した被写体領域を枠で囲む表示を例示する図である。電子カメラ61の右側の縮小画像は、テンプレート情報を表す。第三の実施形態では、電子カメラ61のライブビュー撮影範囲の外へ追尾対象が移動したり、追尾対象が撮影範囲内に位置していても当該追尾対象が障害物の陰に入ってしまうことに起因して、追尾対象を検出(捕捉)不能になることを契機に撮影依頼およびテンプレート情報を電子カメラ62へ送信する。図24は、この場合の電子カメラ61のLCDモニタ15の表示画面を例示する図である。電子カメラ61の右側の縮小画像は、電子カメラ62へ送信するテンプレート情報を表す。
追尾処理を開始した(ステップS13)CPU18は、ステップS14Bにおいて追尾不能か否かを判定する。CPU18は、取得画像において追尾被写体と類似する領域を検出できない(すなわち、RAM16に記録されているテンプレート情報に基づいて追尾対象を捕捉できない)場合、ステップS14Bを肯定判定してステップS15へ進む。この場合は、ステップS15において撮影依頼およびテンプレート情報を電子カメラ62へ送信する。一方、CPU18は、取得画像において追尾被写体と類似する領域を検出した場合には、ステップS14Bを否定判定して当該判定処理を繰り返す。
電子カメラ62から送信される撮影画像データを受信していない場合(ステップS16を否定)のCPU18は、ステップS31において追尾可能か否かを判定する。CPU18は、取得画像において追尾被写体と類似する領域を検出できる(すなわち、RAM16に記録されているテンプレート情報に基づいて追尾対象を捕捉できる)場合、ステップS31を肯定判定してステップS32へ進む。この場合は、ステップS32において撮影依頼終了情報を電子カメラ62へ送信する。CPU18は、たとえば「撮影依頼を終了しました」というメッセージをLCDモニタ15に表示させ、撮影依頼を終了することを撮影者Aに知らせる。図25は、この場合の電子カメラ61のLCDモニタ15の表示画面を例示する図である。電子カメラ61の右側の縮小画像は、テンプレート情報を表す。一方、CPU18は、取得画像において追尾被写体と類似する領域を検出できない場合には、ステップS31を否定判定してステップS16へ戻る。
<電子カメラ62の処理>
図26は、撮影依頼を受信し(ステップS51)、追尾処理を開始(ステップS52)した場合の電子カメラ62のLCDモニタ15の表示画面を例示する図である。CPU18は、図26に例示するように「撮影依頼を受けました。」というメッセージをLCDモニタ15に表示させる。CPU18はさらに、受信したテンプレート情報に基づいて検出した被写体領域を枠で囲む表示をさせる。電子カメラ62の右側の縮小画像は、電子カメラ61から受信したテンプレート情報を表す。
操作部材21からレリーズ操作信号が入力されない場合(ステップS53を否定)のCPU18は、ステップS60において、電子カメラ61から送信された情報を通信制御回路19が受信した場合にステップS60を肯定判定してステップS61へ進む。CPU18は、電子カメラ61から送信された情報を通信制御回路19が受信しない場合には、ステップS60を否定判定してステップS53へ戻る。
ステップS61において、CPU18は、追尾処理を終了してステップS51へ戻る。CPU18は、図27に例示するように「撮影依頼終了を受けました。」というメッセージを電子カメラ62のLCDモニタ15に表示させる。
以上説明した第三の実施形態によれば、次の作用効果が得られる。
電子カメラ61の通信制御回路19は、CPU18が追尾の対象を検出できなくなったタイミングに基づいて電子カメラ62へ撮影依頼信号を送信し、該撮影依頼信号の送信後、CPU18が追尾の対象を再び検出したタイミングに基づいて電子カメラ62へ撮影依頼終了信号を送信するので、電子カメラ61の撮影者の操作負担を軽減できる。
(第四の実施形態)
図28は、本発明の第四の実施形態による電子カメラ61および62のCPU18が実行する連動処理の流れを説明するフローチャートである。図28において左側に記載したステップS11から始まる処理は、撮影者Aが操作する電子カメラ61のCPU18が実行する処理である。図28において右側に記載したステップS51から始まる処理は、撮影者Bが操作する電子カメラ62のCPU18が実行する処理である。第一の実施形態と同様に、電子カメラ61が電子カメラ62に対して撮影依頼を行う。図28において、第一の実施形態の図3と同じ処理には、図3の場合と同一のステップ番号を付して説明を省略する。
第四の実施形態では、図3に比べてステップS15に代えてステップS15Bを実行する点、ステップS19に代えてステップS19Bを実行する点、ステップS20に代えてステップS20Bを実行する点、ステップS57に代えてステップS57Bを実行する点、ステップS58に代えてステップS58Bを実行する点、およびステップS52の次にステップS62を挿入する点が異なるので、これらの相違点を中心に説明する。
<電子カメラ61の処理>
図29は、電子カメラ61が追尾対象指定操作を受け付ける(ステップS11)時点で電子カメラ61のLCDモニタ15に表示されているライブビュー画像の一例を示す図である。図30は、検出した被写体領域を枠で囲む表示を例示する図である。電子カメラ61の右側の縮小画像は、テンプレート情報を表す。
ステップS14を肯定判定したCPU18は、ステップS15Bにおいて通信制御回路19へ送信指示を送ってステップS16へ進む。これにより通信制御回路19が撮影依頼、テンプレート情報および撮影対象位置情報を電子カメラ62へ送信する。CPU18は、たとえば「撮影依頼を送信しました」というメッセージをLCDモニタ15に表示させ、撮影依頼したことを撮影者Aに知らせる。図31は、ステップS14における電子カメラ61のLCDモニタ15のタッチ操作画面を例示する図である。電子カメラ61の右側の縮小画像は、電子カメラ62へ送信するテンプレート情報を表す。
撮影対象位置情報は、電子カメラ61で取得した測位情報、方位情報および撮影距離情報(撮影光学系11の焦点距離やAF処理後のフォーカシングレンズの位置情報に基づいて算出)を用いて算出する。
ステップS16を否定判定したCPU18は、ステップS19Bにおいて、テンプレート情報および撮影対象位置情報の少なくとも一方を更新したか否かを判定する。CPU18は、ステップS15Bで送信したテンプレート情報と異なるテンプレート情報がRAM16に存在する場合や、ステップS15Bで送信した撮影対象位置情報と異なる撮影対象位置情報がRAM16に存在する場合にはステップS20Bへ進む。
ステップS20Bにおいて、CPU18は、更新した情報を送信するように通信制御回路19へ指示を送ってステップS16へ戻る。これにより、通信制御回路19が更新後のテンプレート情報、または更新後の撮影対象位置情報を電子カメラ62へ送信する。一方CPU18は、ステップS15Bで送信した情報と異なるテンプレート情報、または撮影対象位置情報がRAM16に存在しない場合は、通信制御回路19へ更新後の情報の送信を指示することなくステップS16へ戻る。
なお、本実施の形態の説明において電子カメラ61がレリーズ操作される場合の説明を省略したが、CPU18は、電子カメラ62に撮影依頼をしている場合にも、操作部材21からレリーズ操作信号が入力された場合にはただちに撮影処理を行うように構成されている。また、電子カメラ61がレリーズ操作された場合において、電子カメラ61のレリーズ操作信号を電子カメラ62に送信して、電子カメラ61のレリーズ操作に同期して、電子カメラ62のレリーズ操作を自動的に行ってもよい。
<電子カメラ62の処理>
図32は、撮影依頼を受信し(ステップS51)、追尾処理を開始(ステップS52)した場合の電子カメラ62のLCDモニタ15の表示画面を例示する図である。CPU18は、図32に例示するように「撮影依頼を受けました。」というメッセージをLCDモニタ15に表示させる。電子カメラ62の右側の縮小画像は、受信したテンプレート情報を表す。
ステップS62において、CPU18は、撮影対象の位置と電子カメラ62の撮影範囲との関係を示すガイド表示をLCDモニタ15に表示させる。図32の画面右下のサブ画面表示321と、画面の上下左右に位置する矢印322はガイド表示を構成する。図32の例では、電子カメラ62の撮影範囲に撮影対象が存在せず、撮影者Bから見て右側に撮影対象が存在する。そこでCPU18は、画面右の矢印322を他の矢印と異なる態様(たとえば、輝度を高くしたり点滅させたりする)で表示させて、電子カメラ62を右方向へパンニングするように撮影者Bに促す。サブ画面表示321は、電子カメラ62の右前方に撮影対象が存在することを表す。
なお、電子カメラ62のCPU18は、電子カメラ61から受信した撮影対象位置情報と、電子カメラ62で取得した測位情報、および方位情報を用いて電子カメラ62の撮影範囲に撮影対象が存在するか否かを判定する。CPU18は、撮影範囲に撮影対象が存在しない場合は図32に例示したガイド表示を行い、撮影範囲に撮影対象が存在する場合は図33に例示するガイド表示を行う。
図33において、画面右下のサブ画面表示331と、画面の上下左右に位置する矢印332はガイド表示を構成する。図33の例では、電子カメラ62の撮影範囲に撮影対象が存在するので、CPU18は、全ての矢印322を同じ態様で表示させて、電子カメラ62をパンニングする必要がないことを撮影者Bに知らせる。サブ画面表示331は、電子カメラ62の前方に撮影対象が存在することを表す。電子カメラ62の右側の縮小画像は、受信したテンプレート情報を表す。
ステップS53を否定判定した場合に進むステップS57Bにおいて、CPU18は、更新された情報を受信したか否かを判定する。CPU18は、電子カメラ61から更新後の撮影対象位置情報および更新後のテンプレート情報のうち少なくとも一方を通信制御回路19が受信した場合にステップS57Bを肯定判定してステップS58Bへ進む。CPU18は、電子カメラ61から送信された更新情報を通信制御回路19が受信しない場合には、ステップS57Bを否定判定してステップS53へ戻る。
ステップS58Bにおいて、CPU18は、受信したテンプレート情報、撮影対象位置情報をRAM16へ記録し、ステップS53へ戻る。なお、テンプレート数が所定数(たとえば4)に達したら、古いものからRAM16へ上書きして更新する。撮影対象位置情報は、最新のものをRAM16へ上書き更新する。
図34は、ステップS53を肯定判定した場合に、この時点で検出(捕捉)している主要被写体を含む撮影画面を例示する図である。電子カメラ62の右側の縮小画像は、テンプレート情報を表す。図35は、撮影画像を例示する図である。
以上説明した第四の実施形態によれば、次の作用効果が得られる。
(1)第一の実施形態と同様に、主要被写体に発信機をつけなくても、撮影対象の情報を電子カメラ61から電子カメラ62へリアルタイムに伝えることができる。そして、最新のテンプレート情報を電子カメラ62へ伝えることができる。さらに、電子カメラ62のRAM16の領域を必要以上に使用しなくてよい。
(2)さらに、撮影対象の位置と電子カメラ62の撮影範囲との関係を示すガイド表示を電子カメラ62のLCDモニタ15に表示させるようにしたので、電子カメラ62の撮影者Bに対し、電子カメラ62をその方向にパンニングすればよいかを知らせることができる。
(変形例1)
上述した説明では、テンプレート情報が更新された場合(第一の実施形態)、追尾対象が変更された場合(第二の実施形態)、テンプレート情報または撮影対象位置情報が更新された場合(第四の実施形態)に、それぞれ電子カメラ61から電子カメラ62へ新たな情報を送信するようにした。この代わりに、所定時間(たとえば1秒)ごとに電子カメラ61から電子カメラ62へ新たな情報を送信するように構成してもよい。この場合、テンプレート情報、撮影対象位置情報のいずれにも変化がない場合は前回と同様の情報を送信してもよいし、変化なしを示す情報のみを送信してもよい。
(変形例2)
第四の実施形態におけるガイド表示(図28のステップS62)において、電子カメラ62のパンニングを撮影者Bに促すためのパン方向をLCDモニタ15に表示する例を説明した。パン方向に加えて、ズームアップやズームダウンを促す表示を含めるようにしてもよい。たとえば、撮影画角が広すぎる場合や狭すぎる場合に、適切な画角が得られるようにガイド表示を行う。
(変形例3)
電子カメラ62は、追尾処理中に自らテンプレート情報を生成し、生成したテンプレート情報を用いて追尾を行ってもよいし、電子カメラ61から受信したテンプレート情報のみを用いて追尾を行うようにしてもよい。
(変形例4)
電子カメラ61と電子カメラ62とが互いの通信制御回路19を介して直接通信する例を説明したが、無線LANなどのアクセスポイントやサーバーを経由して通信するように構成してもよい。
(変形例5)
第一の実施形態〜第四の実施形態において、電子カメラ62が撮影データを送信すると電子カメラ62が自動的に追尾を終了する例を説明した。この代わりに、あるいはこれに加えて、電子カメラ61が電子カメラ62へ撮影依頼終了情報を送信するように構成してもよい。変形例5の電子カメラ61は、追尾処理を終了した場合に電子カメラ62へ撮影依頼終了情報を送信する。変形例5の電子カメラ62は、電子カメラ61からの撮影依頼終了情報を受信した場合に追尾処理を終了する。
(変形例6)
第一の実施形態および第四の実施形態において、電子カメラ61で撮影依頼操作が行われなくても、電子カメラ61で追尾対象変更操作が行われた場合には撮影依頼情報を電子カメラ62へ送信するようにしてもよい。この場合の電子カメラ61のCPU18は、追尾対象の変更後のテンプレート情報を、撮影依頼情報とともに電子カメラ62へ送信するように通信制御回路19へ指示を送る。
(変形例7)
電子カメラ62を三脚に設置するとともに、ピッチング方向、ヨーイング方向、およびローリング方向の3軸それぞれにモータドライブ機構を備え、電子カメラ62の回動制御を行うように構成してもよい。電子カメラ62のCPU18は、ガイド表示するパン方向に応じて対応する軸の回りに回動させるモータを回転させ、電子カメラ62の撮影範囲に撮影対象を含めるように電子カメラ62の撮影方向を自動的に回動させる。
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
1、61、62…電子カメラ
11…撮影光学系
12…撮像素子
14…画像処理回路
15…LCDモニタ
16…RAM
17…フラッシュメモリ
18…CPU
19…通信制御回路
20…GPSモジュール
21…操作部材
23…方位センサ
請求項1に記載の電子機器は、画像情報に基づいて被写体を検出する検出部と、検出対象である前記被写体の記録依頼を他の電子機器へ送信する通信部と、を備え、前記通信部は、前記検出部による前記被写体の検出ができなくなると前記記録依頼の終了を示す終了情報を前記他の電子機器へ送信する

Claims (13)

  1. 画像情報に基づいて被写体を追尾する追尾部と、
    前記追尾部が前記被写体を追尾の対象としたタイミングに基づいて、前記被写体の撮影依頼を撮像装置へ送信する通信部と、を備える電子機器。
  2. 前記通信部は、前記追尾部が追尾を開始したタイミングに基づいて、前記撮影依頼を送信する請求項1に記載の電子機器。
  3. 前記通信部は、前記追尾部が追尾する被写体を変更したタイミングに基づいて、前記撮影依頼を送信する請求項1に記載の電子機器。
  4. 前記通信部は、ユーザからの指示に基づいて、前記撮影依頼を送信する請求項1から請求項3の何れか一項に記載の電子機器。
  5. 前記通信部は、前記追尾部によって前記被写体の追尾ができなくなった場合、前記撮影依頼を送信する請求項1から請求項4の何れか一項に記載の電子機器。
  6. 前記通信部は、前記追尾部によって前記被写体の追尾が再び開始された場合、前記撮影依頼の終了を示す終了情報を前記撮像装置へ送信する請求項5に記載の電子機器。
  7. 前記通信部は、前記撮像装置が撮影した画像データを受信した場合、前記撮影依頼の終了を示す終了情報を前記撮像装置へ送信する請求項1から請求項5の何れか一項に記載の電子機器。
  8. 前記通信部は、前記追尾部による前記被写体の追尾が終了した場合、前記撮影依頼の終了を示す終了情報を前記撮像装置へ送信する請求項1から請求項5の何れか一項に記載の電子機器。
  9. 前記通信部は、前記撮像装置に撮影させるための情報を前記撮像装置へ送信する請求項1から請求項8の何れか一項に記載の電子機器。
  10. 前記追尾部が追尾する前記被写体を強調して表示する表示部を備える請求項1から請求項9の何れか一項に記載の電子機器。
  11. 前記被写体の位置と前記撮像装置の位置との関係を表示する表示部を備える請求項1から請求項9の何れか一項に記載の電子機器。
  12. 前記被写体を撮像する撮像部を備える請求項1から請求項11の何れか一項に記載の電子機器。
  13. 画像情報に基づいて被写体を追尾する追尾処理と、
    前記追尾処理が前記被写体を追尾の対象としたタイミングに基づいて、前記被写体の撮影依頼を撮像装置へ送信する通信処理と、をコンピュータに実行させるプログラム。
JP2015214133A 2015-10-30 2015-10-30 電子カメラおよびプログラム Active JP6176306B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015214133A JP6176306B2 (ja) 2015-10-30 2015-10-30 電子カメラおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015214133A JP6176306B2 (ja) 2015-10-30 2015-10-30 電子カメラおよびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011265698A Division JP5861420B2 (ja) 2011-12-05 2011-12-05 電子カメラ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017137114A Division JP2017216709A (ja) 2017-07-13 2017-07-13 電子カメラ

Publications (2)

Publication Number Publication Date
JP2016042720A true JP2016042720A (ja) 2016-03-31
JP6176306B2 JP6176306B2 (ja) 2017-08-09

Family

ID=55592253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015214133A Active JP6176306B2 (ja) 2015-10-30 2015-10-30 電子カメラおよびプログラム

Country Status (1)

Country Link
JP (1) JP6176306B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324720A (ja) * 2002-05-07 2003-11-14 Matsushita Electric Ind Co Ltd 監視システムと監視カメラ
JP2006352540A (ja) * 2005-06-16 2006-12-28 Mitsubishi Electric Corp 撮影機能を備えた携帯通信端末
JP2008103890A (ja) * 2006-10-18 2008-05-01 Chiba Univ 自動追尾システム
JP2009212713A (ja) * 2008-03-03 2009-09-17 Panasonic Corp 撮像装置、撮像装置本体および通知用端末
JP2010028608A (ja) * 2008-07-23 2010-02-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、再生装置及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003324720A (ja) * 2002-05-07 2003-11-14 Matsushita Electric Ind Co Ltd 監視システムと監視カメラ
JP2006352540A (ja) * 2005-06-16 2006-12-28 Mitsubishi Electric Corp 撮影機能を備えた携帯通信端末
JP2008103890A (ja) * 2006-10-18 2008-05-01 Chiba Univ 自動追尾システム
JP2009212713A (ja) * 2008-03-03 2009-09-17 Panasonic Corp 撮像装置、撮像装置本体および通知用端末
JP2010028608A (ja) * 2008-07-23 2010-02-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、再生装置及び画像処理方法

Also Published As

Publication number Publication date
JP6176306B2 (ja) 2017-08-09

Similar Documents

Publication Publication Date Title
JP4942185B2 (ja) 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体
JP5171433B2 (ja) 撮像装置、およびレンズ装置
JP4419759B2 (ja) 電子カメラシステム
JP2004077517A (ja) オートフォーカス機能付きカメラ
CN110475060B (zh) 控制设备和控制方法
JP2013160832A (ja) 光学機器
JP2007166420A (ja) カメラシステム及びデジタルカメラ
JP2010157850A (ja) カメラ及びカメラシステム
JP4596246B2 (ja) オートフォーカスシステム
JP2006246354A (ja) 撮影装置及び撮影プログラム
JP5861420B2 (ja) 電子カメラ
JP5040615B2 (ja) 電子カメラ
JP2009253717A (ja) 電子カメラ
KR20160002330A (ko) 카메라 제어 장치, 카메라 제어 방법, 및 기록 매체
JP2010157851A (ja) カメラ及びカメラシステム
JP6176306B2 (ja) 電子カメラおよびプログラム
JP6176305B2 (ja) 電子カメラおよびプログラム
JP2010268031A (ja) デジタルカメラ
JPWO2018168228A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2009008842A (ja) 撮影システム、撮影装置、方法およびプログラム
JP2017216709A (ja) 電子カメラ
JP2010062834A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP6080825B2 (ja) 撮像装置及びその制御方法
JP2006215327A (ja) 撮像装置
JP2008154188A (ja) 画像伝送システム及び画像伝送方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170626

R150 Certificate of patent or registration of utility model

Ref document number: 6176306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250