JP2014155173A - 撮像装置、その制御方法及びプログラム - Google Patents

撮像装置、その制御方法及びプログラム Download PDF

Info

Publication number
JP2014155173A
JP2014155173A JP2013025731A JP2013025731A JP2014155173A JP 2014155173 A JP2014155173 A JP 2014155173A JP 2013025731 A JP2013025731 A JP 2013025731A JP 2013025731 A JP2013025731 A JP 2013025731A JP 2014155173 A JP2014155173 A JP 2014155173A
Authority
JP
Japan
Prior art keywords
setting
shooting
timing
imaging
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013025731A
Other languages
English (en)
Other versions
JP6061715B2 (ja
JP2014155173A5 (ja
Inventor
Tatsushi Katayama
達嗣 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013025731A priority Critical patent/JP6061715B2/ja
Publication of JP2014155173A publication Critical patent/JP2014155173A/ja
Publication of JP2014155173A5 publication Critical patent/JP2014155173A5/ja
Application granted granted Critical
Publication of JP6061715B2 publication Critical patent/JP6061715B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

【課題】タッチパネルを用いた直感的な操作により、動きのある被写体に対して自動撮影のための撮影タイミングを設定できるようにする。
【解決手段】ライブビューモードにおいて表示部28に表示されるスルー画像は3次元化され、各画素値に対応した3次元座標が生成されている。タッチパネルの操作により、スルー画像上に円筒形701を配置することができる。円筒形701は、XYZ軸周りの回転及びXYZ軸に沿った移動、径の変更が可能となっている。また、タッチパネルの操作により、スルー画像上に矢印図形803を配置することができる。矢印図形803の始点Aを円筒形701の内部に位置させると、被写体が円筒形701の内部から外部に移動するタイミングで自動撮影が実行される。逆に、終点Bを円筒形701の内部に位置させると、被写体が円筒形701の外部から内部に移動するタイミングで自動撮影が実行される。
【選択図】図8

Description

本発明は、動きのある被写体に対して自動撮影のための撮影タイミングを設定できるようにする撮像装置、その制御方法及びプログラムに関する。
近年、電子カメラ等の撮像装置において、液晶画面とタッチパネルを装備してグラフィカル・ユーザ・インタフェース(GUI)により機器を操作する方法が一般的になってきている。
例えば液晶画面に表示されている被写体をタッチすることで、フォーカスを合わせる動作を起動できるようになっている。ユーザはフォーカスを合わせたい被写体にタッチするという極めて直観的な操作をするだけでよいので、操作性が大きく向上することになる。
また、例えば特許文献1では、タッチパネルを用いて円状の領域を設定し、被写体が前記設定した領域内に入るように誘導し、前記領域内で顔が検出されたら自動的に撮影を行うようにしたカメラ装置が開示されている。ユーザがタッチパネル上で指をなぞることにより自動撮影の条件を図示することで、シャッターを押さなくても撮影ができるような構成となっている。
特開2012−10162号公報
特許文献1に開示されたカメラ装置は、タッチパネルを用いて設定した領域に被写体の顔が存在するか否かにより撮影タイミングを設定するものであり、撮影画角内の所定の位置に被写体を収めたいというニーズに適した構成となっている。
しかしながら、動きのある被写体に対して瞬間的な撮影タイミングを設定したい場合には、被写体の存在する領域を設定するだけでは足りない。例えば運動会の徒競争のゴールラインに単に人物が存在するだけで撮影を行っても、付近に人が立っているだけかもしれず、選手がゴールする瞬間を撮影できるとは限らない。
本発明は、上記のような点に鑑みてなされたものであり、タッチパネルを用いた直感的な操作により、動きのある被写体に対して自動撮影のための撮影タイミングを設定できるようにすることを目的とする。
本発明の撮像装置は、表示手段及びタッチパネルを有する撮像装置であって、前記表示手段にライブビュー画像を表示する表示制御手段と、前記タッチパネルの操作に応じてライブビュー画像に撮影タイミング設定用の図形を描画する描画手段と、前記描画手段により描画した撮影タイミング設定用の図形に基づいて撮影条件を設定する撮影条件設定手段と、被写体の動き情報を検出する動き情報検出手段と、前記動き情報検出手段により検出した動き情報と、前記撮影条件設定手段により設定した撮影条件とに基づいて撮影を実行する制御手段とを備えたことを特徴とする。
本発明によれば、タッチパネルを用いた直感的な操作により、動きのある被写体に対して自動撮影のための撮影タイミングを設定することができる。これにより、撮影タイミング設定用の図形に基づいて設定された撮影条件と、被写体の動き情報とに基づいて、撮影タイミングを自動的に判定して撮影が実行されるので、シャッターチャンスを逃さずに撮影することが可能となる。
第1の実施形態に係るデジタルカメラの外観図である。 第1の実施形態に係るデジタルカメラの構成例を示すブロック図である。 第1の実施形態に係るデジタルカメラの処理動作を示すフローチャートである。 撮影タイミング設定用画面を示す図である。 第1の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第1の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第1の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第1の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第1の実施形態における撮影条件との合致判定について説明するための図である。 矩形の法線ベクトルと被写体の動きベクトルとの関係を示す図である。 第2の実施形態におけるデジタルカメラと被写体との位置関係を示す概略図である。 第2の実施形態における撮影タイミング設定用画面の操作例を説明するための図である。 第2の実施形態におけるアシスト画像が重畳表示された撮影タイミング設定用画面を示す図である。 第2の実施形態における位置合わせを説明するための図である。 第3の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第3の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第3の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第3の実施形態における直線のレイアウト解析を説明するための図である。 第3の実施形態における撮影条件との合致判定について説明するための図である。 第4の実施形態における位置合わせを説明するための図である。 図形の線幅が可変となっている例を説明するための図である。
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
(第1の実施形態)
図1に、本発明を適用した撮像装置の一例としてのタッチパネル付きデジタルカメラ(以下、デジタルカメラと記す)100の外観を示す。
表示部28は、画像や各種情報を表示する。シャッターボタン61は、撮影指示を行うための操作部である。本実施形態では、タッチパネルで設定した撮影タイミングでの自動撮影機能と、シャッターボタン61を押し下げることにより撮影を行う機能との両方を備えている。モード切替スイッチ60は、各種モードを切り替えるための操作部である。操作部70は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より構成される操作部である。コントローラホイール73は、操作部70に含まれる回転操作可能な操作部材である。電源スイッチ72は、電源オン、電源オフを切り替えるための操作部材である。コネクタ112は、接続ケーブル111とデジタルカメラ100とのコネクタである。記録媒体200は、メモリカードやハードディスク等の記録媒体である。記録媒体スロット201は、記録媒体200を格納するためのスロットであり、記録媒体スロット201に格納された記録媒体200はデジタルカメラ100との通信が可能となる。蓋202は、記録媒体スロット201を開閉する。
図2は、本実施形態に係るデジタルカメラ100の構成例を示すブロック図である。図1に示した構成要素には同一の符号を付して説明する。
150は撮像光学系であり、撮像レンズ103により構成される。101はシャッターである。22は撮像部であり、光学像を電気信号に変換するCCDやCMOS素子等により構成される。23はA/D変換器であり、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
120は測距センサであり、撮像部22で撮像される被写体空間の距離情報を取得する。距離情報の取得には、レーザー光を照射して被写体から戻るまでの時間を計測することで距離を検知するTime of Flight等の公知の技術を用いることができる。その他の方式を用いることが可能であるのは言うまでもない。なお、本実施形態では、撮像部22の各画素と略同等の解像度で距離データが取得されており、取得した距離データはメモリ32に保持される。
24は画像処理部であり、A/D変換器23からのデータ、又はメモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部50が露光制御等を行う。これにより、AE(自動露出)処理、EF(フラッシュプリ発光)処理等が行われる。更に画像処理部24では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてAWB(オートホワイトバランス)処理も行う。
32はメモリであり、A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られ、A/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像及び音声のデータを格納するのに十分な記憶容量を備えている。また、メモリ32は、画像表示用のメモリ(ビデオメモリ)を兼ねる。
13はD/A変換器であり、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。メモリ32に書き込まれた表示用の画像データは、D/A変換器13を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器13からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換しデジタル化された信号は、画像処理部24で所定の信号処理を施した後にメモリ32に蓄積される。メモリ32に蓄積されたデジタル信号をD/A変換器13においてアナログ変換し、表示部28に逐次転送して表示することで、電子ビューファインダ(スルー画像(ライブビュー画像)表示)として機能する。35は圧縮・伸張処理部であり、JPEG(Joint Photographic Experts Group)等の圧縮、伸張処理を行う。
56は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROMが用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。50はCPUからなるシステム制御部であり、デジタルカメラ100全体を制御する。不揮発性メモリ56に記録されたプログラムをシステム制御部50が実行することで、後述する各処理を実現する。52はシステムメモリであり、例えばRAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。また、システム制御部50は、メモリ32、D/A変換器13、表示部28等を制御することにより表示制御も行う。53はシステムタイマーであり、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
36はタッチパネルであり、表示部28の上面に貼付される。タッチパネル36の検出方式としては、抵抗膜方式、静電容量方式等の公知の技術を用いればよい。指又はペンでプレスした位置をシステム制御部50で検出し、座標等に変換して利用することができる。本実施形態では、指又はペンでプレスして移動する動作をシステム制御部50で検出して、検出した軌跡に基づいて図形データ描画し、スルー画像に重畳して表示部28に表示する。軌跡の検出については公知の技術を用いるものとして詳細は省略するが、例えば静電容量方式の場合であれば、以下の方法等で検出できる。まず指又はペンがプレスされたか否かを静電容量の変動値で検出する。プレスされた後は、所定のサンプリング間隔でプレスされている位置情報をシステム制御部50で検出し、指又はペンがタッチパネル36から離れるまでの期間を軌跡データとして保持することで検出が可能となる。また、検出した軌跡は、画像処理部24において、軌跡データの座標位置に基づいて所定の色及び形状を示す図形データとして描画用メモリに書き込まれる。そして、図形データはメモリ制御部15に保持されているスルー画像と合成された後に、D/A変換器13で変換後に表示部28に表示される。
モード切替スイッチ60、シャッターボタン61、操作部70は、システム制御部50に各種の動作指示を入力するための操作手段である。
モード切替スイッチ60は、システム制御部50の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。
シャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)で第1シャッタースイッチがオンになり、第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、システム制御部50は、AF(オートフォーカス)処理、AE処理、AWB処理、EF処理等の動作を開始する。シャッターボタン61の操作完了、いわゆる全押し(撮影指示)で第2シャッタースイッチがオンになり、第2シャッタースイッチ信号SW2を発生する。第2シャッタースイッチ信号SW2により、システム制御部50は、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作すること等により、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えばメニューボタンが押されると、各種の設定可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。コントローラホイール73は、操作部70に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際等に使用される。コントローラホイール73を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部50がデジタルカメラ100の各部を制御する。このパルス信号によって、コントローラホイール73が回転操作された角度や、何回転したか等を判定することができる。なお、コントローラホイール73は、回転操作が検出できる操作部材であればどのようなものでもよい。例えばユーザの回転操作に応じてコントローラホイール73自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール73自体は回転せず、コントローラホイール73上でのユーザの指の回転動作等を検出する、いわゆるタッチホイールと呼ばれるものであってもよい。
80は電源制御部であり、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。30は電源部であり、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
18はメモリカードやハードディスク等の記録媒体200とのインターフェースである。
次に、本実施形態に係るデジタルカメラ100での自動撮影機能における撮影タイミング設定用の操作系について説明する。
図4は、表示部28に表示される撮影タイミング設定用画面を示す図であり、ライブビュー画像が表示される。ライブビューモードにおいて表示部28に表示されるスルー画像は、測距センサ120により取得されるデータに基づいてシステム制御部50により3次元化され、各画素値に対応した3次元座標が生成されている。
撮影タイミング設定用画面では、撮影タイミング設定のための3次元GUI401〜403がメニュー表示される。
401は矩形であり、スルー画像上に矩形を配置して、被写体が矩形を法線方向から通過するタイミングで自動撮影する設定を行うのに用いる。例えば運動会の徒競争のゴールの瞬間を撮影するような場合に有効である。
402は円筒形であり、スルー画像上に円筒形を配置して、被写体が円筒形の内部から外部に移動するタイミング、又は外部から内部に移動するタイミングで自動撮影する設定を行うのに用いる。例えば鳥が飛び立つ瞬間を捉えたい場合等に有効である。
403は被写体の移動方向を設定する矢印図形である。被写体が円筒形の内部から外部に移動するタイミングで自動撮影するのか、外部から内部に移動するタイミングで自動撮影するのかを設定する。
404は描画した図形をキャンセルするためのキャンセルボタンである。描画した図形をキャンセルする場合には、描画済みの図形をプレスして選択状態にした後に、キャンセルボタン404をプレスすることで、該図形が消去されて設定がキャンセルされる。
405は3次元化された被写体空間で図形を配置する際の指標となる3次元の座標軸である。
図5(a)に示すように、メニューから矩形401を画面上の所望の位置にドラッグ操作することにより、スルー画像上に矩形501を配置することができる。また、矩形501をプレスすると選択状態になる。その状態で、図5(b)に示すように、タッチ操作で横方向にスライドすると、Y軸周りに回転する。同様に、図5(c)に示すように、タッチ操作で縦方向にスライドすると、X軸周りに回転する。また、図5(d)に示すように、円弧を描くようにタッチ操作すると、Z軸周りに回転する。上記操作により、3次元の各軸周りの回転量を調整することができる。
また、XYZ軸に沿った移動については、以下の操作で実現することができる。図6(a)に示すように、矩形501をタッチしながら画面内を水平及び垂直方向に移動することで、X軸及びY軸方向の移動を行う。また、コントローラホイール73を回転操作することで、図6(b)に示すように、矩形501のZ座標が変更されて拡大・縮小される。
以上の操作により、矩形501を3次元化された被写体空間内の所望の位置にレイアウトすることができる。
また、図7(a)に示すように、メニューから円筒形402を画面上の所望の位置にドラッグ操作することにより、スルー画像上に円筒形701を配置することができる。円筒形701のXYZ軸周りの回転及びXYZ軸に沿った移動は、矩形501の場合と同様である。図7(b)に示すように、鳥が飛び立つタイミングでの自動撮影を設定する場合には、円筒形701をスルー画像の鳥の位置に合わせて3次元的に配置する。鳥の大きさに応じて円筒形701の径を大きくする場合、図7(c)に示すように、円筒形701を選択状態にして、タッチパネル36上で2本の指を広げる操作をすることで実現する。円筒形701の径を小さくする場合、タッチパネル36上で2本の指を狭める操作をすることで実現する。
以上の操作により、円筒形701を3次元化された被写体空間内の所望の位置にレイアウトすることができる。
次に、メニューから矢印図形403を画面上の所望の位置にドラッグ操作することにより、スルー画像上に矢印図形803を配置する。被写体が円筒形701の内部から外部に移動するタイミングで自動撮影するのか、外部から内部に移動するタイミングで自動撮影するのかは、円筒形701と矢印図形803の端点との位置関係によって設定される。
図8(a)は、ドラッグ操作によりスルー画像上に矢印図形803を配置した直後の状態である。ここで、タッチ操作により矢印図形803の始点A付近をプレスしてそのまま移動すると、始点Aは追従して描画される。図8(b)は、始点Aを移動した後の状態を示す。図8(b)に示すように、始点Aを円筒形701の内部に位置させると、被写体が円筒形701の内部から外部に移動するタイミングで自動撮影が実行される。逆に、終点Bを円筒形701の内部に位置させると、被写体が円筒形701の外部から内部に移動するタイミングで自動撮影が実行される。
以上のようにして、撮影タイミングの設定を行うことができる。
次に、図3のフローチャートを参照して、本実施形態に係るデジタルカメラ100の処理動作について説明する。
ステップS301で、システム制御部50がライブビューモードに設定されたことを検出すると、ライブビューモードの制御に移行する。
ステップS302で、システム制御部50は操作部70の操作を監視して、撮影タイミング設定モードを指示する操作を検出するとステップS303に移行し、検出されないと監視を継続する。撮影タイミング設定モードでは、図4に示すように、表示部28に撮影タイミング設定用画面が表示され、スルー画像とともに、撮影タイミング設定のための3次元GUI401〜403がメニュー表示される。
ステップS303で、図5〜図8で説明したように、システム制御部50は、撮影タイミング設定用の図形レイアウト処理を行う。すなわち、タッチパネルの操作に応じてスルー画像に撮影タイミング設定用の図形(矩形501、円筒形701、矢印図形803)を描画して表示部28に表示する。
ステップS304で、システム制御部50が図形の設定を確定する操作(例えば操作部70による設定確定ボタンの押下)を検出するとステップS305に移行し、検出されないと図形レイアウト処理を継続する。
ステップS305で、システム制御部50は、ステップS304において設定が確定した図形レイアウトを解析する。解析する項目は、図形の種別、図形の配置(図形の基準点の水平/垂直座標、XYZの3軸周りの回転角度、図形頂点の3次元座標等)、サイズ等である。
ステップS306で、システム制御部50は、ステップS305における解析結果に基づいて撮影条件を設定する。
図9(a)に示すように、撮影タイミング設定用の図形として矩形901が配置されている場合について撮影条件の設定を説明する。地面に引かれているライン904までの距離は測距センサ120により取得されており、矩形901の底辺は、地面のライン904と同じ距離データを有している。
ステップS305における解析結果に基づいて、矩形901から構成される平面と、その法線ベクトル902とを算出してシステムメモリ52に保持する。また、矩形901の4頂点の3次元座標を算出して同様にシステムメモリ52に保持する。
撮影条件が設定されると、例えば表示部28において撮影条件設定が完了したことをユーザに知らせる。
ステップS307で、撮影タイミング待ちになる。システム制御部50は、所定の時間間隔でスルー画像内の被写体像を検出して、ステップS306において設定した撮影条件との合致を判定するループ処理を実行する。
図9(b)を参照して、ステップS307における撮影条件との合致判定について説明する。ライブビューモードにおいて、撮像部22を介して入力される被写体像は、画像処理部24で所定の画像処理が施された後にメモリ32に一時保持される。システム制御部50の制御下で、所定の時間間隔で、メモリ32に保持されている連続する映像フレーム間の画像データから被写体の動き情報である動きベクトルを検出する。動きベクトルの検出方法は公知の技術を用いるものとして、その説明は省略する。なお、動きベクトルは2次元の画像データの相関演算を基に対応する領域間の移動量に基づいて生成するものとする。
図9(b)において、903は検出された被写体の動きベクトルの代表値である。システム制御部50は、動きベクトルの代表値903の両端の画素に対応する距離データ(X,Y,Z)をメモリ32から読み出す。そして、両端の距離データに基づいて3次元の動きベクトルVを算出する。ステップS307では、所定間隔で上記処理を実行して、逐次3次元の動きベクトルVを算出する。被写体が複数存在する場合は、各被写体に対して検出処理を行う。
3次元の動きベクトルVの算出が完了すると、次に図9(b)の矩形901から得られる平面と動きベクトルVとの交差の有無を検出する。図9(c)は、矩形901と動きベクトル905とが交差している状態である。システム制御部50は、矩形901との交差が検出された動きベクトル905について、次に法線ベクトル902との間でなす角度を検出する。図10(a)に示すように、2つのベクトル902、905のなす角度が所定値以下の場合には、方向が一致していると判定し、図10(b)に示すように、所定値以上の場合には方向が不一致と判定する。
また、図8(b)に示すように、撮影タイミング設定用の図形として円筒形701が配置されている場合、被写体の動きベクトルの端点が円筒形701と交差しているか否かを検出する。円筒形701の場合、方向指示のための矢印図形803のベクトルと被写体の動きベクトルとの間でのなす角度の判定は行わない。円筒形701では、動きベクトルが内側から外側に向かって交差しているか、外側から内側に向かって交差しているかを検出して、矢印図形803の向きに合致しているか否かを判定する。
ステップS307において撮影条件と合致した、すなわち撮影タイミング設定用の図形と被写体の動きベクトルとの関係が所定の条件に合致したとシステム制御部50で検出すると、ステップS308に移行し、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)と同様の第2シャッタースイッチ信号SW2を発生する。これにより、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理が開始される。
以上のように、タッチパネルを用いた直感的な操作により、動きのある被写体に対して自動撮影のための撮影タイミングを設定することができる。これにより、撮影タイミング設定用の図形に基づいて設定された撮影条件と、被写体の動きベクトルとに基づいて、撮影タイミングを自動的に判定して撮影が実行されるので、シャッターチャンスを逃さずに撮影することが可能となる。
(第2の実施形態)
第2の実施形態では、第1の実施形態で説明したデジタルカメラ100に追加できる機能について説明する。なお、デジタルカメラの構成は第1の実施形態と同様であり、以下では、第1の実施形態との相違点を中心に説明する。
本実施形態では、撮影時の絞り、フォーカス調整値に応じて撮影タイミング設定用の図形の初期配置を自動設定する。図11に、デジタルカメラと被写体との位置関係を示す。図11に示すように、デジタルカメラ1105に対して、被写体として人物1101、人物1102及び樹木1103が配置している。ここで、撮像光学系150の絞り設定によって被写界深度1104がシステム制御部50により算出される。
図12は、図11の配置での撮影タイミング設定用画面の概略図である。システム制御部50は、被写界深度と測距センサ120により取得したデータを基に生成した距離データに基づいて、被写界深度範囲の中央の距離の位置に、撮影タイミング設定用の図形、図示例では矩形1201を自動的に初期配置する。1202は矩形1201から構成される平面の法線ベクトルである。ユーザは初期配置された矩形1201について、第1の実施形態と同様にXYZ軸周りの回転及びXYZ軸に沿った移動をタッチ操作で調整することにより所望の状態に変更することができる。
また、図13に示すように、撮影タイミング設定用において、図形を配置する際に3次元化された被写体空間での距離をユーザが直感的に把握できるように、格子状のアシスト画像1301を重畳表示するようにしてもよい。格子状のアシスト画像1301は、測距センサ120から取得されるデータに基づいてシステム制御部50で生成した距離データを用いて生成する。
格子状のアシスト画像1301の生成手順を説明する。まず、距離データのY座標(鉛直方向)が略同じ値を有するデータ群を抽出する。抽出したデータ群のY座標が最も小さいものを地面の距離データ群と判定する。次に、地面の距離データ群に基づいて平面のパラメータを算出する。矩形の格子データは、システム制御部50により予めメモリ32に生成、保持されており、算出した平面のパラメータに基づいて座標変換して変形した後に表示部28に表示する。
また、本実施形態では、図3のフローチャートのステップS304において図形の設定を確定する際に、スルー画像の被写体像と撮影タイミング設定用の図形とを位置合わせして、操作部70により設定確定ボタンを押し下げる操作を行う。ユーザには、位置合わせして確定する旨を画面表示又は音声等により告知する。確定ボタンを押し下げたタイミングで被写体像を参照画像としてメモリ32に保持する。
そして、撮影条件に合致しているか否かを検出する際には、所定の間隔で取得している被写体像と確定ボタン押し下げ時にメモリ32に保持した参照画像との間で相関演算処理を行い、位置ずれ量を算出する。相関演算処理の方法は公知の技術を用いるものとして、その説明は省略する。
システム制御部50は、算出した位置ずれ量を用いて、撮影タイミング設定用の図形の描画位置をシフトして、メモリ制御部15を介して現在のスルー画像に重畳して表示する。
図14に上記処理の概略図を示す。図14(a)には、撮影タイミング設定用の図形の設定を確定した時点でのスルー画像1401と矩形1402を示す。
図14(b)には、撮影条件との合致を検出している時点で位置合わせしない場合のスルー画像1401と矩形1402を示す。図14(b)に示すように、スルー画像1401と矩形1402との相対的な位置関係が、図14(a)の確定時点と比べてずれてしまっている。このままの状態で撮影条件との合致を検出すると、撮影タイミングは所望の条件からずれてしまう。
それに対して、図14(c)には、撮影条件との合致を検出している時点で位置合わせする場合のスルー画像1401と矩形1402を示す。スルー画像1401の位置に応じて矩形1402の位置も移動しており、確定時点と同じ相対的な位置関係が保持されている。
(第3の実施形態)
上記第1、2の実施形態では、3次元化したスルー画像内に撮影タイミング設定用の図形を3次元化して描画する例を説明した。それに対して、第3の実施形態では、3次元化しない例を説明する。なお、デジタルカメラ100の構成は第1の実施形態と同様であり、以下では、第1の実施形態と同様の構成要素には同一の符号を付し、第1の実施形態との相違点を中心に説明する。
本実施形態に係るデジタルカメラ100での自動撮影機能における撮影タイミング設定用の操作系について説明する。
図15、16は、表示部28に表示される撮影タイミング設定用画面を示す図であり、スルー画像1505、1601が表示される。
撮影タイミング設定用画面では、撮影タイミング設定のためのGUI1501〜1503がメニュー表示される。
1501は直線であり、スルー画像上に直線を配置して、被写体が直線を横切るタイミングで自動撮影する設定を行うのに用いる。例えば図15に示すように、運動会の徒競争のゴールの瞬間を撮影するような場合に有効である。
1502は円形であり、スルー画像上に円形を配置して、被写体が円形の内部から外部に移動するタイミング、又は外部から内部に移動するタイミングで自動撮影する設定を行うのに用いる。例えば図16に示すように、鳥が飛び立つ瞬間を捉えたい場合等に有効である。
1503は被写体の移動方向を設定する矢印図形である。被写体が直線をどの方向から横切るかを設定する。また、被写体が円形の内部から外部に移動するタイミングで自動撮影するのか、外部から内部に移動するタイミングで自動撮影するのかを、方向も含めて設定する。
1504は描画した図形をキャンセルするためのキャンセルボタンである。描画した図形をキャンセルする場合には、描画済みの図形をプレスして選択状態にした後に、キャンセルボタン1504をプレスすることで、該図形が消去されて設定がキャンセルされる。
ユーザは、スルー画像1505、1601を目視しながら、タッチパネルのタッチ操作によりメニューから図形を選択する。図15は、直線1506及び矢印図形1507を描画した結果を示す。また、図16は、円形1602及び矢印図形1603を描画した結果を示す。なお、矢印図形1507、1603は1本に限られるのではなく、複数本設定してもかまわない。
図17(a)に示すように、メニューから直線1501を選択することにより、スルー画像上に直線1701を配置したとする。直線1701はタッチパネル上で指又はペンでプレスして移動させることができる。また、直線1701、端点1703又は1704をプレスして移動することで、1702に示すように状態に長さ及び傾きを変えることができる。
また、図17(b)に示すように、メニューから円形1502を選択することにより、スルー画像上に円形1705を配置したとする。円形1705は、位置と、楕円の長径及び短径をタッチ操作で変えることができる。円形1705をタッチすると、円形1705を内包する矩形領域1706が描画される。矩形領域1706の端点1707をタッチ操作により移動することで、矩形領域を1708の状態に変えることができる。これに従って、内包される楕円1705の大きさ及び形状が変形する。また、円形1705の移動は、その内部をタッチしながらドラッグ操作することで移動する。
図16に示すように、矢印図形1603の始点を円形1602の内部に位置させると、被写体が、矢印図形1603の方向に、円形1602の内部から外に移動に移動するタイミングで自動撮影が実行される。逆に、矢印図形1603の終点を円形1602の内部に位置させると、被写体が、矢印図形1603の方向に、円形1602の外部から内部に移動するタイミングで自動撮影が実行される。
以上のようにして、撮影タイミングの設定を行うことができる。なお、メニューからGUI1501〜1503を選択する操作例を説明したが、タッチパネル上で指又はペンによりユーザが直線、円形、矢印図形を描くようにする操作としてもよい。
次に、本実施形態に係るデジタルカメラの処理動作について説明する。基本的な処理動作は第1の実施形態と同様であり、図3を参照しながら、第1の実施形態との相違点を中心に説明する。
ステップS305で、システム制御部50は、ステップS304において設定が確定した図形レイアウトを解析する。解析する項目は、図形の種別、図形の配置、形状、サイズ等である。
図18を参照して、図形レイアウトの解析について説明する。画面内に配置されている図形の種別及び配置情報は、ステップS303で保持されている。
直線の場合、端点の位置に基づいて直線上に位置する境界画素位置を算出して保持する。図18(a)で左下隅を原点とすると、直線1801は下記のように表すことができる。
Y=aX+b・・・(式1)
(a,bは端点の座標を基に算出される定数)
境界画素位置は、(式1)を満たす(X,Y)の座標値により構成されるので、これを保持する。
円形の場合、円形を内包する矩形(図17(b)の矩形領域1706、1708)領域を基に境界画素位置を算出して保持する。図18(b)の円形1802は下記のように表すことができる。
(X−x0)2/a2+(Y−y0)2/b2=1・・・(式2)
(x0,y0は円形1802の中心座標、a,bは円形1802の長辺と短辺)
境界画素位置は、(式2)を満たす(X,Y)の座標値により構成されるので、これを保持する。
次に、矢印図形の端点の水平及び垂直座標の差分に基づいて、方向ベクトルを算出して保持する。図18(c)の矢印図形1803より、方向ベクトルVは下記のように表すことができる。
V=(x2−x1,y2−y1)
ステップS306で、システム制御部50は、ステップS305における解析結果に基づいて撮影条件を設定する。
例えば図15に示すように、直線1506と矢印図形1507とが配置されているとする。システム制御部50では、直線1506の境界画素位置データB1を生成保持し、また矢印図形1507の方向ベクトルV1(dx,dy)を生成保持する。
撮影条件が設定されると、例えば表示部28において撮影条件設定が完了したことをユーザに知らせる。
ステップS307で、撮影タイミング待ちになる。システム制御部50は、所定の時間間隔でスルー画像内の被写体像を検出して、ステップS306において設定した撮影条件との合致を判定するループ処理を実行する。
図19を参照して、ステップS307における撮影条件との合致判定について説明する。ライブビューモードにおいて、撮像部22を介して入力される被写体像は、画像処理部24で所定の画像処理が施された後にメモリ32に一時保持される。システム制御部50の制御下で、所定の時間間隔で、メモリ32に保持されている連続する映像フレーム間の画像データから被写体の動き情報である動きベクトルを検出する。動きベクトル検出方法は公知の技術を用いるものとして、その説明は省略する。図19(a)においては、横方向に移動する被写体の動きベクトルが検出されている。動き情報は、1つ前のフレームにおける位置座標と動きベクトル量を1セットとして保持している。
図19(b)は、ゴールする瞬間の状態を示している。図19(b)においては、検出した動きベクトルMV1(mx,my)と方向ベクトルV1との方向の差が所定値以下で、かつ前フレームを始点とした動きベクトルMV1の端点が境界画素位置データB1と交差しているので、撮影条件に合致していると判定する。
ステップS307において撮影条件と合致した、すなわち撮影タイミング設定用の図形と被写体の動きベクトルとの関係が所定の条件に合致したとシステム制御部50で検出すると、ステップS308に移行し、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)と同様の第2シャッタースイッチ信号SW2を発生する。これにより、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理が開始される。
(第4の実施形態)
第4の実施形態では、第3の実施形態で説明したデジタルカメラ100に追加できる機能について説明する。
第2の実施形態でも説明したが、図3のフローチャートのステップS304において図形の設定を確定する際に、スルー画像の被写体像と撮影タイミング設定用の図形とを位置合わせしておき、スルー画像と図形との相対的な位置関係を補正するようにしてもよい。
図20に上記処理の概略図を示す。図20(a)には、撮影タイミング設定用の図形の設定を確定した時点でのスルー画像2001と直線2002及び矢印図形2003を示す。
図20(b)には、撮影条件との合致を検出している時点で位置合わせしない場合のスルー画像2001と直線2002及び矢印図形2003を示す。図20(b)に示すように、スルー画像2001と直線2002及び矢印図形2003との相対的な位置関係が、図20(a)の確定時点と比べてずれてしまっている。このままの状態で撮影条件との合致を検出すると、撮影タイミングは所望の条件からずれてしまう。
それに対して、図20(c)には、撮影条件との合致を検出している時点で位置合わせする場合のスルー画像2001と直線2002及び矢印図形2003を示す。スルー画像2001の位置に応じて直線2002及び矢印図形2003の位置も移動しており、確定時点と同じ相対位置関係が保持されている。
(その他の実施形態)
以下、その他の機能について説明する。
図19(b)に示すように複数の被写体がゴールを通過するようなシーンを撮影する場合では、先頭の被写体が境界画素位置Bを通過した後に、後続の被写体が通過することになる。このようなシーンに対応するために、撮影条件に合致しても撮影タイミング設定をクリアせず、そのまま保持するように設定し、後続の被写体についても撮影条件との合致を関して自動撮影するようにしてもよい。
逆に、撮影条件に合致して一度撮影処理を実行したら、それ以降、撮影条件に合致しても撮影処理を実行しないように設定できるようにしてもよい。これにより、不必要に記録され続けてしまうことを防止することができる。
また、描画する図形の線幅を操作部70のスイッチ操作又はタッチパネルのタッチ操作で変更できるようにし、設定した線幅に応じて連写期間がシステム制御部50により設定されるようにしてもよい。図21(a)、(b)には、直線2101の線幅を変更した状態を示す。この場合、撮影条件に合致したら、線幅に応じた連写期間で、例えば線幅が太い方が連写期間を長くするようにして連写が実行される。線幅を変更する操作の具体例としては、例えば図形をプレスして選択した後、コントローラホイール73を回転することで、線幅を可変することができる。
また、想定していない被写体が撮影条件に合致することによる撮影処理を防止するために、対象となる被写体の画面上での最小サイズを縦及び横の画素値で設定することも可能である。設定したサイズ以上の被写体が撮影条件に合致した場合のみ撮影処理することで、誤撮影を防止することができる。
また、撮影条件との合致を検出する際に、顔検出、顔認識データを加味することも可能である。例えば顔認識と併用する場合には、認識対象の顔データをステップS302の撮影タイミング設定モード期間中に設定する。そして、撮影条件との合致を検出するときに、撮影タイミング設定用の図形と被写体の動きベクトルとの関係に加えて、被写体の顔データと予め設定した認識対象の顔データとの照合を行い、全てが合致した場合に撮影処理を行うようにする。
また、例えば第1の実施形態で説明した矩形であれば人物に限定し、円筒形であれば鳥、昆虫、自動車等の動物体全般を対象とするような設定を行うようにしてもよい。
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
22:撮像部、24:画像処理部、28:表示部、36:タッチパネル、50:システム制御部、56:不揮発性メモリ、120:測距センサ

Claims (11)

  1. 表示手段及びタッチパネルを有する撮像装置であって、
    前記表示手段にライブビュー画像を表示する表示制御手段と、
    前記タッチパネルの操作に応じてライブビュー画像に撮影タイミング設定用の図形を描画する描画手段と、
    前記描画手段により描画した撮影タイミング設定用の図形に基づいて撮影条件を設定する撮影条件設定手段と、
    被写体の動き情報を検出する動き情報検出手段と、
    前記動き情報検出手段により検出した動き情報と、前記撮影条件設定手段により設定した撮影条件とに基づいて撮影を実行する制御手段とを備えたことを特徴とする撮像装置。
  2. 前記表示制御手段は、前記表示手段に表示するライブビュー画像を3次元化し、
    前記描画手段は、3次元化したライブビュー画像に撮影タイミング設定用の図形を3次元化して描画することを特徴とする請求項1に記載の撮像装置。
  3. 前記描画手段は、撮影タイミング設定用の図形として、3次元の各軸周りの回転及び各軸に沿った移動が可能な矩形を描画することを特徴とする請求項2に記載の撮像装置。
  4. 前記描画手段は、撮影タイミング設定用の図形として、3次元の各軸周りの回転及び各軸に沿った移動が可能な円筒形を描画することを特徴とする請求項2又は3に記載の撮像装置。
  5. 前記描画手段は、被写体が前記円筒形の内部から外部に移動するタイミング、又は外部から内部に移動するタイミングで撮影することを設定する矢印図形を描画することを特徴とする請求項4に記載の撮像装置。
  6. 被写界深度を算出する手段と、
    前記算出した被写界深度に基づいて、3次元化したライブビュー画像に3次元化した撮影タイミング設定用の図形を初期配置する手段とを備えたことを特徴とする請求項2乃至5のいずれか1項に記載の撮像装置。
  7. 3次元化したライブビュー画像に格子状のアシスト画像を重畳表示する手段を備えたことを特徴とする請求項2乃至6のいずれか1項に記載の撮像装置。
  8. 前記表示手段に表示するライブビュー画像と前記描画手段により描画した撮影タイミング設定用の図形との相対的な位置関係を補正する手段を備えたことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記描画手段は、撮影タイミング設定用の図形の線幅を可変とし、線幅に応じて連写期間が設定されるようにしたことを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
  10. 表示手段及びタッチパネルを有する撮像装置の制御方法であって、
    前記表示手段にライブビュー画像を表示するステップと、
    前記タッチパネルの操作に応じてライブビュー画像に撮影タイミング設定用の図形を描画するステップと、
    前記描画した撮影タイミング設定用の図形に基づいて撮影条件を設定するステップと、
    被写体の動き情報を検出するステップと、
    前記検出した動き情報と、前記設定した撮影条件とに基づいて撮影を実行するステップとを有することを特徴とする撮像装置の制御方法。
  11. 表示手段及びタッチパネルを有する撮像装置を制御するためのプログラムであって、
    前記表示手段にライブビュー画像を表示する表示制御手段と、
    前記タッチパネルの操作に応じてライブビュー画像に撮影タイミング設定用の図形を描画する描画手段と、
    前記描画手段により描画した撮影タイミング設定用の図形に基づいて撮影条件を設定する撮影条件設定手段と、
    被写体の動き情報を検出する動き情報検出手段と、
    前記動き情報検出手段により検出した動き情報と、前記撮影条件設定手段により設定した撮影条件とに基づいて撮影を実行する制御手段としてコンピュータを機能させるためのプログラム。
JP2013025731A 2013-02-13 2013-02-13 撮像装置、その制御方法及びプログラム Expired - Fee Related JP6061715B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013025731A JP6061715B2 (ja) 2013-02-13 2013-02-13 撮像装置、その制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013025731A JP6061715B2 (ja) 2013-02-13 2013-02-13 撮像装置、その制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2014155173A true JP2014155173A (ja) 2014-08-25
JP2014155173A5 JP2014155173A5 (ja) 2016-03-31
JP6061715B2 JP6061715B2 (ja) 2017-01-18

Family

ID=51576604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013025731A Expired - Fee Related JP6061715B2 (ja) 2013-02-13 2013-02-13 撮像装置、その制御方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6061715B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075607A (ja) * 2017-10-12 2019-05-16 キヤノン株式会社 撮像装置およびその制御方法
US11095845B2 (en) 2017-09-20 2021-08-17 Fujifilm Corporation Imaging control device, imaging apparatus, imaging control method, and imaging control program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200713A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
JP2010011289A (ja) * 2008-06-30 2010-01-14 Casio Comput Co Ltd 撮像装置及びプログラム
JP2010193423A (ja) * 2009-01-26 2010-09-02 Victor Co Of Japan Ltd 自動撮像装置
JP2014107750A (ja) * 2012-11-28 2014-06-09 Olympus Imaging Corp 撮影機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200713A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
JP2010011289A (ja) * 2008-06-30 2010-01-14 Casio Comput Co Ltd 撮像装置及びプログラム
JP2010193423A (ja) * 2009-01-26 2010-09-02 Victor Co Of Japan Ltd 自動撮像装置
JP2014107750A (ja) * 2012-11-28 2014-06-09 Olympus Imaging Corp 撮影機器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11095845B2 (en) 2017-09-20 2021-08-17 Fujifilm Corporation Imaging control device, imaging apparatus, imaging control method, and imaging control program
JP2019075607A (ja) * 2017-10-12 2019-05-16 キヤノン株式会社 撮像装置およびその制御方法
JP7023663B2 (ja) 2017-10-12 2022-02-22 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JP6061715B2 (ja) 2017-01-18

Similar Documents

Publication Publication Date Title
US9036073B2 (en) Imaging apparatus and for controlling an automatic focus (AF) area and an enlargement area in a live view
KR102407190B1 (ko) 영상 촬영 장치 및 그 동작 방법
CN109688320A (zh) 便利捕捉连续图像的智能靶
US9774782B2 (en) Image pickup apparatus and image pickup method
JP2010177741A (ja) 撮像装置
JP5709816B2 (ja) 撮像装置、その制御方法、および制御プログラム、並びに記録媒体
JP6991033B2 (ja) 電子機器及びその制御方法
JP2016032173A (ja) 撮像装置、制御装置及びそれらの制御方法、プログラム、並びに記憶媒体
JP2018129765A (ja) 撮像装置及びその制御方法
JP2014228629A (ja) 撮像装置、その制御方法、およびプログラム、並びに記憶媒体
JP2014017665A (ja) 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体
JP6270578B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP6312460B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
US20120026284A1 (en) Imaging apparatus and control method therefor
JP2009060291A (ja) 画像処理装置、画像処理方法及びプログラム
JP2012053674A (ja) 撮像装置、その制御方法及びプログラム並びに記録媒体
JP6061715B2 (ja) 撮像装置、その制御方法及びプログラム
US8866934B2 (en) Image pickup apparatus capable of deleting video effect superimposed on moving image, method of controlling the apparatus, and moving image-recording apparatus, as well as storage medium
JP2014110596A (ja) 撮像装置、その制御方法、およびプログラム、並びに記憶媒体
JP6768449B2 (ja) 撮像制御装置、撮像装置の制御方法及びプログラム
JP6701027B2 (ja) 撮像装置、その制御方法およびプログラム
JP6393296B2 (ja) 撮像装置及びその制御方法、撮像制御装置、プログラム、並びに記憶媒体
JP2016134686A (ja) 撮像装置及び撮像方法
JP6395156B2 (ja) 撮像装置及び撮像方法
JP6497887B2 (ja) 撮像装置、撮像装置の制御方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161213

R151 Written notification of patent or utility model registration

Ref document number: 6061715

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees