JP2016127524A - 撮像装置、その制御方法、及びプログラム、並びに記憶媒体 - Google Patents

撮像装置、その制御方法、及びプログラム、並びに記憶媒体 Download PDF

Info

Publication number
JP2016127524A
JP2016127524A JP2015001554A JP2015001554A JP2016127524A JP 2016127524 A JP2016127524 A JP 2016127524A JP 2015001554 A JP2015001554 A JP 2015001554A JP 2015001554 A JP2015001554 A JP 2015001554A JP 2016127524 A JP2016127524 A JP 2016127524A
Authority
JP
Japan
Prior art keywords
imaging
touch
subject
user
setting condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015001554A
Other languages
English (en)
Other versions
JP6472248B2 (ja
JP2016127524A5 (ja
Inventor
渡辺 和宏
Kazuhiro Watanabe
和宏 渡辺
英樹 鳴島
Hideki Narushima
英樹 鳴島
武司 中田
Takeshi Nakada
武司 中田
亘 加来
Wataru Kako
亘 加来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015001554A priority Critical patent/JP6472248B2/ja
Publication of JP2016127524A publication Critical patent/JP2016127524A/ja
Publication of JP2016127524A5 publication Critical patent/JP2016127524A5/ja
Application granted granted Critical
Publication of JP6472248B2 publication Critical patent/JP6472248B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Studio Devices (AREA)

Abstract

【課題】タッチダウン操作によって特定される被写体に撮像設定条件を適合させつつ、特定のタッチ操作がなされた場合、当該特定のタッチ操作に対応するコマンドを適正に実行する撮像装置を提供する。【解決手段】撮像装置は、被写体を撮像する撮像部22と、撮像部22における撮像設定条件を調整する撮像準備手段(S306)と、ユーザからの指示を受け付ける表示部28と、表示部28に対し、ユーザのタッチダウン操作があったときに、撮像準備手段に、フォーカス、露出、ホワイトバランス等の撮像設定条件の調整を行なわせるシステム制御部50と、タッチダウン操作に引き続いて特定のタッチ操作がなされたときに、撮像準備手段による調整が行われる前の撮像設定条件を回復させる回復手段(S312)と、条件回復後に特定のタッチ操作に対応するコマンドを実行する実行手段(S313)を有する。【選択図】図3

Description

本発明は、撮像装置、その制御方法、及びプログラム、並びに記憶媒体に関し、特に、表示画面に手指等で接触した位置を検出するタッチディスプレイを備えた撮像装置に関する。
被写体を液晶パネル画面に表示して確認しながら撮像できるデジタルカメラには、操作指示手段としてタッチディスプレイを適用したものがある。このようなデジタルカメラとして、指の押し圧を検出できるタッチディスプレイを備え、押し圧が閾値以下のときには撮像準備動作を指示し、閾値を超えたときには撮像動作を指示できるように構成されたデジタルカメラが提案されている(例えば、特許文献1参照。)。
また、タッチダウン後、特定のタッチ操作がなされ、その後、接触が無くなったことを検出すると、撮像処理を行わないよう制御するデジタルカメラが提案されている(例えば、特許文献2参照。)。また、タッチディスプレイにタッチすることによって描かれた軌跡を認識すると、その軌跡に対応する操作ボタンを表示する、いわゆるタッチジェスチャー認識機能を備えたデジタルカメラが提案されている(例えば、特許文献3参照。)。更にまた、複数の指、複数の指と手のひら、指とスタイラス、複数のスタイラス及び/又はこれらの任意の組み合わせからなる複数のタッチ操作からなるマルチタッチ操作機能を備えたデジタルカメラが提案されている(例えば、特許文献4参照。)。
特開2007−236008号公報 特開2011−193249号公報 特開2010−182023号公報 特表2008−508600号公報
通常、デジタルカメラは、ユーザによるタッチダウン操作があったとき、タッチディスプレイ上の当該タッチダウン位置に表示されている被写体にフォーカスや露出、ホワイトバランス等の撮像設定条件が適合するように制御する。ユーザが、その撮像設定条件における画像を、画角(撮像アングル)やズーム比率等を変更することなく確認できるようにし、また、シャッターチャンスであるユーザ任意のタイミングで撮像処理が行えるようにするためである。
また、ユーザが、タッチダウン後、タッチディスプレイ上にタッチしたまま軌跡を描く、いわゆるタッチジェスチャー操作や、複数の指タッチによる、いわゆるマルチタッチ操作を行うと、デジタルカメラはその軌跡に応じてコマンドを実行する。例えば、タッチ操作によって円の軌跡が描かれると、デジタルカメラはシャッタースピード値を変更し、2点タッチの間隔を広げるように軌跡が描かれると、デジタルカメラはズーミングアップを実行する。
しかしながら、従来のデジタルカメラは、ユーザがタッチジェスチャー操作又はマルチタッチ操作を実行した場合、タッチディスプレイ上に最初にタッチする動作をタッチダウン操作とみなす場合がある。かかる場合、タッチダウン位置に表示されている被写体に適合するように撮像設定条件が変更されてしまうので、操作を開始する前の撮像設定条件を維持したままタッチジェスチャー操作又はマルチタッチ操作によるコマンドを実行させることができない。
具体的には、ユーザが特定の被写体、例えば、人物にフォーカス、露出、ホワイトバランス等を合わせた状態で、シャッタースピードを変更しようとしてタッチディスプレイ上に円を描くタッチジェスチャー操作を行ったとする。このとき、タッチジェスチャーにおける最初のタッチ位置に別の被写体、例えば、テーブルが表示されていると、当該テーブルに適合するようにフォーカス等が変更され、その後、シャッタースピードの変更が実行される。このために、ユーザは改めて特定の被写体である人物にフォーカス等を合わせ直す必要があり、特定の被写体にフォーカス等を合わせたままの状態で、特定のタッチ操作に対応するコマンドを実行させることができないという問題がある。
本発明の目的は、タッチダウン操作によって特定される被写体に撮像設定条件を適合させつつ、特定のタッチ操作がなされた場合、特定のタッチ操作に対応するコマンドを適正に実行できる撮像装置、その制御方法、プログラム、記憶媒体を提供することにある。
上記目的を達成するために、請求項1記載の撮像装置は、被写体を撮像する撮像手段と、前記撮像手段における撮像設定条件を調整する撮像準備手段と、ユーザからの指示を受け付けるタッチディスプレイ手段と、前記タッチディスプレイ手段に対し、前記ユーザのタッチダウン操作があったときに、前記撮像準備手段に、撮像設定条件の調整を行なわせる制御手段と、前記タッチダウン操作に引き続いて特定のタッチ操作がなされたときに、前記撮像準備手段による前記調整が行われる前の撮像設定条件を回復させる回復手段と、を有することを特徴とする。
本発明によれば、ユーザのタッチダウン操作に引き続いて特定のタッチ操作があった場合、条件回復手段によって、撮像準備手段による撮像設定条件の変更前の撮像設定条件を回復させる。これによって、タッチダウン操作によって特定される被写体に撮像設定条件を適合させつつ、タッチダウン操作に引き続いて特定のタッチ操作がなされた場合、当該特定のタッチ操作に対応するコマンドを適正に実行させることができる。
本発明の実施の形態に係る撮像装置の背面を示す斜視図である。 図1の撮像装置の構成を示すブロック図である。 図1の撮像装置を用いた撮像処理の手順を示すフローチャートである。 第1の実施の形態で表示部に表示される表示画面の遷移を示す図である。 第2の実施の形態に係る撮像装置を用いた撮像処理の手順を示すフローチャートである。 第2の実施の形態で表示部に表示される表示画面の遷移を示す図である。 第3の実施の形態に係る撮像装置を用いた撮像処理の手順を示すフローチャートである。
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。
図1は、本発明の実施の形態に係る撮像装置の背面を示す斜視図である。図1において、撮像装置としてのデジタルカメラ100の背面には、表示部28が設けられている。表示部28は、画像や各種情報を表示する、例えばLCDからなる表示画面である。表示部28はタッチディスプレイであり、表示部28に対する接触を検知できるように構成されている。デジタルカメラ100の上面には、シャッターボタン61及び電源スイッチ72が設けられている。シャッターボタン61は、撮像指示を行うための操作部70として機能する。電源スイッチ72は、電源のオン、オフを切り替える。
デジタルカメラ100の背面には、表示部28に隣接してモード切替スイッチ60、コントローラホイール73を含む操作部70が配置されている。モード切替スイッチ60は、各種モードを切り替えるための操作部である。また、コントローラホイール73は、回転操作可能な操作部材である。すなわち、操作部70はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチディスプレイ等の操作部材よって構成されている。
デジタルカメラ100の側面には、コネクタ112の装着部が設けられている。コネクタ112は、接続ケーブル111とデジタルカメラ100とを接続する。デジタルカメラ100の下面には、記録媒体スロット201及びその蓋体202が設けられている。記録媒体スロット201は、記録媒体200を格納するためのスロットである。記録媒体200はメモリカードやハードディスク等からなる。記録媒体200は、記録媒体スロット201に格納されることによってデジタルカメラ100と通信が可能となる。
図2は、図1の撮像装置(デジタルカメラ)の構成を示すブロック図である。図2において、デジタルカメラ100は、フォーカスレンズを含む撮像レンズ103、絞り機能を備えるシャッター101、光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像部22を備える。
デジタルカメラ100は、また、A/D変換器23、バリア102を備える。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換する。バリア102は、撮像レンズ103を覆うことにより、撮像レンズ103、シャッター101、撮像部22を含む撮像系の汚れや破損を防止する。
デジタルカメラ100は、また、画像処理部24、メモリ制御部15、システム制御部50を備えている。画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて、システム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24は、更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
デジタルカメラ100は、また、表示部28、メモリ32を備えている。A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、又は、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られ、A/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像及び音声を格納するのに十分な記憶容量を備えている。表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能(スルー画像表示)を実現することが可能である。メモリ32は、画像表示用のメモリ、すなわちビデオメモリを兼ねている。
表示部28は、該表示部28に対する接触操作を検知可能なタッチパネルでもある。すなわち、表示部28は、操作部70の1つであって、タッチパネルと表示部を一体的に構成したタッチディスプレイであり、タッチ操作部材としても機能する。例えば、タッチパネルを光の透過率が表示部28の表示を妨げないように構成して、表示部28の表示面の上層として取り付ける。そして、タッチパネルにおける入力座標と、表示部28上の表示座標とを対応付ける。これにより、あたかもユーザが表示部28上に表示された画面を直接的に操作可能であるかのようなGUIを構成することができる。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサー方式等のうちいずれの方式のものであっても良い。
タッチパネルへの以下の操作は、システム制御部50によって検出される。タッチパネルを指やペンで触れたこと(以下、「タッチダウン」という。)、タッチパネルを指やペンで触れている状態であること(以下、「タッチオン」という。)、タッチパネルを指やペンで触れたまま移動していること(以下、「ムーブ」という。)などである。また、タッチパネルへ触れていた指やペンを離したこと(以下、「タッチアップ」という。)、タッチパネルに何も触れていない状態であること(以下、「タッチオフ」という。)もシステム制御部50によって検出される。
上述の操作や、タッチディスプレイ上に指やペンが触れている位置座標はシステム制御部50に通知され、システム制御部50は通知された情報に基づいてタッチディスプレイ上にどのような操作が行なわれたかを判定する。ムーブについてはタッチディスプレイ上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチディスプレイ上の垂直成分・水平成分毎に判定される。また、タッチディスプレイ上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたと判定される。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチディスプレイ上に指を触れたままある程度の距離だけ素早く動かして、そのまま離す操作であり、換言すれば、タッチディスプレイ上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定される。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合は、ドラッグが行なわれたと判定される。
デジタルカメラ100は、また、D/A変換器13を備えている。D/A変換器13は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。すなわち、メモリ32に書き込まれた表示用の画像データはD/A変換器13を介して表示部28に表示される。表示部28は、LCD等の表示器上に、D/A変換器13からのアナログ信号に応じた表示を行う。
デジタルカメラ100は、また、不揮発性メモリ56を備える。不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えば、EEPROM等からなる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムには、後述する各種フローチャートを実行するためのプログラムが含まれる。
デジタルカメラ100は、また、システムメモリ52を備えている。システムメモリ52として、RAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等が展開される。
デジタルカメラ100は、また、システム制御部50に各種の動作指示を入力するための操作手段として、モード切替スイッチ60、第1シャッタースイッチ62、第2シャッタースイッチ64を備えている。モード切替スイッチ60は、システム制御部50の動作モードを、静止画及び動画を記録可能な撮像モード、再生モード等のいずれかに切り替える。第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮像準備動作指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。これらの処理はシステム制御部50の制御によって行われる。以下、AF処理、AE処理、AWB処理、EF処理等の動作を撮像準備動作という。第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮像動作指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。
デジタルカメラ100は、また、操作部70を備える。操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。操作部70には、回転操作可能な操作部材としてのコントローラホイール73が含まれる。コントローラホイール73は、方向ボタンと共に選択項目を指示する際などに使用される。
デジタルカメラ100は、また、電源制御部80を備える。電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
デジタルカメラ100は、また、電源部30及びインターフェース18を備える。電源部30は、アルカリ電池やリチウム電池等の一次電池、NiCd電池、NiMH電池、Li電池等の二次電池、ACアダプター等からなる。インターフェース18は、画像処理部24とメモリカードやハードディスク等の記録媒体200とを接続する。
システム制御部50は、デジタルカメラ100全体を制御する。すなわち、システム制御部50は、上述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する実施の形態の各処理を実現する。また、システム制御部50は、メモリ32、D/A変換器13、表示部28等を制御することによって表示制御も行う。更に、システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮像処理の動作を制御する。
以下、図1の撮像装置を用いた撮像処理について詳細に説明する。
図3は、図1の撮像装置を用いた撮像処理の手順を示すフローチャートである。この撮像処理は、デジタルカメラ100のシステム制御部50が不揮発性メモリ56に記録された撮像処理プログラムをシステムメモリ52に展開して当該プログラムを実行することによって実行する。本撮像処理では、ユーザのタッチダウン操作によりタッチダウン位置に表示されている被写体に適合する撮像設定条件による撮像準備動作が行われ、その後、ユーザによるタッチアップ操作がなされたときは撮像処理が実行される。また、ユーザによる特定のタッチ操作があったときはタッチ操作前の撮像設定条件を回復しながら、当該特定のタッチ操作に対応する所定のコマンドが実行される。
図3において、ユーザによってデジタルカメラ100の電源が投入されると、システム制御部50は、所定の撮像設定条件、例えば、所定のフォーカス、露出、ホワイトバランスで撮像を開始する(ステップS301)。撮像設定条件は、デジタルカメラ100の仕様にもよるが、例えば、電源切断前に設定されていた各種条件が回復して用いられる。次いで、システム制御部50は、撮像部22で撮像している映像を表示部(タッチディスプレイ)28に表示する(ステップS302)。
図4は、表示部28に表示される表示画面の遷移を示す図である。図4(a)において、表示部28には、人物やテーブル等の被写体が表示されている。このとき、フォーカス、露出、ホワイトバランス等の撮像設定条件は人物に適合しているものとする。
次いで、システム制御部50は、各種設定処理について所定のユーザ操作があったときは、その設定を実行する(ステップS303)。各種設定処理としては、例えば、フラッシュ強制発行、フラッシュ禁止、自動の選択等が挙げられる。
次いで、システム制御部50は、タッチディスプレイ(表示部)28上に、ユーザによるタッチダウン操作があったか否かを判定し(ステップS304)、タッチダウン操作があるまで待機する。そして、タッチダウン操作があった(ステップS304で「YES」)後、システム制御部50は、それまでの撮像設定条件をシステムメモリ52に記憶する(ステップS305)。図4(b)は、ユーザによるタッチダウン操作を示している。図4(b)において、ユーザにより表示部28の左下付近にタッチダウン操作が行われている。このとき、システム制御部50は、タッチダウン位置に表示されている被写体に適合するように撮像設定条件を変更する(ステップS306)。
次いで、システム制御部50は、ユーザによる特定のタッチ操作があったか否かを判定する(ステップS307)。すなわち、システム制御部50は、タッチダウン操作に引き続いてユーザによるタッチ操作があったか否かを判定する。ステップS307の判定の結果、タッチ操作があった(ステップS307で「YES」)場合、システム制御部50は、そのタッチ操作が所定のユーザコマンドに対応付けられた特定のタッチ操作か否かを判定する(ステップS311)。
図4(c)は、所定のユーザコマンドに対応付けられた特定のタッチ操作を示すものである。図4(c)において、タッチダウン操作に引き続いて、ユーザにより円を描くようなタッチジェスチャーがなされている。円を描くタッチジェスチャーに対応するコマンドは、例えば、シャッタースピード値の変更である。なお、所定のユーザコマンドに対応付けられた特定のタッチ操作としては、タッチディスプレイ上で軌跡を描く操作、マルチタッチ操作等が挙げられる。また、所定のユーザコマンドとしては、タッチディスプレイ上で軌跡を描く操作に対応するシャッタースピード値の変更、2点タッチの間隔を広げるような軌跡を描く操作に対応するズーミングアップの他、カラーモードの変更などが挙げられる。
ステップS311の判定の結果、所定のユーザコマンドに対応する特定のタッチ操作がなされた(ステップS311で「YES」)場合、システム制御部50は、タッチ操作前の撮像設定条件を回復させる(ステップS312)。特定のタッチ操作の一部としてのタッチダウン操作は、当該タッチダウン位置における被写体に撮像設定条件を適合させるための入力ではないからである。そして、その後、システム制御部50は、特定のタッチ操作に対応するコマンドを実行する(ステップS313)。すなわち、システム制御部50は、タッチダウン操作に引き続いて所定のコマンドに対応する特定のタッチ操作が行われた場合、撮像設定条件を、ステップS305でシステムメモリ52に記憶したタッチ操作前の撮像設定条件に回復させる。次いで、システム制御部50は、ユーザによってなされた特定のタッチ操作、例えばタッチジェスチャーに対応するコマンドであるシャッタースピード値の変更等の条件変更を実行し、その後、処理をステップS304に戻す。
一方、ステップS307の判定の結果、タッチ操作がなかった(ステップS307で「NO」)場合、システム制御部50は、タッチアップ操作が実行されたか否かを判定する(ステップS308)。ステップS308の判定の結果、タッチアップ操作が行われた(ステップS308で「YES」)場合、システム制御部50は、撮像準備が完了しているか否かを判定し(ステップS309)、撮像準備が完了するまで待機する。
ステップS309の判定の結果、撮像準備が完了している(ステップS309で「YES」)場合、システム制御部50は、撮像処理を実行し(ステップS310)、必要に応じて処理をステップS304に戻す。
また、ステップS311の判定の結果、所定のコマンドに対応した特定のタッチ操作でなかった場合、及び、ステップS308の判定の結果、ユーザによるタッチアップ操作がなかった場合、システム制御部50は、いずれも処理をステップS307に戻す。
図3の処理によれば、ユーザによるタッチダウン操作があったときは、そのタッチダウン位置に表示されている被写体に撮像設定条件を適合させてユーザがその撮像設定条件での撮像画像を確認できるようにする。一方、タッチダウン操作に引き続いて特定のタッチ操作があったときは、タッチダウン操作があった前の撮像設定条件を回復させた上で、特定のタッチ操作に対応する所定のコマンドを実行する。これによって、ユーザは、タッチダウン操作によりタッチダウン位置に表示されている被写体に適合するように撮像設定条件を変更するできることに加えて、撮像設定条件を変更することなく特定のタッチ操作によるユーザコマンドの指示を適正に行うことができる。
本実施の形態において、撮像設定条件の回復には、撮像設定条件における特定の設定値を回復させる操作が含まれる。また、撮像設定条件の回復には、撮像設定条件が特定の被写体に適合するように回復させる操作が含まれる。
本実施の形態において、タッチジェスチャー操作は、タッチダウン操作に引き続いて、ユーザが、表示部28のタッチディスプレイにタッチしたままタッチダウン位置を所定の距離以上移動させ、移動の軌跡によって、例えば、円弧を形成する操作をいう。
本実施の形態において、ユーザの操作がタッチダウン操作だけであり、当該タッチダウン操作に引き続いて特定のタッチ操作が行われなかった場合は、タッチダウン位置に表示されている被写体に適合するように撮像設定条件が変更される。
次に、第2の実施の形態について説明する。
図5は、第2の実施の形態に係る撮像装置を用いた撮像処理の手順を示すフローチャートである。本実施の形態に適用されるデジタルカメラの構成は、第1の実施の形態に適用された図1のデジタルカメラと同様であるが、撮像処理の制御手順が異なる。
この撮像処理は、上記実施の形態と同様、デジタルカメラ100のシステム制御部50が不揮発性メモリ56に記録された撮像処理プログラムをシステムメモリ52に展開して当該プログラムを実行することによって実行する。本撮像処理では、ユーザのタッチダウン操作によりタッチダウン位置に表示されている被写体に適合する撮像設定条件に調整し、その被写体が動いていても撮像されている間中、当該被写体に適合するようにフォーカス、露出、ホワイトバランス等の値が変更される。被写体が動いても撮像設定条件をその被写体に合わせ続ける技術は、一般に「動体追尾」と呼ばれている。
図5において、ユーザによってデジタルカメラ100の電源が投入されると、システム制御部50は、所定の撮像設定条件、例えば所定のフォーカス、露出、ホワイトバランス等で撮像を開始する(ステップS501)。撮像設定条件はとしては、例えば、電源切断前に設定されていた条件が回復して用いられる。次いで、システム制御部50は、撮像部22で撮像している映像を表示部(タッチディスプレイ)28に表示する(ステップS502)。図6は、表示部28に表示された表示画面の遷移を示す図である。図6(a)において、表示部28には、飛んでいる鳥や風景等の被写体が表示されており、このとき、フォーカス、露出、ホワイトバランス等の撮像設定条件は飛んでいる鳥に適合している。
次いで、システム制御部50は、ユーザにより動体追尾モードへの変更操作があったか否かを判定する(ステップS503)。ステップS503の判定の結果、動体追尾モードへの変更操作があった(ステップS503で「YES」)場合、システム制御部50は、撮像モードを、いわゆる「動体追尾」モードに変更する(ステップS504)。このとき、ユーザは、追尾対象となる被写体と、動体追尾に切り換えるための、例えばアイコンを連続してタッチすることによって動体追尾モードへの変更操作を行う。
次いで、システム制御部50は、追尾の対象となる被写体の特徴情報をシステムメモリ52に記憶し(ステップS505)、撮像している映像からその特徴情報のある領域を検知する(ステップS506)。被写体の特徴情報としては、例えば、被写体の色差情報などが挙げられる。次いで、システム制御部50は、検知された領域の被写体に適合するようにフォーカス、露出、ホワイトバランス等の値を変更する(ステップS507)。
次いで、システム制御部50は、「動体追尾」モードにおいて、ユーザによるタッチダウン操作があったか否かを判定する(ステップS508)。そして、タッチダウン操作があった(ステップS508で「YES」)場合、システム制御部50はタッチダウン前の指示による第1の被写体の特徴情報とタッチダウン後の指示による第2の被写体の特徴情報をシステムメモリ52に記憶する(ステップS509)。図6(b)は、ユーザによるタッチダウン操作を示している。図6(b)において、ユーザにより表示部の左下付近にタッチダウン操作が行われている。このとき、システム制御部50は、第1及び第2の被写体の特徴情報を記憶させた後、タッチダウン位置に表示されている風景に適合するようにフォーカス、露出、ホワイトバランス等の撮像設定条件を変更する(ステップS510)。
次いで、システム制御部50は、ユーザによるタッチ操作があったか否かを判定する(ステップS511)。すなわち、システム制御部50は、タッチダウン操作に引き続いてタッチ操作があったか否かを判定する。ステップS511の判定の結果、タッチ操作があった(ステップS511で「YES」)場合、システム制御部50は、そのタッチ操作が所定のユーザコマンドに対応付けられた特定のタッチ操作か否かを判定する(ステップS512)。図6(c)は、所定のユーザコマンドに対応付けられた特定のタッチ操作を示すものである。図6(c)において、タッチダウン操作に引き続いて、ユーザにより円を描くようなタッチジェスチャーがなされている。円を描くタッチジェスチャーに対応するコマンドは、例えば、シャッタースピード値の変更である。
ステップS512の判定の結果、所定のコマンドに対応する特定のタッチ操作がなされた(ステップS512で「YES」)場合、システム制御部50は、タッチダウン前に指示されていた撮像設定条件を回復させる(ステップS513)。すなわち、システム制御部50は、被写体の特徴情報をシステムメモリ52から読み出すことにより、移動して位置を変えている鳥にフォーカス、露出、ホワイトバランス等が合うように設定条件を回復させる。なお、所定のユーザコマンドに対応する特定のタッチ操作としては、タッチディスプレイ上で軌跡を描く操作、マルチタッチ操作等が挙げられる。また、所定のユーザコマンドとしては、タッチディスプレイ上で軌跡を描く操作に対応するシャッタースピード値の変更、2点タッチの間隔を広げるような軌跡を描く操作に対応するズーミングアップの他、カラーモードの変更などが挙げられる。
次いで、システム制御部50は、当該回復した撮像設定条件に従い、フォーカス、露出、ホワイトバランス等の値を動体である鳥に適合するように順次変更する(ステップS514)。次いで、システム制御部50は、ユーザによってなされた特定のタッチ操作であるタッチジェスチャーコマンドに対応して、シャッタースピード値の変更を実行し(ステップS515)、その後、処理をステップS506に戻す。
一方、ステップS511の判定の結果、ユーザによるタッチ操作がなかった(ステップS511で「NO」)場合、システム制御部50は、処理をステップS516に進める。すなわち、システム制御部50は、撮像設定条件であるフォーカス、露出、ホワイトバランス等の値を動体である鳥に適合するように順次変更する(ステップS516)。次いで、システム制御部50は、ユーザによりタッチアップ操作がなされたか否かを判定する(ステップS517)。ステップS517の判定の結果、ユーザが、タッチアップ操作を行った(ステップS517で「YES」)場合、システム制御部50は、撮像準備が完了しているか否かを判定し(ステップS518)、撮像準備が完了するまで待機する。そして、ステップS518の判定の結果、撮像準備が完了している(ステップS518で「YES」)場合、システム制御部50は、設定されているフォーカス、露出、ホワイトバランス等の値により撮像処理を実施する(ステップS519)。その後、システム制御部50は、必要に応じて処理をステップS506に戻す。
また、ステップS512の判定の結果、所定のコマンドに対応した特定のタッチ操作でなかった場合、及び、ステップS517の判定の結果、ユーザによるタッチアップ操作がなかった場合、システム制御部50は、いずれも処理をステップS511に戻す。また、ステップS508の判定の結果、ユーザによるタッチダウン操作がなかった(ステップS508で「NO」)場合、システム制御部50は、処理をステップS506に戻す。
図5の処理によれば、動体追尾モードにおいて、ユーザによるタッチダウン操作があったときは、そのタッチダウン位置に表示されている被写体を追尾する撮像設定条件により撮像画像を確認できるようにする。一方、タッチダウン操作に引き続いて特定のタッチ操作があったときは、タッチダウン操作以前に設定されていた被写体を動体追尾する撮像設定条件を回復させた上で、特定のタッチ操作に対応するコマンドを実行する。これによってユーザは、所望の被写体に対して、動体追尾モードを設定した場合、特定のタッチ操作をして所定のコマンドを指示した後も、タッチ操作前と同じ条件の動体追尾モードで被写体にフォーカス等を合わせることができる。
次に、第3の実施の形態について説明する。
図7は、第3の実施の形態に係る撮像装置を用いた撮像処理の手順を示すフローチャートである。本実施の形態に適用されるデジタルカメラの構成は、第1の実施の形態に適用された図1のデジタルカメラと同様であるが、撮像処理の制御手順が異なる。
この撮像処理は、上記実施の形態と同様、デジタルカメラ100のシステム制御部50が不揮発性メモリ56に記録された撮像処理プログラムをシステムメモリ52に展開して当該プログラムを実行することによって実行する。本撮像処理では、ユーザがタッチダウン操作をした後、タッチディスプレイ上で軌跡を描くタッチジェスチャー操作をし、その後、タッチディスプレイから指等を離すタッチアップ操作をしたとする。この場合、タッチダウン操作をした位置に表示されていた第1の被写体とタッチアップ操作をした位置に表示されていた第2の被写体が同じときは、当該被写体に適合する撮像設定条件により撮像処理が行われる。
図7において、電源投入からユーザによるタッチダウン操作があるまでの処理(ステップS701〜S704)は、第1の実施の形態における図3のステップS301〜S304と同様であるため、説明を省略する。
ステップS704の判定の結果、ユーザによるタッチダウン操作があった(ステップS704で「YES」)場合、システム制御部50は、それまでの撮像設定条件をシステムメモリ52に記憶する(ステップS705)。次いで、システム制御部50は、タッチダウン位置の被写体の特徴情報をシステムメモリ52に記憶し(ステップS706)、タッチダウン位置に表示されている被写体に適合するように撮像設定条件を変更する(ステップS707)。
次いで、システム制御部50は、ユーザによるタッチ操作があったか否かを判定する(ステップS708)。そして、ステップS708の判定の結果、タッチ操作があった(ステップS708で「YES」)場合、システム制御部50は、処理をステップS712に進める。すなわち、システム制御部50は、当該タッチ操作がシャッタースピード値変更やカラーモード変更など所定のユーザコマンドに対応付けられた特定のタッチ操作か否かを判定する(ステップS712)。ステップS712の判定の結果、所定のコマンドに対応する特定のタッチ操作である(ステップS712で「YES」)場合、システム制御部50は、処理をステップS713に進める。すなわち、システム制御部50は、タッチ位置に表示されている被写体の特徴情報をステップS706でシステムメモリ52に記憶した被写体の特徴情報と比較し、2つの被写体が同一か否かの同定を行う(ステップS713)。被写体の同定は、各被写体の特徴情報の合致度が所定の値に達したか否かで行う。
ステップS713の判定の結果、比較した2つの特徴情報の合致度が所定の値に達しない場合、システム制御部50は、処理をステップS714に進める。すなわち、システム制御部50は、フォーカス、露出、ホワイトバランス等の撮像設定条件をステップS705でシステムメモリ52に記憶した撮像設定条件に回復させる。特徴情報の合致度が所定の値に達しないときは、タッチ位置に、タッチダウン時と異なる被写体が表示されていることを意味する。従って、システム制御部50は、変更前の撮像設定条件を回復させた(ステップS714)後、当該特定のタッチ操作に対応した所定のコマンドを実行し(ステップS715)、その後、処理をステップS704に戻す。
一方、ステップS713の判定の結果、特徴情報の合致度が所定値以上のとき、換言すれば、タッチ位置に、タッチダウン時と同じ被写体が表示されているとき、システム制御部50は、処理をステップS709に進める。すなわち、システム制御部50は、ユーザによるタッチアップ操作があったか否かを判定する(ステップS709)。ステップS709の判定の結果、タッチアップ操作があった(ステップS709で「YES」)場合、システム制御部50は、撮像準備が完了しているか否かを判定し(ステップS710)、撮像準備が完了するまで待機する。次いで、システム制御部50は、撮像準備が完了した後、撮像処理を実行する(ステップS711)。
また、ステップS708の判定の結果、タッチ操作がなかった(ステップS708で「NO」)場合、及びステップS712の判定の結果、所定のコマンドに対応した特定のタッチ操作でなかった場合、システム制御部50は、処理をステップS709に進める。なお、ステップS709の判定の結果、ユーザによるタッチアップ操作がなかった(ステップS709で「NO」)場合、システム制御部50は、処理をステップS708に戻す。
図7の処理によれば、ユーザによるタッチダウン操作があったときは、タッチダウン位置に表示されている被写体に撮像設定条件を適合させて、ユーザが、設定された撮像設定条件での撮像画像を確認できるようにする。一方、ユーザが被写体の動きに合わせて、被写体が表示されている位置をタッチし続けて移動させた場合は、撮像設定条件を当該被写体に適合させ続け、ユーザによりタッチアップ操作がされたとき、当該被写体に適合した撮像設定条件で撮像処理を実行する。例えば、ユーザが、動き回る子供を撮像しようとしたとき、タッチディスプレイ上の子供を表示している位置をタッチして撮像設定条件を適合させ、子供の動きに合わせてタッチ位置を移動させる。そして、ユーザは、子供がいい表情をしたタイミング、すなわち、シャッターチャンスでタッチアップすると、タッチアップ前の撮像設定条件を回復させることなく、撮像処理が行なわれる。
この場合、タッチ位置の移動により描かれた軌跡がたまたまタッチジェスチャーコマンドに対応するものであっても、当該タッチジェスチャーコマンドの処理は実施されない。すなわち、撮像設定条件の回復、及び、特定のタッチ操作に対応する所定のコマンドの実行はなされない。これによって、ユーザが、タッチダウンした際の被写体をタッチし続けて、そのままタッチアップしたときは、タッチジェスチャー操作をしたときであっても、タッチダウン前の撮像設定条件に変更されることはない。また、その後も、タッチジェスチャー操作に対応したタッチジェスチャーコマンドも実施されないで、撮像処理が行われる。従って、タッチディスプレイ上の被写体をタッチして撮像設定条件を適合させ、その後、当該被写体の動きに合わせてタッチ位置を移動させることにより、動き回る被写体であっても適正な撮像設定条件で撮像することができる。
以上説明したように、上記各実施の形態によれば、ユーザのタッチダウン操作によりフォーカスその他の撮像設定条件をタッチダウン位置の被写体に適合するようにして、ユーザが所望の被写体に適合した画像を即座に視認できるようにすることができる。一方、タッチダウン操作に引き続いて所定のコマンドに対応する特定のタッチ操作がされたときは、撮像設定条件がタッチダウン前の条件に回復される。これによって、ユーザは、タッチダウンによる所望の被写体への撮像設定条件の適合指示と、タッチコマンドの指示とを好適に行うことが可能となる。
また、上述の各実施の形態において、所定のユーザコマンドとして、例示したシャッタースピード変更やズーミングの他、種々のコマンドを特定のタッチ操作と対応付けることができる。コマンドには、フォーカス、露出、ホワイトバランス等の撮像設定条件の変更、フラッシュ強制発行、フラッシュ禁止、自動の選択、タイマー設定ON/OFF、タイマー秒数の設定、中央1点AF、顔優先AF、AiAFの選択等の各種設定処理が含まれる。また、タッチアップしても撮像処理が実施されないようにする撮像準備動作のキャンセルや、タッチアップ前の撮像設定条件の回復を行わないようにすることを特定のタッチ操作に対応したタッチコマンドとすることもできる。
また、上述の各実施の形態では、タッチディスプレイに対する操作で撮像準備動作指示と撮像動作指示を行う場合について説明したが、シャッターボタン61に対する操作によって撮像準備動作指示及び撮像動作指示を行うこともできる。
一方、タッチディスプレイに対する操作のみによっても撮像準備動作指示や撮像動作指以外の各種動作及び設定の指示をすることもできる。従って、デジタルカメラ100を、押しボタン式のシャッターボタン61その他のハードウェア操作部材を具えない構成とすることも可能である。すなわち、上記各実施の形態は、デジタルカメラが通常具えるハードウェア操作部材による操作と組み合わせて適用することも、これらのハードウェア操作部材の一部又は全部を具えない構成に対して適用することも可能である。
また、上述の各実施の形態では、撮像装置がデジタルカメラである場合について説明した。しかしながら、上記実施の形態は、デジタルスチルカメラ、デジタルビデオカメラ、デジタル一眼レフカメラ、携帯情報端末、タブレットPC、携帯電話、その他タッチ操作を検出可能な撮像装置であれば適用が可能である。
さらに本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施の形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合には、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
15 メモリ制御部
22 撮像部
24 画像処理部
28 表示部
32 メモリ
50 システム制御部
52 システムメモリ
56 不揮発性メモリ
61 シャッターボタン
70 操作部
72 電源スイッチ
100 撮像装置(デジタルカメラ)

Claims (12)

  1. 被写体を撮像する撮像手段と、
    前記撮像手段における撮像設定条件を調整する撮像準備手段と、
    ユーザからの指示を受け付けるタッチディスプレイ手段と、
    前記タッチディスプレイ手段に対し、前記ユーザのタッチダウン操作があったときに、前記撮像準備手段に、撮像設定条件の調整を行なわせる制御手段と、
    前記タッチダウン操作に引き続いて特定のタッチ操作がなされたときに、前記撮像準備手段による前記調整が行われる前の撮像設定条件を回復させる回復手段と、
    を有することを特徴とする撮像装置。
  2. 前記回復手段が前記撮像設定条件を回復させた後、前記特定のタッチ操作に対応するコマンドを実行する実行手段を、更に備えることを特徴とする請求項1記載の撮像装置。
  3. 前記撮像設定条件の調整は、前記撮像準備手段が、前記撮像装置に設定されている撮像設定条件を、前記タッチディスプレイ手段における前記タッチダウン操作があった位置に表示されている被写体に適合する撮像設定条件へ変更する条件変更であることを特徴とする請求項1又は2記載の撮像装置。
  4. 前記撮像準備手段は、前記被写体が動体の場合、前記被写体が前記タッチディスプレイ手段に表示されている間中、前記撮像設定条件を前記被写体に適合するように変更することを特徴とする請求項3記載の撮像装置。
  5. 前記タッチダウン操作によって特定される第1の被写体と前記特定のタッチ操作によって特定される第2の被写体とを同定する同定手段を、更に有し、
    前記同定手段による同定の結果、前記第1及び第2の被写体が同じ被写体である場合、前記制御手段は、前記回復手段及び前記実行手段が所定の動作を実行しないように制御することを特徴とする請求項3又は4記載の撮像装置。
  6. 前記撮像設定条件は、フォーカス、露出及びホワイトバランスのうち少なくとも1つであることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記撮像設定条件の回復には、前記撮像設定条件における特定の設定値を回復させること、又は前記撮像設定条件が特定の被写体に適合するように回復させることが含まれることを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 前記特定のタッチ操作は、特定の第1のユーザコマンドに対応するタッチジェスチャー操作又は特定の第2のユーザコマンドに対応するマルチタッチ操作であることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 前記タッチジェスチャー操作は、前記タッチダウン操作に引き続いて、ユーザが、前記タッチディスプレイ手段にタッチしたままタッチダウン位置を所定の距離以上移動させる操作であることを特徴とする請求項8記載の撮像装置。
  10. 被写体を撮像する撮像工程と、
    撮像準備手段が、前記撮像工程における撮像設定条件を調整する撮像準備工程と、
    ユーザからの指示を受け付けるタッチディスプレイ工程と、
    前記タッチディスプレイ工程において、前記ユーザによるタッチダウン操作があったときに、前記撮像準備手段に対し、撮像設定条件の調整を行なわせる制御工程と、
    前記タッチダウン操作に引き続いて特定のタッチ操作がなされたときに、前記撮像準備手段による前記調整が行われる前の撮像設定条件を回復させる回復工程と、
    を有することを特徴とする撮像装置の制御方法。
  11. 撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記撮像装置の制御方法は、
    被写体を撮像する撮像工程と、
    撮像準備手段が、前記撮像工程における撮像設定条件を調整する撮像準備工程と、
    ユーザからの指示を受け付けるタッチディスプレイ工程と、
    前記タッチディスプレイ工程において、前記ユーザによるタッチダウン操作があったときに、前記撮像準備手段に対し、撮像設定条件の調整を行なわせる制御工程と、
    前記タッチダウン操作に引き続いて特定のタッチ操作がなされたときに、前記撮像準備手段による前記調整が行われる前の撮像設定条件を回復させる回復工程と、
    を有することを特徴とするプログラム。
  12. 請求項11記載のプログラムを格納することを特徴とするコンピュータで読み取り可能な記憶媒体。
JP2015001554A 2015-01-07 2015-01-07 撮像装置、その制御方法、及びプログラム、並びに記憶媒体 Active JP6472248B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015001554A JP6472248B2 (ja) 2015-01-07 2015-01-07 撮像装置、その制御方法、及びプログラム、並びに記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015001554A JP6472248B2 (ja) 2015-01-07 2015-01-07 撮像装置、その制御方法、及びプログラム、並びに記憶媒体

Publications (3)

Publication Number Publication Date
JP2016127524A true JP2016127524A (ja) 2016-07-11
JP2016127524A5 JP2016127524A5 (ja) 2018-02-08
JP6472248B2 JP6472248B2 (ja) 2019-02-20

Family

ID=56359849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015001554A Active JP6472248B2 (ja) 2015-01-07 2015-01-07 撮像装置、その制御方法、及びプログラム、並びに記憶媒体

Country Status (1)

Country Link
JP (1) JP6472248B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011193249A (ja) * 2010-03-15 2011-09-29 Canon Inc 撮像装置及びその制御方法
JP2013178520A (ja) * 2013-03-18 2013-09-09 Canon Inc 撮像装置及びその制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011193249A (ja) * 2010-03-15 2011-09-29 Canon Inc 撮像装置及びその制御方法
JP2013178520A (ja) * 2013-03-18 2013-09-09 Canon Inc 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JP6472248B2 (ja) 2019-02-20

Similar Documents

Publication Publication Date Title
US9641744B2 (en) Image pickup apparatus capable of effecting control based on a detected touch operation and its control method
US10911620B2 (en) Display control apparatus for displaying first menu items and second lower level menu items based on touch and touch-release operations, and control method thereof
JP5921427B2 (ja) 撮像制御装置及びその制御方法
US11039073B2 (en) Electronic apparatus and method for controlling the same
JP6667294B2 (ja) 電子機器およびその制御方法
JP6590666B2 (ja) 電子機器およびその制御方法
US11496670B2 (en) Electronic device with display screen capable of reliable detection of a user selected displayed eye region in a scene to be captured, and region selection method
JP2014228629A (ja) 撮像装置、その制御方法、およびプログラム、並びに記憶媒体
JP7341729B2 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP6198459B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体
US9819866B2 (en) Image capturing device, communication apparatus, and controlling method
JP7134025B2 (ja) 撮像制御装置、その制御方法、プログラムおよび記録媒体
JP5575290B2 (ja) 撮像装置及びその制御方法
JP2013017088A (ja) 撮像装置、その制御方法、および制御プログラム、並びに記録媒体
JP6472248B2 (ja) 撮像装置、その制御方法、及びプログラム、並びに記憶媒体
JP7143098B2 (ja) 電子機器及びその制御方法
JP6393296B2 (ja) 撮像装置及びその制御方法、撮像制御装置、プログラム、並びに記憶媒体
JP6188861B2 (ja) 電子機器及びその制御方法
US9088762B2 (en) Image capturing apparatus and control method thereof
JP2015075894A (ja) 表示制御装置及び表示制御装置の制御方法
JP2018132961A (ja) 表示制御装置及び方法
JP6703057B2 (ja) 電子機器、その制御方法、およびそのプログラム
JP2017224325A (ja) 電子機器及びその制御方法
JP2017120942A (ja) 撮像装置
JP2019208182A (ja) 表示制御装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190122

R151 Written notification of patent or utility model registration

Ref document number: 6472248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151