JP2017085497A - 通信装置およびその制御方法、プログラム並びに記憶媒体 - Google Patents

通信装置およびその制御方法、プログラム並びに記憶媒体 Download PDF

Info

Publication number
JP2017085497A
JP2017085497A JP2015214803A JP2015214803A JP2017085497A JP 2017085497 A JP2017085497 A JP 2017085497A JP 2015214803 A JP2015214803 A JP 2015214803A JP 2015214803 A JP2015214803 A JP 2015214803A JP 2017085497 A JP2017085497 A JP 2017085497A
Authority
JP
Japan
Prior art keywords
function
communication
communication device
imaging device
smartphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015214803A
Other languages
English (en)
Other versions
JP2017085497A5 (ja
JP6641156B2 (ja
Inventor
雄一 木下
Yuichi Kinoshita
雄一 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015214803A priority Critical patent/JP6641156B2/ja
Priority to US15/332,322 priority patent/US10063770B2/en
Publication of JP2017085497A publication Critical patent/JP2017085497A/ja
Publication of JP2017085497A5 publication Critical patent/JP2017085497A5/ja
Application granted granted Critical
Publication of JP6641156B2 publication Critical patent/JP6641156B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Abstract

【課題】撮像装置を通信装置に装着して撮影する際に、通信装置の物理的な操作部材を操作して撮影を行うことができる技術を提供する。
【解決手段】撮像装置が装着可能な通信装置200であって、撮像装置と通信可能に接続する接続手段210と、撮像装置が装着されたか否かを判定する判定手段と、物理的に変位する操作部材を含む操作手段213と、撮像装置が装着された状態において、操作部材に割り当てられた機能を撮像装置の撮影に係る機能に切り替え、当該切り替え後の機能に対応する動作を行うように撮像装置を制御する制御手段221と、を有する。
【選択図】図2

Description

本発明は、撮像装置を通信装置により制御する技術に関する。
現在では、携帯電話やスマートフォン(以下、スマートフォンと総称する)とデジタルカメラとを無線接続し、スマートフォンを操作してデジタルカメラをリモートカメラとして遠隔制御することが可能である。また、デジタルカメラをスマートフォンに装着した状態で、デジタルカメラからのライブビュー画像をスマートフォンのタッチパネルディスプレイに表示して撮影を行うことができるデジタルカメラも存在する(特許文献1)。
特開2006−339755号公報
上述のようにデジタルカメラをスマートフォンに装着して撮影を行う場合、ユーザは、デジタルカメラとスマートフォンとを無線接続し、スマートフォンの画面を指等で操作する。この場合、ユーザは、片方の手でスマートフォンを支えながら、もう片方の手でスマートフォンのタッチパネルを操作したり、両手でスマートフォンを支えながら、いずれかの手の指でスマートフォンのタッチパネルを操作する。このようにスマートフォンのタッチパネルを操作して撮影する場合、タッチパネルを指で押す形になるので手振れが発生しやすくなり、また、自然な持ち方でカメラを操作して撮影を行うことができない。また、デジタルカメラをスマートフォンに装着して撮影する際に、スマートフォンのタッチパネルを操作して撮影を行うのではなく、従来のカメラ単体での撮影と同様に物理的な操作部材により撮影を行えることが望ましい。
本発明は、上記課題に鑑みてなされ、その目的は、撮像装置を通信装置に装着して撮影する際に、通信装置の物理的な操作部材を操作して撮影を行うことができる技術を実現することである。
上記課題を解決し、目的を達成するために、本発明の通信装置は、撮像装置が装着可能な通信装置であって、前記撮像装置と通信可能に接続する接続手段と、前記撮像装置が装着されたか否かを判定する判定手段と、物理的に変位する操作部材を含む操作手段と、前記撮像装置が装着された状態において、前記操作部材に割り当てられた機能を前記撮像装置の撮影に係る機能に切り替え、当該切り替え後の機能に対応する動作を行うように前記撮像装置を制御する制御手段と、を有する。
本発明によれば、撮像装置を通信装置に装着して撮影する際に、通信装置の物理的な操作部材を操作して撮影を行うことができるようになる。
本実施形態のデジタルカメラの構成を示すブロック図。 本実施形態のスマートフォンの構成を示すブロック図。 本実施形態のデジタルカメラをスマートフォンに装着して撮影する場合の説明図。 本実施形態のスマートフォンの外観図。 実施形態1の機能割り当て処理を示すフローチャート。 実施形態1の機能割り当てデータの構造を例示する図。 実施形態2の機能割り当て処理を示すフローチャート。 実施形態3の機能割り当てデータを例示する図。
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
[実施形態1]本実施形態は、通信装置の一例として携帯電話の一種であるスマートフォンを、撮像装置の一例としてスマートフォンに装着可能なデジタルカメラを用いて説明する。本実施形態では、スマートフォンとデジタルカメラとが通信可能に接続されてデジタルカメラを遠隔制御するリモートカメラシステムを例に説明する。また、本実施形態では、通信装置としてスマートフォンを想定しているが、デジタルカメラが装着可能かつ操作可能な装置であれば、例えば、携帯型のメディアプレーヤ、タブレット端末、パーソナルコンピュータなどにも適用可能である。
<デジタルカメラ100の構成>図1を参照して、本発明に係る実施形態のデジタルカメラ100の構成および機能の概略について説明する。
図1において、撮影レンズ102はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター103は絞り機能を備える。撮像部104は光学像を電気信号に変換するCCDやCMOS等で構成される撮像素子である。A/D変換器105は、撮像部104から出力されるアナログ信号をデジタル信号に変換する。バリア101は、デジタルカメラ100の、撮影レンズ102を含む撮像系を覆うことにより、撮影レンズ102、シャッター103、撮像部104を含む撮像系の汚れや破損を防止する。
画像処理部111は、A/D変換器105からのデータ、又は、メモリ制御部108からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部111では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部121が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部111ではさらに、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
A/D変換器105からの出力データは、画像処理部111及びメモリ制御部108を介して、或いは、メモリ制御部108を介してメモリ109に直接書き込まれる。メモリ109は、撮像部104によって得られ、A/D変換器105によりデジタルデータに変換された画像データを格納する。メモリ109は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。
不揮発性メモリ124は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ124には、システム制御部121の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部121は、デジタルカメラ100全体を制御する。前述した不揮発性メモリ124に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ123は、RAMが用いられる。システムメモリ123には、システム制御部121の動作用の定数、変数、不揮発性メモリ124から読み出したプログラム等を展開する。
システムタイマー122は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ115、第1シャッタースイッチ119、第2シャッタースイッチ120、操作部113はシステム制御部121に各種の動作指示を入力するための操作手段である。
モード切替スイッチ115は、システム制御部121の動作モードを静止画撮影モード、動画記録モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ115で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ115で静止画撮影モードに一旦切り替えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画記録モードにも複数のモードが含まれていてもよい。
第1シャッタースイッチ119は、デジタルカメラ100に設けられたシャッターボタン114の操作途中、いわゆる半押し(撮像準備指示)でオンとなり、第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF処理、AE処理、AWB処理、EF処理等の動作を開始する。
第2シャッタースイッチ120は、シャッターボタン114の操作完了、いわゆる全押し(撮像指示)でオンとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部121は、第2シャッタースイッチ信号SW2により、撮像部104からの信号読み出しから記録媒体128に画像データを書き込むまでの一連の撮影処理の動作を開始する。
電源制御部117は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部117は、その検出結果及びシステム制御部121の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体128を含む各部へ供給する。
電源部118は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、リチウムイオン電池等の二次電池、ACアダプタ等からなる。記録媒体I/F127は、メモリーカードやハードディスク等の記録媒体128とのインターフェースである。記録媒体128は、撮影された画像を記録するためのメモリーカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信I/F110は、インターネット等のネットワーク112に接続された外部機器と各種データの送受信を行うインターフェースである。一例として、無線LANやBluetooth(登録商標)や近距離無線通信(Near Field Communication:NFC)などの無線インターフェースが用いられる。また、USBなどの有線インターフェースを用いてもよい。通信I/F110はネットワーク112を介して、撮像部104で撮像された画像(ライブビュー映像を含む)や記録媒体128に記録された画像ファイルを外部機器に送信でき、また、外部機器から各種コマンドその他の情報を受信できる。本実施形態では、スマートフォン200との通信を通信I/F110を介して行うものとする。
音声出力部125は、スピーカを備え、セルフタイマーのカウントダウン音やシャッターの開閉に合わせたシャッター音その他の操作音、動画再生時の動画の音声などを発音する。
発光部126は、LED(発光ダイオード)などを備える。発光部126は、所定の発光/非発光のパターンによって被写体にデジタルカメラ100の動作状態(例えば、セルフタイマーのカウントダウン中や撮影の開始/終了など)を通知したり、被写体を照明するために閃光するストロボ機能を備える。発光部126は被写体側から視認できるようにカメラ前面(被写体側、撮像面側)に配置されている。
姿勢検知部129は、重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部129で検知された姿勢に応じて、撮像部104で撮像された画像がデジタルカメラ100を横に構えて撮影されたものか、縦に構えて撮影されたものかを判別可能である。システム制御部121は、姿勢検知部129で検知された姿勢に関する情報を撮像部104で撮像された画像データに付加したり、画像データを回転して記憶することが可能である。姿勢検知部129としては、加速度センサ、ジャイロセンサ、重力センサ、回転ベクトルセンサ等を用いることができる。
本実施形態のデジタルカメラ100は、スマートフォン200に装着するためのアタッチメント150(図3参照)を有する。デジタルカメラ100をスマートフォン200に装着した状態で、スマートフォン200の物理ボタンを操作することで、撮影動作やズーム動作、ライブビュー画像表示などのデジタルカメラ100による撮影に係る機能を実行することができる。
なお、ハードウェアの構成は図1に示すものに限定されず、例えば1つのハードウェアが通信制御、撮影制御、画像処理制御等を行い、デジタルカメラ100の各手段として機能してもよい。また、複数のハードウェアが協働して1つの手段として機能してもよい。
<スマートフォン200の構成>次に、図2を参照して、本発明に係る実施形態のスマートフォン200の構成および機能の概略について説明する。
本実施形態のスマートフォン200は、上述したデジタルカメラ100と略同様の構成および機能を備えている。よって、図2では、デジタルカメラ100と同様の構成要素については3桁目の符号を2(200番台)とし、デジタルカメラ100と異なる点を中心に説明を行う。
本実施形態のスマートフォン200は、アプリケーションをインストールすることで、種々の機能を実行することができるものとする。スマートフォン用のアプリケーションの中には市販のデジタルカメラを遠隔制御できる機能を提供するものがあり、本実施形態もこのようなアプリケーションを用いる。詳細は後述する。
本実施形態のスマートフォン200は、マイクなどの音声入力部230を備え、音声出力部225および音声入力部230を介して他の通信機器のユーザと会話することが可能となる。
通信I/F210は、図1の通信I/F110に対応するものであり、デジタルカメラ100との通信を行う。公衆回線I/F231は、電話回線等の公衆網232を介して音声データを送受信することで通話が可能となる。
また、スマートフォン200は、バリア201、撮影レンズ202、シャッター203、撮像部204からなる単一のカメラモジュール(以下、ローカルカメラモジュール)を内蔵し、表示部207とは反対側の筐体面に取り付けられる。ローカルカメラモジュールは主としてスマートフォン200を保持するユーザが、他の被写体を撮影するために用いられる。なお、上記ローカルカメラモジュールは必ずしも1つでなくともよい。特に、表示部207と同じ面にさらにローカルカメラモジュールを取り付けてもよい。表示部207とは反対側の筐体面に取り付けられたローカルカメラモジュールは、主として風景や他人などの撮影に用いられる。これに対し、特に表示部207と同じ面に取り付けられたローカルカメラモジュールは、主にスマートフォン200のユーザを撮影するために用いられる。
メモリ209は、撮像部204によって得られ、A/D変換器205によりデジタルデータに変換された画像データや、表示部207に表示するための画像データを格納する。メモリ209は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。
また、メモリ209は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器206は、メモリ209に格納されている画像表示用のデータをアナログ信号に変換して表示部207に供給する。こうして、メモリ209に書き込まれた表示用の画像データはD/A変換器206を介して表示部207により表示される。表示部207は、LCD等の表示器上に、D/A変換器206からのアナログ信号に応じた表示を行う。A/D変換器205によって一旦A/D変換され、メモリ209に蓄積されたデジタル信号をD/A変換器206においてアナログ変換し、表示部207に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。なお、スルー画像を言い換えるとライブビュー画像、スルー画像表示を言い換えるとライブビューであるものとする。
そして、システム制御部221はメモリ209、D/A変換器206、表示部207等を制御することにより表示制御を行う。
操作部213の各操作部材は、表示部207に表示される種々の機能アイコンを選択操作することなどにより、シーンごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部207に表示される。ユーザは、表示部207に表示されたメニュー画面を用いて直感的に各種設定を行うことができる。
不揮発性メモリ224には、システム制御部221の動作用の定数、プログラム、カメラアプリケーション等が記憶される。なお、不揮発性メモリ224には、ローカルカメラモジュールで撮影を行うためのプログラムが格納され、アプリケーションとしてインストールされているものとする(以下、ローカルカメラアプリケーション)。ローカルカメラアプリケーションは、一般的にスマートフォン200のOS標準のアプリケーションとしてプリインストールされていることが多いが、ユーザが事後的にインストールするようにしてもよい。さらに、不揮発性メモリ224には、デジタルカメラ100と通信するためのプログラムが格納され、アプリケーションとしてインストールされているものとする(以下、リモートカメラアプリケーション)。リモートカメラアプリケーションは、一般的にデジタルカメラ100の提供元がデジタルカメラ100に合わせて作成し、インターネットなどを介して配信することが多い。なお、本実施形態のスマートフォン200によるカメラ制御は、リモートカメラアプリケーションにより提供されるプログラムを読み込むことにより実現される。なお、リモートカメラアプリケーションはスマートフォン200にインストールされたOSの基本的な機能を利用するためのプログラムを有しているものとする。したがって、本実施形態のカメラ制御は、スマートフォン200のOSが一部の処理を担う場合もある。なお、本実施形態ではリモートカメラアプリケーションとローカルカメラアプリケーションを別のアプリケーションとして説明したが、1つアプリケーションが両者の機能を有していてもよい。また、リモートカメラアプリケーションとローカルカメラアプリケーションの少なくとも1つの機能を、スマートフォン200のOS自身が有していてもよい。
操作部213は、表示部207に対する接触を検知可能なタッチパネルを含み、ユーザが表示部207上に表示された画面を直接的に操作可能であるかのようなGUIを構成することができる。システム制御部221は、ユーザがタッチパネルにタッチしたことを検知し、タッチ位置に応じた処理を実行する。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。
システム制御部221は、タッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと(以下、タッチダウン)。タッチパネルを指やペンで触れている状態であること(以下、タッチオン)。タッチパネルを指やペンで触れたまま移動していること(以下、スライド)。タッチパネルへ触れていた指やペンを離したこと(以下、タッチアップ)。タッチパネルに何も触れていない状態(以下、タッチオフ)。これらの操作や、タッチパネル上に指やペンが触れている位置座標はシステム制御部221に通知され、システム制御部221は通知された情報に基づいてタッチパネル上にどのような操作が行われたかを判定する。タッチダウンされてからスライドを行わずに所定時間内にタッチアップをしたとき、タップが行われたこととする。タップは一瞬だけタッチパネルをタッチする操作であり、項目の指定やボタンの押下など、マウスでいうクリックと同等の操作として用いられることが多い。タッチパネル上をタッチダウンから一定のスライドを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でスライドしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定できる。また、所定距離以上を、所定速度未満でスライドしたことが検出された場合はドラッグが行われたと判定するものとする。
<ユースケースの説明>次に、図3を参照して、本実施形態のデジタルカメラ100をスマートフォン200に装着して撮影する場合について説明する。
本実施形態では、図3(a)に示すように、ユーザがデジタルカメラ100をスマートフォン200に装着して撮影を行うケースを想定している。スマートフォン200は、デジタルカメラの撮像部104を動作させるよう制御し、表示部207にライブビュー画像を表示する。このようにデジタルカメラ100をスマートフォン200に装着して撮影することで、実際にはリモート撮影を行っているにもかかわらず、ユーザはスマートフォン200に内蔵されたカメラでの撮影と同じ感覚で撮影を行うことが可能となる。
図3(a)のようにデジタルカメラ100をスマートフォン200に装着した状態では、デジタルカメラ100とスマートフォン200は通信I/F110と通信I/F210を介して無線接続されたシステムを構成している。スマートフォン200は、通信I/F110および通信I/F210を介して外部機器としてのデジタルカメラ100と通信を行い、デジタルカメラ100の撮像部104を動作させるよう制御する。
図3では、スマートフォン200の表示部207にデジタルカメラ100で撮像されたライブビュー画像が表示されている。ユーザは、図4で後述するスマートフォン200の物理ボタン400〜405を操作することにより、デジタルカメラ100に撮影に係る機能を実行させるためのコマンドを送信する。なお、本実施形態では特に言及しない限り、デジタルカメラ100は、無線接続されて遠隔から制御可能なリモートカメラの一種として説明する。リモートカメラをスマートフォン200に装着して使用するユースケースでは、ユーザはあたかも高機能な内蔵カメラを使用する感覚で撮影を行うことが可能となる。スマートフォン200に内蔵されたカメラの代わりに高機能な外部カメラを使用するユースケースでは、スマートフォン200に装着可能なリモートカメラが使用されることが多いと言える。
図3(b)、(c)は、図3(a)のようにスマートフォン200にデジタルカメラ100を装着した状態でユーザが撮影を行っている様子を例示している。本実施形態では、デジタルカメラ100がスマートフォン200に装着された状態で、スマートフォン200の物理的に変位するボタンやスイッチなどの操作部材(以下、物理ボタンともいう)に装着前に割り当てられていた機能を、デジタルカメラ100による撮影に係る機能に切り替えることが可能である。図3(b)では、ユーザは、デジタルカメラ100が装着されたスマートフォン200の物理ボタンにより撮影に係る機能を実行するための操作が行え、より自然な持ち方でカメラを操作して撮影を行うことができる。
デジタルカメラ100がスマートフォン200に装着されたことを検出する方法としては、例えば以下の方法がある。
(1)近距離無線通信(NFC)を利用してスマートフォン200とデジタルカメラ100との接触を検出することで装着状態と判定する。
(2)Bluetooth(登録商標)や無線LANなどの無線通信の受信信号強度などの通信状態から、スマートフォン200とデジタルカメラ100との距離を算出して閾値よりも近接したと判定することで装着状態と判定する。
(3)内蔵カメラの映像を解析し、デジタルカメラ100の装着によって内蔵カメラが塞がれて内蔵カメラの映像が遮断されたとき、あるいは、デジタルカメラ100が装着されたスマートフォン200の筐体をユーザがグリップとして使用することで内蔵カメラが手で塞がれて内蔵カメラの映像が遮断されたとき、あるいは、デジタルカメラ100を装着する際に、内蔵カメラの映像にデジタルカメラ100が映し出されたときに装着状態と判定する。
(4)内蔵カメラの映像とデジタルカメラ100の映像を解析して同じ被写体を捉えていると判定したときに装着状態と判定する。
(5)デジタルカメラ100のアタッチメントにスマートフォン200に装着したことを検出する物理的スイッチを設け、そのスイッチがオンしたときに装着状態と判定する。
上記のような装着判定手段を設け、スマートフォン200のカメラアプリケーションによって操作部材に割り当てられた機能を、デジタルカメラ100による撮影に係る機能に切り替える。このようにすることで、ユーザはより自然な持ち方でカメラを操作して撮影を行うことができる。
なお、自然な持ち方でカメラを操作して撮影を行う際に、図3(b)のようにユーザがスマートフォン200を構えている状況では、親指などがスマートフォン200のタッチパネルに接触して意図しない操作を行ってしまう場合がある。このため、タッチパネルへのタッチ操作を無効とする設定をリモートカメラアプリケーションに設けてもよい。
<スマートフォン200の外観構成>次に、図4を参照して、スマートフォン200に設けられた物理的に変位する押しボタン式の操作部材としての物理ボタンを含む外観構成について説明する。
スマートフォン200の筐体における左側の側面部には音量を調節するボリューム大ボタン400とボリューム小ボタン401を含むボリュームボタンが配置されている。また、スマートフォン200の筐体における正面部の表示部207の下部には、画面遷移や機能のキャンセルに使用する戻るボタン402、スマートフォン200で動作するオペレーティングシステム(OS)のホーム画面に遷移するホームボタン403、メニュー画面の表示を行うメニューボタン404が配置されている。また、スマートフォン200の筐体における右側の側面部には、電源ボタン405が配置されている。
<機能割り当て処理>次に、図5を参照して、スマートフォン200にデジタルカメラ100を装着した状態で、スマートフォン200の物理ボタンにデジタルカメラ100の撮影に係る機能を割り当てる処理について説明する。
なお、図5の処理は、スマートフォン200の不揮発性メモリ224に格納されたプログラムを、システムメモリ223に読み出してシステム制御部221が実行することにより実現する。後述する図7も同様である。
また、図5(a)の処理は、スマートフォン200のリモートカメラアプリケーションが起動され、スマートフォン200とデジタルカメラ100との無線接続が確立されると開始される。本実施形態におけるデジタルカメラ100とスマートフォン200の無線接続は無線LANを利用するものとし、デジタルカメラ100が簡易アクセスポイントとして動作する無線LANを一例として説明する。なお、簡易アクセスポイント以外の接続形態としては、無線LANルータを利用して接続する形態やBluetooth(登録商標)を利用して接続する形態でもよい。
ステップS501では、システム制御部221は、図6(a)に示すようなスマートフォン200の物理ボタンの機能割り当てデータが、不揮発性メモリ224または記録媒体228に記憶されているか否かを判定する。判定の結果、スマートフォン200に記憶されていない場合にはステップS502に進み、既に記憶されている場合にはステップS504に進む。なお、機能割り当てデータは、ファイル形式で不揮発性メモリ224または記録媒体228に格納されるものとし、システム制御部221は、不揮発性メモリ224または記録媒体228における機能割り当てデータファイルの有無を検出する。
ここで、図6(a)を参照して、本実施形態のスマートフォン200のリモートカメラアプリケーションが参照する物理ボタンの機能割り当てデータの構成について説明する。
機能割り当てデータは、スマートフォン200のモデルごとに、物理ボタンが操作されたときにOSから通知される操作イベントと、デジタルカメラ100の撮影に係る動作を制御する機能イベントおよびコマンドとが対応づけられたデータ構造となっている。この機能割り当てデータは、リモートカメラアプリケーションのインストール時に不揮発性メモリ224または記録媒体228にファイルとして保存されるものとする。他の実施形態として、スマートフォン200のOSが機能割り当てデータを管理するようにしてもよい。
図5(a)に戻り、ステップS502では、システム制御部221は、通信I/F210を介して接続された外部機器やネットワーク112を介してアクセス可能なサーバなどに機能割り当てデータが存在するか否かを判定する。そして、外部に機能割り当てデータが存在する場合はステップS503に進み、存在しない場合は処理を終了する。
ステップS503では、システム制御部221は、通信I/F210を介して外部機器やネットワーク112から機能割り当てデータを取得する。
ステップS504では、システム制御部221は、不揮発性メモリ224または記録媒体228から機能割り当てデータを読み込み、リモートカメラアプリケーションが参照可能にメモリ224に展開する。
次に、図5(b)を参照して、スマートフォン200の物理ボタンに、機能割り当てデータに応じたデジタルカメラ100による撮影に係る機能を割り当てる処理について説明する。なお、図5(b)の処理は、図5(a)のステップS504において機能割り当てデータを読み込んだ状態から開始される。
ステップS511では、システム制御部221は、図3で説明したようにスマートフォン200にデジタルカメラ100が装着されたか否かを判定し、装着されている場合はステップS512へ進み、装着されていない場合はステップS515へ進む。
ステップS512では、システム制御部221は、スマートフォン200の物理ボタンが操作されたことによりリモートカメラアプリケーションが物理ボタンの操作イベントをOSから受信したか否かを判定する。判定の結果、操作イベントを受信した場合はステップS513へ進み、受信しなかった場合はステップS515へ進む。
ステップS513では、システム制御部221は、物理ボタンの操作イベントと機能割り当てデータとに基づいて、物理ボタンに割り当てられていた機能を、図6(a)に示す機能割り当てデータに従いデジタルカメラ100の撮影に係る機能に切り替える。なお、ステップS513では、システム制御部221は、スマートフォン200の物理ボタンの操作イベントをOS側には応答しないで無効操作として処理を行う。
ステップS514では、システム制御部221は、スマートフォン200で動作するリモートカメラアプリケーションは、物理ボタンに新たに割り当てられた撮影に係る動作を制御する機能イベントおよびコマンドを、デジタルカメラ100へ通知する。
ステップS515では、システム制御部221は、スマートフォン200に装着されたデジタルカメラ100との通信が切断されたか否かを判定し、通信が継続している場合はステップS511へ戻り、通信が切断された場合は処理を終了する。
本実施形態では、スマートフォン200の物理ボタンの機能の割り当ては図6(a)に示す機能割り当てデータに基づいて変更される例を説明した。他の例として、機能の割り当てをユーザがマニュアル操作で設定できるような機能をリモートカメラアプリケーションに設けてもよい。
図6(a)に示す例では、機能割り当てデータは、スマートフォン200が「Aフォン」というモデルの場合、ユーザがボリューム大ボタン400を操作すると、OSからボリューム大ボタンの操作イベントがリモートカメラアプリケーションへ通知される。リモートカメラアプリケーションは、図6(a)に示す機能割り当てデータを参照して、OSから受けた操作イベントに対応する機能イベントおよびコマンドに変換して、デジタルカメラ100へ通知する。なお、図6(a)では、デジタルカメラ100の撮影に係る機能として、撮影動作やズーム動作、画像確認などを例示しているが、これに限らず、例えば、オートフォーカス動作や構図決定、動画記録の開始/終了その他の機能であってもよい。
[実施形態2]以下、実施形態2について説明する。
本実施形態は、撮影時にデジタルカメラ100が装着されたスマートフォン200を被写体に向けて構えた場合に、ユーザの持ち手によって物理ボタンの位置が上下反対などに変更されると、自然な持ち方でカメラを操作して撮影を行うことができなくなるという課題に着目したものである。このような課題を解決するため、本実施形態では、スマートフォン200の姿勢に関する情報と機能割り当てデータとに基づいて、ユーザの持ち手により物理ボタンの機能の割り当てを変更するものである。
<機能割り当て処理>
図7は、実施形態2のスマートフォン200による物理ボタンの機能割り当て処理を示している。
なお、図7のステップS701、S702、S705〜S707の処理は、図5(b)のステップS511〜S515と同様であるため説明を省略し、相違点を中心に説明する。
ステップS703では、システム制御部221は、姿勢検知部229により検出されたスマートフォン200の姿勢に関する情報からスマートフォン200の姿勢が変更されたか否かを判定する。判定の結果、姿勢が変更された場合はステップS704に進み、変更されない場合はステップS705に進む。
ステップS704では、システム制御部221は、図6(b)に示すユーザの持ち手に応じた機能割り当てデータが存在するか否かを確認する。そして、データが存在する場合は、不揮発性メモリ224または記録媒体228から機能割り当てデータを読み込み、リモートカメラアプリケーションが参照可能にメモリ224に展開する。また、図6(b)に示すユーザの持ち手に応じた機能割り当てデータが存在しない場合は、通信I/F210を介して外部機器やネットワーク112に接続されたサーバなどから機能割り当てデータを取得する。その後、ステップS705以降の処理を実行する。
<機能割り当てデータ>
図6(b)は、図6(a)の機能割り当てデータに対して、スマートフォン200のモデルごとにユーザの持ち手(スマートフォンの姿勢)の違いに応じて割り当てる機能を加えたものである。ユーザの持ち手は、例えば、以下の4つの状態がある。
・ユーザがスマートフォン200の左側面を上側にして構える場合(図3(b)のように、スマートフォン200におけるボリューム大/小ボタン400、401が上方に位置する状態)
・ユーザがスマートフォン200の右側面を上側にして構える場合(図3(c)のように、スマートフォン200における電源ボタン405が上方に位置する状態)
・スマートフォン200を正面に構えた状態(つまり、図4のスマートフォン200におけるボタン402〜404が下部に位置する状態)
・スマートフォン200を正面に向けかつ上下反対にして構えた状態(つまり、図4のスマートフォン200におけるボタン402〜404が上部に位置する状態)
システム制御部221は、姿勢検知部229により得られたスマートフォン200の姿勢に関する情報からユーザの持ち手の状態を判定する。リモートカメラアプリケーションは、ユーザの持ち手の状態に基づいて、図6(b)に示す機能割り当てデータを参照して、物理ボタンに割り当てられていた機能を、図6(b)の機能割り当てデータに従いデジタルカメラ100による撮影に係る機能に切り替える。そして、リモートカメラアプリケーションは、物理ボタンに新たに割り当てられた機能に対応するコマンドに変換し、スマートフォン200に装着されたデジタルカメラ100へ通知する。
[実施形態3]以下、実施形態3について説明する。
上記実施形態1、2で説明したユースケースは、スマートフォン200の物理ボタンの機能をデジタルカメラ100による撮影に係る機能に切り替えるものであった。上記各実施形態では、予めユーザがスマートフォン200を構えて撮影する際に最適と考えられる機能を物理ボタンに割り当てるものである。しかしながら、ユーザは、スマートフォン200の内蔵カメラを使用して撮影する場合(OS標準のローカルカメラアプリケーションを使用する場合)と同様の操作方法で物理ボタンを操作して撮影する方が違和感を受けずに撮影できる場合がある。
そこで、本実施形態では、デジタルカメラ100が装着されたスマートフォン200を操作して撮影を行う場合に、スマートフォン200のローカルカメラモジュールを使用して撮影するときと同様の機能を物理ボタンに割り当てるものである。
<機能割り当て処理>
本実施形態では、図5(a)のステップS504において機能割り当てデータを読み込む際に、ローカルカメラアプリケーションにスマートフォン200の物理ボタンの機能割り当てに従う設定であった場合、図8に示す機能割り当てデータを読み込む。また、図5(b)のステップS513において、スマートフォン200のOSのバージョンも判定することで、ローカルカメラアプリケーションと同様の撮影に係る機能をユーザに提供できるようになる。
<機能割り当てデータ>
図8は、スマートフォン200のモデルごとに、スマートフォン200の内蔵カメラを制御するローカルカメラアプリケーションの物理ボタンの機能割り当てと同様のデータ構成である。図8に示す機能割り当てデータでは、OSのバージョンによって物理ボタンの機能の割り当てが変更された場合であって対応できるように、OSのバージョンの違いも機能割り当てデータに反映された構成となっている。
システム制御部221は、OSのバージョンを判定する。リモートカメラアプリケーションは、OSのバージョンに基づいて、図8に示す機能割り当てデータを参照して、物理ボタンに割り当てられた機能に対応するコマンドに変換してスマートフォン200に装着されたデジタルカメラ100へ通知する。
なお、本実施形態では図8のような機能割り当てデータを用いない方法も考えられる。例えばスマートフォン200のOSまたはローカルカメラアプリケーションは、物理ボタンをローカルカメラアプリケーションのどの機能に割り当てているかの機能割り当て情報を保持していることが多い。したがって、リモートカメラアプリケーションは、スマートフォン200のOSまたはローカルカメラアプリケーションから、機能割り当てに関する情報を取得し、機能割り当てデータとして用いればよい。この方法であれば、機種やOSのバージョンをリモートカメラアプリケーションが判断することなく、現在使用しているスマートフォンに合わせた機能割り当てが可能となる。
上述した各実施形態によれば、デジタルカメラ100をスマートフォン200に装着して撮影する際に、スマートフォンの物理ボタンを操作して撮影できるので、ユーザはより自然な持ち方でカメラを操作して撮影を行うことができるようになる。
[他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100…デジタルカメラ、104…撮像部、110…通信I/F、113…操作部、121…システム制御部、200…スマートフォン、204…撮像部、210…通信I/F、213…操作部、221…システム制御部

Claims (15)

  1. 撮像装置が装着可能な通信装置であって、
    前記撮像装置と通信可能に接続する接続手段と、
    前記撮像装置が装着されたか否かを判定する判定手段と、
    物理的に変位する操作部材を含む操作手段と、
    前記撮像装置が装着された状態において、前記操作部材に割り当てられた機能を前記撮像装置の撮影に係る機能に切り替え、当該切り替え後の機能に対応する動作を行うように前記撮像装置を制御する制御手段と、を有することを特徴とする通信装置。
  2. 前記接続手段は、前記撮像装置と無線による通信を行う通信手段を有し、
    前記判定手段は、前記撮像装置との通信状態から前記通信装置に装着されたか否かを判定することを特徴とする請求項1に記載の通信装置。
  3. 前記撮像装置を前記通信装置に装着する装着手段を更に有し、
    前記装着手段は、前記通信装置に装着された状態で物理的に変位するスイッチを有し、
    前記判定手段は、前記スイッチの状態から前記通信装置に装着されたか否かを判定することを特徴とする請求項1に記載の通信装置。
  4. 前記操作部材ごとに前記撮像装置の撮影に係る機能が対応づけられた機能割り当てデータを記憶する記憶手段を更に有し、
    前記制御手段は、前記記憶手段に前記機能割り当てデータが存在しない場合に、通信手段を介して外部から当該機能割り当てデータを取得し、
    前記操作部材が操作された場合に、前記機能割り当てデータを参照して当該操作部材に割り当てられた機能を前記撮像装置の撮影に係る機能に変換し、変換した機能を実行させるためのコマンドを前記撮像装置に通知することを特徴とする請求項1乃至3のいずれか1項に記載の通信装置。
  5. 前記機能割り当てデータは、前記通信装置のモデルごとに、前記操作部材の機能と、前記撮像装置の撮影に係る機能およびコマンドとが対応づけられたデータ構造を有することを特徴とする請求項4に記載の通信装置。
  6. 前記撮像装置の姿勢に関する情報を取得する姿勢検知手段を更に有し、
    前記機能割り当てデータは、前記通信装置のモデルごとに、前記撮像装置の姿勢に応じた前記操作部材の機能と、前記撮像装置の撮影に係る機能およびコマンドとが対応づけられたデータ構造を有することを特徴とする請求項4に記載の通信装置。
  7. 前記姿勢に関する情報は、前記通信装置の左側面が上方に位置する状態と、前記通信装置の右側面が上方に位置する状態と、前記通信装置を正面に向けた状態と、前記通信装置を正面に向けかつ上下反対にした状態を含むことを特徴とする請求項6に記載の通信装置。
  8. 前記機能割り当てデータは、前記通信装置のモデルごとに、前記通信装置のオペレーティングシステムに応じた前記操作部材の機能と、前記撮像装置の撮影に係る機能およびコマンドとが対応づけられたデータ構造を有することを特徴とする請求項4に記載の通信装置。
  9. 画像を撮像する撮像手段を更に有し、
    前記制御手段は、前記撮像手段を制御するときと同様の機能を前記操作部材に割り当てることを特徴とする請求項1乃至8のいずれか1項に記載の通信装置。
  10. 前記操作部材は、ボリュームボタン、電源ボタン、戻るボタン、ホームボタンおよびメニューボタンの少なくともいずれかを含むことを特徴とする請求項1乃至9のいずれか1項に記載の通信装置。
  11. 前記ボリュームボタンおよび前記電源ボタンは、前記通信装置の異なる側面部に設けられ、前記戻るボタン、前記ホームボタンおよび前記メニューボタンは、前記通信装置の正面部に設けられていることを特徴とする請求項10に記載の通信装置。
  12. 前記撮影に関する機能は、少なくとも撮影動作、ズーム動作、およびオートフォーカス動作の少なくともいずれかを含むことを特徴とする請求項1乃至11のいずれか1項に記載の通信装置。
  13. 撮像装置と通信可能に接続する接続手段と、物理的に変位する操作部材を含む操作手段とを有し、撮像装置が装着可能な通信装置の制御方法であって、
    前記撮像装置が装着されたか否かを判定する工程と、
    前記撮像装置が装着された状態において、前記操作部材に割り当てられた機能を前記撮像装置の撮影に係る機能に切り替え、当該切り替え後の機能に対応する動作を行うように前記撮像装置を制御する工程と、を有することを特徴とする制御方法。
  14. コンピュータを、請求項1乃至12のいずれか1項に記載された通信装置の各手段として機能させるためのプログラム。
  15. コンピュータを、請求項1乃至12のいずれか1項に記載された通信装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2015214803A 2015-10-30 2015-10-30 通信装置およびその制御方法、プログラム並びに記憶媒体 Active JP6641156B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015214803A JP6641156B2 (ja) 2015-10-30 2015-10-30 通信装置およびその制御方法、プログラム並びに記憶媒体
US15/332,322 US10063770B2 (en) 2015-10-30 2016-10-24 Communication apparatus and method of controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015214803A JP6641156B2 (ja) 2015-10-30 2015-10-30 通信装置およびその制御方法、プログラム並びに記憶媒体

Publications (3)

Publication Number Publication Date
JP2017085497A true JP2017085497A (ja) 2017-05-18
JP2017085497A5 JP2017085497A5 (ja) 2018-11-29
JP6641156B2 JP6641156B2 (ja) 2020-02-05

Family

ID=58637529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015214803A Active JP6641156B2 (ja) 2015-10-30 2015-10-30 通信装置およびその制御方法、プログラム並びに記憶媒体

Country Status (2)

Country Link
US (1) US10063770B2 (ja)
JP (1) JP6641156B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050703A (ja) * 2001-08-03 2003-02-21 Fuji Photo Film Co Ltd 携帯型通信装置および携帯型電子装置ならびにそれらの動作制御方法
JP2010246009A (ja) * 2009-04-09 2010-10-28 Canon Inc ファームウェアのアップデートが可能なカメラ
JP2014078874A (ja) * 2012-10-11 2014-05-01 Nec Casio Mobile Communications Ltd 端末装置
WO2015072201A1 (ja) * 2013-11-14 2015-05-21 ソニー株式会社 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法、撮像装置の制御方法およびプログラム
JP2015154164A (ja) * 2014-02-12 2015-08-24 株式会社ニコン 電子機器、撮像装置、プログラム、及び電子機器システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3816748B2 (ja) * 2000-12-27 2006-08-30 富士通株式会社 情報処理装置
JP4504873B2 (ja) 2005-05-31 2010-07-14 富士フイルム株式会社 カメラシステム、本体アダプタおよびヘッドアダプタ
US9185248B2 (en) * 2012-02-29 2015-11-10 Blackberry Limited Method and device for sharing a camera feature

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050703A (ja) * 2001-08-03 2003-02-21 Fuji Photo Film Co Ltd 携帯型通信装置および携帯型電子装置ならびにそれらの動作制御方法
JP2010246009A (ja) * 2009-04-09 2010-10-28 Canon Inc ファームウェアのアップデートが可能なカメラ
JP2014078874A (ja) * 2012-10-11 2014-05-01 Nec Casio Mobile Communications Ltd 端末装置
WO2015072201A1 (ja) * 2013-11-14 2015-05-21 ソニー株式会社 情報処理装置、撮像装置、撮像システム、情報処理装置の制御方法、撮像装置の制御方法およびプログラム
JP2015154164A (ja) * 2014-02-12 2015-08-24 株式会社ニコン 電子機器、撮像装置、プログラム、及び電子機器システム

Also Published As

Publication number Publication date
US20170126960A1 (en) 2017-05-04
JP6641156B2 (ja) 2020-02-05
US10063770B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
JP5306266B2 (ja) 撮像装置及びその制御方法
JP6343194B2 (ja) 通信装置およびその制御方法、並びにプログラム
JP6614943B2 (ja) 撮像制御装置およびその制御方法
US9325902B2 (en) Image capturing apparatus and control method therefor
JP2017123515A (ja) 電子機器およびその制御方法
JP2017122984A (ja) 電子機器及びその制御方法
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
JP7321886B2 (ja) 撮像制御装置、その制御方法およびプログラム
JP6071616B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2017011579A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US9819866B2 (en) Image capturing device, communication apparatus, and controlling method
JP6128967B2 (ja) 表示制御装置及びその制御方法
JP5575290B2 (ja) 撮像装置及びその制御方法
JP7309422B2 (ja) 通信装置、その制御方法、およびそのプログラム
JP2019022116A (ja) 撮像装置、その制御方法、およびプログラム、並びに記憶媒体
JP6641156B2 (ja) 通信装置およびその制御方法、プログラム並びに記憶媒体
US9088762B2 (en) Image capturing apparatus and control method thereof
JP2017038280A (ja) 通信装置、撮像装置およびそれらの制御方法、システム、並びにプログラム
JP6188484B2 (ja) 電子機器、その制御方法及びプログラム並びに記憶媒体
JP2023048009A (ja) 撮像装置、制御方法及びプログラム
JP2018006996A (ja) 通信装置、撮像装置およびそれらの制御方法、プログラム並びに記憶媒体
JP2024037370A (ja) 撮像装置、撮像装置の制御方法、プログラム
JP2021012238A (ja) 電子機器およびその制御方法、プログラム、並びに記憶媒体
JP2021180433A (ja) 撮像装置、情報処理装置、それらの制御方法、プログラム並びに記憶媒体
JP2017060048A (ja) 撮像装置、通信装置、それらの制御方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191227

R151 Written notification of patent or utility model registration

Ref document number: 6641156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151