JP6703507B2 - Portable electronic device and security system - Google Patents
Portable electronic device and security system Download PDFInfo
- Publication number
- JP6703507B2 JP6703507B2 JP2017145921A JP2017145921A JP6703507B2 JP 6703507 B2 JP6703507 B2 JP 6703507B2 JP 2017145921 A JP2017145921 A JP 2017145921A JP 2017145921 A JP2017145921 A JP 2017145921A JP 6703507 B2 JP6703507 B2 JP 6703507B2
- Authority
- JP
- Japan
- Prior art keywords
- authentication
- flight
- mobile terminal
- user
- flying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 100
- 238000001514 detection method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 34
- 238000010586 diagram Methods 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 14
- 238000005259 measurement Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010897 surface acoustic wave method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Landscapes
- Toys (AREA)
- Telephonic Communication Services (AREA)
Description
本出願は、携帯電子機器及びセキュリティシステムに関する。 The present application relates to portable electronic devices and security systems.
近年、単独飛行が可能な小型の飛行装置の飛行性能を応用する各種技術の開発が進められている(例えば、特許文献1等参照)。 2. Description of the Related Art In recent years, various technologies are being developed that apply the flight performance of a small flight device that can fly alone (see, for example, Patent Document 1).
飛行装置の飛行性能を応用する各種技術には改善の余地がある。 There is room for improvement in various technologies that apply the flight performance of flight devices.
1つの態様に係る携帯電子機器は、飛行装置に着脱可能に装着される携帯電子機器であって、飛行装置と通信する通信部と、自機が装着された飛行装置が飛行中であるかを判定し、判定の結果、飛行装置が飛行中であるときに所定の機能を実行する制御部とを備える。制御部は、所定のイベントが発生すると、自機のユーザまでの距離を計測し、距離が閾値未満である場合、第1の認証方法により認証処理を実行し、距離が閾値以上である場合、第2の認証方法により認証処理を実行する。 A portable electronic device according to one aspect is a portable electronic device that is detachably attached to a flight device and includes a communication unit that communicates with the flight device and whether the flight device equipped with the own device is in flight. And a control unit that executes a predetermined function when the flight device is in flight as a result of the determination. When a predetermined event occurs, the control unit measures the distance to the user of the own device, and when the distance is less than the threshold value, executes the authentication process by the first authentication method, and when the distance is equal to or greater than the threshold value, The authentication process is executed by the second authentication method.
1つの態様に係るセキュリティシステムは、飛行装置と、飛行装置に着脱可能に装着される携帯電子機器と、を含む。携帯電子機器は、飛行装置と通信する通信部と、気圧検出部と、気圧検出部の検出結果に基づいて、自機が装着された飛行装置が飛行中であるかを判定し、判定の結果、飛行装置が飛行中であるときに所定の機能を実行する制御部とを備える。制御部は、所定のイベントが発生すると、自機のユーザまでの距離を計測し、距離が閾値未満である場合、第1の認証方法により認証処理を実行し、距離が閾値以上である場合、第2の認証方法により認証処理を実行する。 A security system according to one aspect includes a flying device and a portable electronic device detachably attached to the flying device. The portable electronic device determines, based on the detection result of the communication unit that communicates with the flight device, the atmospheric pressure detection unit, and the atmospheric pressure detection unit, whether the flight device equipped with the own device is in flight, and the determination result. And a control unit that executes a predetermined function when the flight device is in flight. When a predetermined event occurs, the control unit measures the distance to the user of the own device, and when the distance is less than the threshold value, executes the authentication process by the first authentication method, and when the distance is equal to or greater than the threshold value, The authentication process is executed by the second authentication method.
本出願に係る複数の実施形態を、図面を参照しつつ詳細に説明する。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。また、本出願に係る実施形態を説明する上で密接に関連しない事項は、説明及び図示を省略することがある。 A plurality of embodiments concerning this application are described in detail, referring to drawings. In the description below, the same reference numerals may be given to the same components. Further, duplicated description may be omitted. In addition, description and illustration may be omitted for items that are not closely related to the description of the embodiments according to the present application.
図1は、実施形態に係る飛行体の外観構成の一例を示す図である。図1は、実施形態に係る飛行体100の平面図V1及び正面図V2を含む。以下の説明において、飛行体100は、モータなどの動力機構により駆動する回転翼が生み出す揚力及び推進力により飛行する。飛行体100は、「飛行装置」の一例である。
FIG. 1 is a diagram showing an example of an external configuration of an aircraft according to the embodiment. FIG. 1 includes a plan view V1 and a front view V2 of an
図1に示すように、飛行体100は、本体110と、連結フレーム130と、回転翼150a〜150dと、脚部170a,170bと、カメラ190とを備える。飛行体100は、複数の連結フレーム130が、本体110及び回転翼150a〜150dとの間を相互に連結して構成される。本体110は端末装着ユニット111を有する。飛行体100は、飛行中ではないとき、脚部170a,170bを接地させた状態で待機する。
As shown in FIG. 1, the
図1に示す飛行体100の外観構成は一例であって、本体110、連結フレーム130、回転翼150a〜150d、及び脚部170a,170bにより形作られる外観、及び連結フレーム130及び回転翼150a〜150dなどの構成部品の数など、必ずしも図1に示す例に限定される必要はない。
The appearance configuration of the
図2は、実施形態に係る飛行体に対する携帯端末の装着方法の一例を示す図である。図2に示すように、携帯端末1は、例えば、携帯端末1の正面が、飛行体100の平面側(z軸プラス方向)を向くように、端末装着ユニット111に着脱可能に装着される。携帯端末1が端末装着ユニット111に装着されたとき、携帯端末1の筐体(以下、「ハウジング」と表記する)の一部(以下に説明するサイドフェイス1Cの一部)は、端末装着ユニット111が有する突起部111a,111bと隙間なく接触する。突起部111a,111bは、適度な弾性を有する弾性材料で構成されてよい。
FIG. 2 is a diagram illustrating an example of a method of mounting the mobile terminal on the flying object according to the embodiment. As shown in FIG. 2, the
携帯端末1の正面は、携帯端末1を利用するユーザと対面する、あるいはユーザに接する面であり、以下の説明おいて「正面」又は「表示面」と記載する場合がある。以下の説明において、「正面」とは逆側の面を「背面」と記載する場合がある。携帯端末1は、「携帯電子機器」の一例である。
The front surface of the
図3から図5は、実施形態に係る携帯端末の外観構成の一例を示す図である。図3から図5に示すように、携帯端末1は、ハウジング1Hを有する。ハウジング1Hの表面をなす面には、フロントフェイス1Aと、フロントフェイス1Aの背面に相当するバックフェイス1Bと、フロントフェイス1Aとバックフェイス1Bとを接続するサイドフェイス1C1〜1C4とが含まれる。なお、以下では、サイドフェイス1C1〜1C4を、どの面であるかを特定することなく、サイドフェイス1Cと総称することがある。
3 to 5 are diagrams showing an example of the external configuration of the mobile terminal according to the embodiment. As shown in FIGS. 3 to 5, the
携帯端末1は、タッチスクリーン2Bと、ボタン3A〜3Cと、照度センサ4と、近接センサ5と、レシーバ7と、マイク8と、カメラ12とをフロントフェイス1Aに有する。携帯端末1は、スピーカ11と、カメラ13とをバックフェイス1Bに有する。携帯端末1は、ボタン3D〜3Fと、コネクタ14とをサイドフェイス1Cに有する。以下の説明において、ボタン3A〜3Fを、どのボタンであるかを特定することなく、ボタン3と総称することがある。
The
携帯端末1は、サイドフェイス1C3及びサイドフェイス1C4に沿って配置された圧力センサ19を有する。圧力センサ19は、サイドフェイス1C3及びサイドフェイス1C4に対する圧力を検知できる。圧力センサ19は、例えば、携帯端末1が飛行体100の端末装着ユニット111に装着されたときに、突起部111a,111bがサイドフェイス1C3及びサイドフェイス1C4に対して及ぼす圧力を感知できる。
The
図6は、実施形態に係る携帯端末の機能構成の一例を示す図である。図6に示すように、携帯端末1は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ(インカメラ)12と、カメラ(アウトカメラ)13と、コネクタ14と、加速度センサ15と、方位センサ16と、角速度センサ17と、気圧センサ18と、圧力センサ19と、GPS受信機20とを含む。
FIG. 6 is a diagram illustrating an example of a functional configuration of the mobile terminal according to the embodiment. As shown in FIG. 6, the
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2A及びタッチスクリーン2Bは、例えば、重なって位置してよいし、並んで位置してよいし、離れて位置してよい。ディスプレイ2Aとタッチスクリーン2Bとが重なって位置する場合、例えば、ディスプレイ2Aの1ないし複数の辺は、タッチスクリーン2Bのいずれの辺とも沿っていなくてもよい。
The
ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、又は無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを含む。ディスプレイ2Aは、文字、画像、記号、及び図形等のオブジェクトを画面内に表示する。ディスプレイ2Aが表示するオブジェクトを含む画面は、ロック画面と呼ばれる画面、ホーム画面と呼ばれる画面、アプリケーションの実行中に表示されるアプリケーション画面を含む。ホーム画面は、デスクトップ、待受画面、アイドル画面、標準画面、アプリ一覧画面又はランチャー画面と呼ばれることもある。
The
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、又はスタイラスペン等の接触又は近接を検出する。タッチスクリーン2Bは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン2Bに接触又は近接したときのタッチスクリーン2B上の位置を検出することができる。以下の説明において、タッチスクリーン2Bが検出する複数の指、ペン、及びスタイラスペン等がタッチスクリーン2Bに接触又は近接した位置を「検出位置」と表記する。タッチスクリーン2Bは、タッチスクリーン2Bに対する指の接触又は近接を、検出位置とともにコントローラ10に通知する。タッチスクリーン2Bは、検出位置の通知をもって接触又は近接の検出をコントローラ10に通知してよい。タッチスクリーン2Bが行える動作を、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2は実行できる。言い換えると、タッチスクリーン2Bが行う動作は、タッチスクリーンディスプレイ2が行ってもよい。
The
コントローラ10は、タッチスクリーン2Bにより検出された接触又は近接、検出位置、検出位置の変化、接触又は近接が継続した時間、接触又は近接が検出された間隔、及び接触が検出された回数の少なくとも1つに基づいて、ジェスチャの種別を判別する。コントローラ10が行える動作を、コントローラ10を有する携帯端末1は実行できる。言い換えると、コントローラ10が行う動作は、携帯端末1が行ってもよい。ジェスチャは、指を用いて、タッチスクリーン2Bに対して行われる操作である。タッチスクリーン2Bに対して行われる操作は、タッチスクリーン2Bを有するタッチスクリーンディスプレイ2により行われてもよい。コントローラ10が、タッチスクリーン2Bを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。
The controller 10 includes at least one of the contact or proximity detected by the
「タッチ」は、タッチスクリーン2Bに指が触れるジェスチャである。携帯端末1は、タッチスクリーン2Bに指が接触するジェスチャをタッチとして判別する。「ロングタッチ」は、タッチスクリーン2Bに指が一定時間より長く触れるジェスチャである。携帯端末1は、タッチスクリーン2Bに指が一定時間より長く接触するジェスチャをロングタッチとして判別する。
“Touch” is a gesture in which a finger touches the
「リリース」は、指がタッチスクリーン2Bから離れるジェスチャである。携帯端末1は、指がタッチスクリーン2Bから離れるジェスチャをリリースとして判別する。「スワイプ」は、指がタッチスクリーン2Bに接触したままで移動するジェスチャである。携帯端末1は、指がタッチスクリーン2Bに接触したままで移動するジェスチャをスワイプとして判別する。
“Release” is a gesture in which a finger moves away from the
「タップ」は、タッチに続いてリリースをするジェスチャである。携帯端末1は、タッチに続いてリリースをするジェスチャをタップとして判別する。「ダブルタップ」は、タッチに続いてリリースをするジェスチャが2回連続するジェスチャである。携帯端末1は、タッチに続いてリリースをするジェスチャが2回連続するジェスチャをダブルタップとして判別する。
“Tap” is a gesture of releasing after a touch. The
「ロングタップ」は、ロングタッチに続いてリリースをするジェスチャである。携帯端末1は、ロングタッチに続いてリリースをするジェスチャをロングタップとして判別する。「ドラッグ」は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャである。携帯端末1は、移動可能なオブジェクトが表示されている領域を始点としてスワイプをするジェスチャをドラッグとして判別する。
"Long tap" is a gesture of releasing after a long touch. The
「フリック」は、指が、タッチスクリーン2Bに触れた後移動しながらタッチスクリーン2Bから離れるジェスチャである。すなわち、「フリック」は、タッチに続いて指が移動しながらリリースが行われるジェスチャである。携帯端末1は、指が、タッチスクリーン2Bに触れた後移動しながらタッチスクリーン2Bから離れるジェスチャをフリックとして判別する。フリックは、指が一方方向へ移動しながら行われることが多い。フリックは、指が画面の上方向へ移動する「上フリック」、指が画面の下方向へ移動する「下フリック」、指が画面の右方向へ移動する「右フリック」、指が画面の左方向へ移動する「左フリック」等を含む。フリックにおける指の移動は、スワイプにおける指の移動よりも素早いことが多い。
A “flick” is a gesture in which a finger touches the
「ピンチイン」は、複数の指が互いに近付く方向にスワイプするジェスチャである。携帯端末1は、タッチスクリーン2Bにより検出されるある指の位置と他の指の位置との間の距離が短くなるジェスチャをピンチインとして判別する。「ピンチアウト」は、複数の指が互いに遠ざかる方向にスワイプするジェスチャである。携帯端末1は、タッチスクリーン2Bにより検出されるある指の位置と他の指の位置との間の距離が長くなるジェスチャをピンチアウトとして判別する。
“Pinch-in” is a gesture in which a plurality of fingers swipe in a direction in which they approach each other. The
以下の説明では、1本の指により行われるジェスチャを「シングルタッチジェスチャ」と呼び、2本以上の指により行われるジェスチャを「マルチタッチジェスチャ」と呼ぶことがある。マルチタッチジェスチャは、例えば、ピンチインおよびピンチアウトを含む。タップ、フリックおよびスワイプ等は、1本の指で行われればシングルタッチジェスチャであり、2本以上の指で行われればマルチタッチジェスチャである。 In the following description, a gesture performed with one finger may be referred to as a “single touch gesture”, and a gesture performed with two or more fingers may be referred to as a “multi-touch gesture”. Multi-touch gestures include, for example, pinch in and pinch out. Taps, flicks, swipes, and the like are single-touch gestures when performed with one finger, and multi-touch gestures when performed with two or more fingers.
コントローラ10は、タッチスクリーン2Bを介して判別するこれらのジェスチャに従って動作を行う。このため、利用者にとって直感的で使いやすい操作性が実現される。判別されるジェスチャに従ってコントローラ10が行う動作は、ディスプレイ2Aに表示されている画面に応じて異なることがある。
The controller 10 operates according to these gestures that are discriminated via the
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。
The detection method of the
ボタン3は、ユーザからの操作入力を受け付ける。ボタン3は、例えば、ボタン3A〜ボタン3Fを有する。ボタン3の数は、任意の数であってよい。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、及びマルチプッシュを含むが、これらに限定されない。
The button 3 receives an operation input from the user. The button 3 has, for example,
ボタン3A〜3Cは、例えば、ホームボタン、バックボタンまたはメニューボタンである。ボタン3Dは、例えば、スマートフォン1のパワーオン/オフボタン(電源ボタン)である。ボタン3Dは、スリープ/スリープ解除ボタンを兼ねてもよい。ボタン3E及び3Fは、例えば、音量ボタンである。
The
照度センサ4は、照度を検出する。照度は、照度センサ4の測定面の単位面積に入射する光束の値である。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。
The
近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、赤外線を照射する発光素子と、発光素子から照射された赤外線の反射光を受光する受光素子を有する。照度センサ4及び近接センサ5は、1つのセンサとして構成されていてもよい。
The
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる無線通信規格には、例えば、2G、3G、4G、5G等のセルラーフォンの通信規格と、近距離無線の通信規格とが含まれる。セルラーフォンの通信規格としては、例えば、LTE(Long Term Evolution)、W−CDMA(登録商標)(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)、PHS(Personal Handy−phone System)等がある。近距離無線の通信規格としては、例えば、WiMAX(登録商標)(Worldwide interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(登録商標)(Near Field Communication)、WPAN(Wireless Personal Area Network)等が含まれる。通信ユニット6は、上述した通信規格の1つ又は複数をサポートしていてもよい。通信ユニット6は「通信部」の一例である。
The
レシーバ7は、コントローラ10から送出される音信号を音として出力する。マイク8は、入力されるユーザの声等を音信号へ変換してコントローラ10へ送信する。
The
ストレージ9は、プログラム及びデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域として利用されてもよい。ストレージ9は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。 The storage 9 stores programs and data. The storage 9 may be used as a work area for temporarily storing the processing result of the controller 10. The storage 9 may include a semiconductor storage medium and an arbitrary non-transitory storage medium such as a magnetic storage medium. The storage 9 may include a plurality of types of storage media. The storage 9 may include a combination of a storage medium such as a memory card, an optical disc, or a magneto-optical disc, and a reading device for the storage medium. The storage 9 may include a storage device used as a temporary storage area such as a RAM (Random Access Memory).
ストレージ9に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する支援プログラム(図示略)とが含まれる。アプリケーションは、例えば、フォアグランドで実行される場合、当該アプリケーションに係る画面を、ディスプレイ2Aに表示する。支援プログラムには、例えば、OS(Operating System)が含まれる。プログラムは、通信ユニット6による無線通信又は非一過的な記憶媒体を介してストレージ9にインストールされてもよい。
The programs stored in the storage 9 include an application executed in the foreground or background and a support program (not shown) that supports the operation of the application. When the application is executed in the foreground, for example, it displays a screen related to the application on the
ストレージ9は、制御プログラム9A、飛行体連携アプリケーション9B、ユーザ探索用データ9C、指紋認証アプリケーション9D、虹彩認証アプリケーション9E、顔認証アプリケーション9F、音声認証アプリケーション9G、指紋認証用データH、虹彩認証用データ9I、顔認証用データ9J、音声認証用データ9K、認証実行高度設定テーブル9L、及び設定データ9Zなどを記憶できる。
The storage 9 is a
制御プログラム9Aは、携帯端末1の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム9Aが提供する機能は、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する機能を含む。制御プログラム9Aが提供する機能は、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする機能を含む。制御プログラム9Aが提供する機能は、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる機能を含む。制御プログラム9Aが提供する機能は、カメラ12、及びカメラ13の撮影処理を制御する機能を含む。制御プログラム9Aが提供する機能は、コネクタ14を介して接続される外部機器との間の通信を制御する機能を含む。制御プログラム9Aが提供する機能は、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う機能を含む。制御プログラム9Aが提供する機能は、加速度センサ15の検出結果に基づいて、携帯端末1を携帯するユーザの移動、停止等を検出する機能を含む。制御プログラム9Aが提供する機能は、GPS受信機20より取得する信号に基づいて、現在位置に基づく処理を実行する機能を含む。
The
制御プログラム9Aは、飛行体100に携帯端末1(以下、適宜「自機」と表記する)が装着されたかを判定する機能を提供できる。制御プログラム9Aは、例えば、圧力センサ19の検出結果に基づいて、飛行体100に自機が装着されたかを判定できる。制御プログラム9Aは、例えば、サイドフェイス1Cに作用する圧力の範囲(例えば、圧力の分布)が、端末装着ユニット111の突起部111aとサイドフェイス1C3との接触面積、及び突起部111bとサイドフェイス1C4との接触面積と略一致する場合、飛行体100に自機が装着されたという判定結果を導出してもよい。
The
制御プログラム9Aは、飛行体100との通信が可能な状態にペアリングするための機能を提供できる。制御プログラム9Aは、飛行体100に対する自機の装着を確認できると、飛行体連携プログラム9Bに対して、飛行体100との自機とのペアリング指示を送出する。制御プログラム9Aから飛行体100に対する指示及びデータの送信は、以下に説明する飛行体連携プログラム9Bを介して実行される。
The
制御プログラム9Aは、気圧センサ18の検出結果に基づいて、自機が装着されている飛行体100が飛行中であるかを判定するための機能を提供できる。制御プログラム9Aは、自機が飛行体100に装着されたときに、気圧センサ18のゼロ点調整を実行するための機能を提供できる。制御プログラム9Aは、気圧センサ18の検出結果の代替的、或いは補助的に、動力制御部124の制御状況を参照して、自機が装着されている飛行体100が飛行中であるかを判定するための機能を提供してもよい。
The
制御プログラム9Aは、自機が装着されている飛行体100の飛行中に、所定のイベントが発生すると、自機と自機のユーザとの間の距離に基づいて、複数の認証方法の中から、セキュリティロックを解除するための認証方法を選択するための機能を提供できる。
The
例えば、制御プログラム9Aは、飛行体100の飛行中に所定のイベントが発生すると、自機と自機のユーザとの間の距離の計測を指示する距離計測指示を飛行体100に送信できる。制御プログラム9Aは、例えば、飛行体100において計測された自機と自機のユーザとの間の距離が閾値未満である場合、セキュリティロックを解除するための認証方法として、第1の認証方法を選択できる。第1の認証方法は、ユーザが携帯端末1を直接操作又は触れることにより行われる認証方法であり、例えば、指紋認証を含む。制御プログラム9Aは、例えば、飛行体100において計測された自機と自機のユーザとの間の距離が閾値以上である場合、セキュリティロックを解除するための認証方法として、第2の認証方法を選択できる。第2の認証方法は、ユーザが携帯端末1に触れることなく行われる認証方法であり、例えば、虹彩認証、顔認証及び音声認証の中の少なくとも1つを含む。制御プログラム9Aは、例えば、第2の認証方法として、虹彩認証、顔認証及び音声認証の中の少なくとも1つを選択できる。所定のイベントは、電話着信、メール受信、スケジューラによる通知などを含む。
For example, the
制御プログラム9Aは、指紋認証アプリケーション9D、虹彩認証アプリケーション9E、顔認証アプリケーション9F、及び音声認証アプリケーション9Gの各アプリケーションと連携し、セキュリティロックを解除するための認証処理を実行するための機能を提供できる。
The
制御プログラム9Aは、第2の認証方法を選択したとき、ユーザの姿勢を特定するための機能を提供できる。制御プログラム9Aは、例えば、カメラ12またはカメラ13で撮影したユーザの画像若しくは飛行体100により撮影された画像から、ユーザの姿勢を特定することができる。なお、ユーザの姿勢を特定するための画像解析手法は公知のものを用いればよい。
The
制御プログラム9Aは、ユーザの姿勢に応じて、第2の認証方法を用いて認証処理を実行するときの高度(以下、「認証実行高度」と表記する)を算出するための機能を提供できる。制御プログラム9Aは、例えば、後述する認証実行高度設定テーブル9Lに従って、ユーザの姿勢に応じた認証実行高度を算出できる。
The
制御プログラム9Aは、現在の飛行体100(自機)の飛行高度が認証実行高度と一致するまで、飛行高度の調整を指示するための機能を提供できる。例えば、制御プログラム9Aは、飛行高度の調整を指示する高度調整指示を飛行体100に送信できる。一方、制御プログラム9Aは、現在の飛行体100(自機)の飛行高度が認証実行高度と一致することを条件に、第2の認証方法による認証処理を実行するための機能を提供できる。制御プログラム9Aは、第2の認証方法として、虹彩認証又は顔認証を選択したとき、飛行体100に撮影される画像を利用してもよいし、カメラ12又はカメラ13により撮影される画像を利用してもよい。制御プログラム9Aは、カメラ12又はカメラ13により認証処理に必要な解像度を備えた虹彩及び顔などのデータを取得する際に、カメラ12又はカメラ13による撮影処理を制御する補助機能としてフェイストラッキング機能及びオートフォーカス機能などを含んでよい。
The
飛行体連携プログラム9Bは、制御プログラム9Aと連携することにより、飛行体100と協働して各種処理を実現するための機能を提供できる。なお、飛行体連携プログラム9Bは、例えば、制御プログラム9Aから送出された飛行体100に対する各種命令を飛行体100自身が翻訳して実行可能な制御信号などに変換して飛行体100に送信できる。
By cooperating with the
飛行体連携プログラム9Bは、例えば、制御プログラム9Aからの指示を受けて、例えば、Bluetooth(登録商標)を用いて、飛行体100との間の近距離無線接続を確立することにより、自機と飛行体100とをペアリングできる。
For example, the flight
飛行体連携プログラム9Bは、例えば、飛行体100との間に確立された近距離無線通信により、制御プログラム9Aから飛行体100に向けて送出された指示、及び飛行体100において実行される各種処理に用いられるデータなどを飛行体100との間で送受信することができる。飛行体連携プログラム9Bから飛行体100に送信される指示は、例えば、距離計測指示及び高度調整指示などを含む。飛行体連携プログラム9Bから飛行体100に送信されるデータは、ユーザ探索用データ9Cに含まれる識別子のデータなどを含む。飛行体連携プログラム9Bから制御プログラム9Aに対して受け渡しが行われるデータは、飛行体100において算出された自機と自機のユーザとの間の距離に関するデータなどを含む。
The flying
ユーザ探索用データ9Cは、自機のユーザを認証する際に参照される。ユーザ探索用データ9Cは、例えば、自機のユーザが装着するウェアラブル端末などに一意に付与される識別子のデータを含む。ユーザ探索用データ9Cは、例えば、ユーザによって事前に登録される。
The
指紋認証アプリケーション9Dは、ユーザの指紋を用いた認証を行うための機能を提供できる。
The
虹彩認証アプリケーション9Eは、ユーザの虹彩を用いた認証を行うための機能を提供できる。
The
顔認証アプリケーション9Fは、ユーザの顔を用いて認証を行うための機能を提供できる。 The face authentication application 9F can provide a function for performing authentication using the user's face.
音声認証アプリケーション9Gは、ユーザが発生する音声を用いて認証を行うための機能を提供できる。
The
指紋認証用データ9Hは、指紋認証アプリケーション9Dによる認証処理において参照される参照用データである。
The fingerprint authentication data 9H is reference data referred to in the authentication processing by the
虹彩認証用データ9Iは、虹彩認証アプリケーション9Eによる認証処理において参照される参照用データである。
The iris authentication data 9I is reference data referred to in the authentication processing by the
顔認証用データ9Jは、顔認証アプリケーション9Fによる認証処理において参照される参照用データである。 The face authentication data 9J is reference data referred to in the authentication processing by the face authentication application 9F.
音声認証用データ9Kは、音声認証アプリケーション9Gによる認証処理において参照される参照用データである。
The
認証実行高度設定テーブル9Lは、第2の認証方法を用いて認証処理を実行するときの飛行体100(自機)の飛行高度の調整を行う際に参照される。図7は、実施形態に係る認証実行高度設定テーブルの構成例を示す図である。図8は、実施形態に係る認証実行高度設定テーブルに基づく高度調整方法の概要を示す図である。図7に示すように、認証実行高度設定テーブル9Lは、ユーザの姿勢に応じて、第2の認証方法を用いて認証処理を実行するときの認証実行高度を規定する。図7に示す変数「T」はユーザの身長を示し、図7に示す変数「S」はユーザの座高を示し、図7に示す変数「F」はユーザの顔の長さを示す(後述する図9参照)。第2の認証方法は、ユーザの頭部付近の生体情報あるいはユーザ頭部付近から発生される音声情報に基づいて実行される。そこで、例えば、ユーザの姿勢が「立位」又は「座位」の場合、図8に示すように、携帯端末1が装着された飛行体100の現在の飛行高度H1が、例えば、ユーザU1の頭部中央付近の高さH2と一致するように認証実行高度が決められるようになっている。例えば、制御プログラム9Aは、飛行体100の現在の飛行高度H1よりも、ユーザの頭部中央付近の高さH2が低い場合(Δh>0)、飛行体100に対して飛行高度を下げる指示を送信できる。一方、制御プログラム9Aは、飛行体100の現在の飛行高度H1よりも、ユーザの頭部中央付近の高さH2が高い場合(Δh<0)、飛行体100に対して飛行高度を上げる指示を送信できる。
The authentication execution altitude setting table 9L is referred to when adjusting the flight altitude of the aircraft 100 (own aircraft) when performing the authentication process using the second authentication method. FIG. 7 is a diagram showing a configuration example of the authentication execution altitude setting table according to the embodiment. FIG. 8 is a diagram showing an outline of an altitude adjustment method based on the authentication execution altitude setting table according to the embodiment. As shown in FIG. 7, the authentication execution altitude setting table 9L defines the authentication execution altitude when executing the authentication process using the second authentication method according to the posture of the user. The variable “T” shown in FIG. 7 shows the height of the user, the variable “S” shown in FIG. 7 shows the sitting height of the user, and the variable “F” shown in FIG. 7 shows the length of the user's face (described later). (See FIG. 9). The second authentication method is executed based on biometric information near the user's head or voice information generated near the user's head. Therefore, for example, when the posture of the user is “standing” or “sitting”, as shown in FIG. 8, the current flight altitude H1 of the flying
設定データ9Zは、携帯端末1の動作に関する各種設定の情報を含む。設定データ9Zは、例えば、ユーザ情報91を含む。図9は、実施形態に係るユーザ情報の一例を示す図である。図9に示すように、ユーザ情報91は、例えば、ユーザの身長(T)、座高(S)、顔の長さ(F)などのユーザの身体的特徴に関するデータである。
The setting
携帯端末1は、通信ユニット6を介してクラウドストレージと連携し、当該クラウドストレージが記憶するファイル及びデータにアクセスしてもよい。クラウドストレージは、ストレージ9に記憶されるプログラム及びデータの一部又は全部を記憶してもよい。
The
コントローラ10は、演算処理装置を含む。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。コントローラ10は、携帯端末1の動作を統括的に制御して各種の機能を実現する。コントローラ10は「制御部」の一例である。
The controller 10 includes an arithmetic processing unit. The arithmetic processing unit includes, for example, a CPU (Central Processing Unit), a SoC (System-on-a-Chip), an MCU (Micro Control Unit), an FPGA (Field-Programmable Gate Array), and a coprocessor. Not limited. The controller 10 centrally controls the operation of the
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、スピーカ11及びGPS受信機20を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、加速度センサ15、方位センサ16、角速度センサ17、気圧センサ18及び圧力センサ19を含むが、これらに限定されない。
Specifically, the controller 10 executes the command included in the program stored in the storage 9 while referring to the data stored in the storage 9 as necessary. Then, the controller 10 controls the functional units according to the data and the commands, thereby realizing various functions. The functional unit includes, for example, the
コントローラ10は、制御プログラム9Aを実行することにより、自機の動作に関する各種制御を実現できる。コントローラ10は、例えば、照度センサ4の検出結果に基づいて、ディスプレイ2Aの輝度を調整する処理を実現できる。コントローラ10は、例えば、近接センサ5の検出結果に基づいて、タッチスクリーン2Bに対する操作を無効とする処理を実現できる。コントローラ10は、例えば、通信ユニット6、レシーバ7、及びマイク8等を制御することによって、通話を実現させる処理を実現できる。コントローラ10は、例えば、カメラ12及びカメラ13の撮影処理を制御する処理を実現できる。コントローラ10は、例えば、コネクタ14を介して接続される外部機器との間の通信を制御する処理を実現できる。コントローラ10は、例えば、タッチスクリーン2Bの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ2Aに表示されている情報を変更する等の各種制御を行う処理を実現できる。コントローラ10は、例えば、加速度センサ15の検出結果に基づいて、自機を携帯するユーザの移動、停止等を検出する処理を実現できる。コントローラ10は、例えば、GPS受信機20より取得する信号に基づいて、現在位置に基づく処理を実現できる。
By executing the
コントローラ10は、制御プログラム9Aを実行することにより、圧力センサ19の検出結果に基づいて、飛行体100に自機が装着されたかを判定する処理を実現できる。
By executing the
コントローラ10は、制御プログラム9A及び飛行体連携プログラム9Bを実行することにより、飛行体100との通信が可能な状態にペアリングする処理を実現できる。
By executing the
コントローラ10は、制御プログラム9Aを実行することにより、気圧センサ18の検出結果に基づいて、自機が装着されている飛行体100が飛行中であるかを判定する処理を実現できる。
By executing the
コントローラ10は、制御プログラム9Aを実行することにより、自機が装着されている飛行体100の飛行中に、所定のイベントが発生すると、自機と自機のユーザとの間の距離に基づいて、複数の認証方法の中から、セキュリティロックを解除するための認証方法を選択する処理を実現できる。コントローラ10は、例えば、自機と自機のユーザとの間の距離が閾値未満である場合、セキュリティロックを解除するための認証方法として、第1の認証方法を選択できる。コントローラ10は、例えば、自機と自機のユーザとの間の距離が閾値以上である場合、セキュリティロックを解除するための認証方法として、第2の認証方法を選択できる。
The controller 10 executes the
コントローラ10は、指紋認証アプリケーション9D、虹彩認証アプリケーション9E、顔認証アプリケーション9F、及び音声認証アプリケーション9Gの各アプリケーションにより提供される機能に基づいて、セキュリティロックを解除するための認証処理を実現できる。
The controller 10 can realize authentication processing for releasing the security lock based on the functions provided by the
スピーカ11は、コントローラ10から送出される音信号を音として出力する。スピーカ11は、例えば、着信音及び音楽を出力するために用いられる。レシーバ7及びスピーカ11の一方が、他方の機能を兼ねてもよい。
The
カメラ12及びカメラ13は、撮影した画像を電気信号へ変換する。カメラ12は、ディスプレイ2Aに面している物体を撮影するインカメラである。カメラ13は、ディスプレイ2Aの反対側の面に面している物体を撮影するアウトカメラである。カメラ12及びカメラ13は、インカメラ及びアウトカメラを切り換えて利用可能なカメラユニットとして、機能的及び物理的に統合された状態で携帯端末1に実装されてもよい。
The
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、MHL(Mobile High−difinition Link)、ライトピーク(Light Peak)、サンダーボルト(登録商標)(Thunderbolt)、LANコネクタ(Local Area Network connector)、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用に設計された端子でもよい。コネクタ14に接続される装置は、例えば、飛行体、充電器、外部ストレージ、スピーカ、通信装置、及び情報処理装置を含むが、これらに限定されない。
The
加速度センサ15は、携帯端末1に作用する加速度の方向及び大きさを検出できる。実施形態の1つの例として、X軸方向、Y軸方向、及びZ軸方向の加速度を検出する3軸型の加速度センサ15を採用できる。加速度センサ15は、ピエゾ抵抗型、静電容量型、圧電素子型(圧電式)、熱検知型によるMEMS(Micro Electro Mechanical Systems)式、動作させた可動コイルをフィードバック電流により元に戻すサーボ式、あるいは歪みゲージ式などにより構成することができる。加速度センサ15は、検出結果をコントローラ10に送出する。コントローラ10は、加速度センサ15の検出結果に基づいて各種制御を実行できる。例えば、携帯端末1に作用している重力が加速度として加速度センサ15から出力されると、コントローラ10は、携帯端末1に作用する重力方向を反映した制御を実行できる。
The
方位センサ16は、地磁気の向きを検出できる。方位センサ16は、検出結果をコントローラ10に送出する。コントローラ10は、方位センサ16の検出結果に基づいて各種制御を実行できる。例えば、コントローラ10は、地磁気の向きから携帯端末1の向き(方位)を特定し、特定した携帯端末1の方位を反映した制御を実行できる。
The
角速度センサ17は、携帯端末1の角速度を検出できる。角速度センサ17は、検出結果をコントローラ10に送出する。コントローラ10は、角速度センサ17の検出結果に基づいて各種制御を実行できる。例えば、コントローラ10は、角速度センサ17から出力される角速度の有無に基づいて、携帯端末1の回転を反映した制御を実現できる。
The
コントローラ10は、加速度センサ15、方位センサ16、及び角速度センサ17の各検出結果を個別に利用する場合に限定されず、各検出結果を組み合わせて利用することもできる。
The controller 10 is not limited to the case where the detection results of the
気圧センサ18は、携帯端末1に作用する気圧を検出できる。気圧センサ18の検出結果は、単位時間あたりの気圧変化量を含んでよい。気圧変化量は、絶対値もしくはスカラー量を累積した値であってよい。単位時間は、任意の時間を設定してよい。気圧センサ18は、検出結果をコントローラ10に送出する。気圧センサ18は「気圧検出部」の一例である。
The
圧力センサ19は、携帯端末1に作用する圧力を検出できる。圧力センサ19は、複数の感圧素子を備えてよい。圧力センサ19は、コントローラ10が、圧力センサ19の検出結果に基づいて、携帯端末1に作用している圧力の範囲(例えば、圧力の分布)を特定するための情報を取得することもできる。
The
GPS受信機20は、GPS衛星からの所定の周波数帯の電波信号を受信できる。GPS受信機は、受信した電波信号の復調処理を行って、処理後の信号をコントローラ10に送出する。 The GPS receiver 20 can receive a radio signal in a predetermined frequency band from a GPS satellite. The GPS receiver demodulates the received radio wave signal and sends the processed signal to the controller 10.
携帯端末1は、バイブレータを備えてもよい。バイブレータは、携帯端末1の一部又は全体を振動させる。バイブレータは、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。携帯端末1は、上述のセンサの他、温度センサ、湿度センサ、圧力センサなどを備えてもよい。携帯端末1は、バッテリなど、携帯端末1の機能を維持するために当然に用いられる機能部、及び携帯端末1の制御を実現するために当然に用いられる検出部を実装する。
The
図10は、実施形態に係る飛行体が有する機能構成の一例を示す図である。図10に示すように、飛行体100の本体110は、通信部121と、接続部122と、撮影制御部123と、動力制御部124と、センサユニット125と、記憶部126と、制御ユニット127とを備える。
FIG. 10 is a diagram showing an example of a functional configuration of the flying object according to the embodiment. As shown in FIG. 10, the
通信部121は、携帯端末1との間で各種データのやり取りに関する通信を実行する。通信部121は、例えば、携帯端末1との間で確立される近距離無線接続を介して通信する。
The communication unit 121 executes communication regarding exchange of various data with the
接続部122は、他の装置が接続される端子である。接続部122は、USBのような汎用的な端子であってよい。 The connection part 122 is a terminal to which another device is connected. The connection unit 122 may be a general-purpose terminal such as USB.
撮影制御部123は、カメラ190を用いた画像の撮影を制御する。撮影制御部123による制御は、カメラ190の撮影方向の制御を含む。
The shooting control unit 123 controls shooting of an image using the
動力制御部124は、モータ140a〜140dの駆動力を制御する。モータ140aは回転翼150aの回転数を制御し、モータ140bは回転翼150bの回転数を制御し、モータ140cは回転翼150cの回転数を制御し、モータ140dは回転翼150dの回転数を制御する。
The power control unit 124 controls the driving force of the
センサユニット125は、飛行体100の飛行及び飛行体100に備えられる機器の制御などに用いるデータを検知する複数のセンサを含む。センサユニット125は、例えば、タッチセンサ125a及び距離画像センサ125bを含む。
The sensor unit 125 includes a plurality of sensors that detect data used for flight of the flying
タッチセンサ125aは、静電容量方式、抵抗膜方式、表面弾性波方式、超音波方式、赤外線方式、電磁誘導方式、又は荷重検出方式等の任意の方式のセンサを含む。飛行体100は、例えば、タッチセンサ125aの検出結果に基づいて、連結フレーム130が携帯端末1のユーザに掴まれたことを検知できる。タッチセンサ125aは、連結フレーム130の他、例えば、飛行装置100の本体110の外周部分など、携帯端末1のユーザが直接掴む可能性がある位置に配設してもよい。また、携帯端末1のユーザが飛行装置100を掴むための取手を飛行装置100に設け、当該取手にタッチセンサ125aを配設してもよい。タッチセンサ125aは、飛行体100に設けられるタッチセンサ125aの設置部分を挟みこむようにして配設されてよい。例えば、タッチセンサ125aは、シート状のタッチセンサ125aを上記設置部分に巻きつける方法、若しくは上記設置部分を挟みこむ位置に少なくとも2つのタッチセンサ125aを別々に固定する方法により配設されてよい。飛行体100は、タッチセンサ125aの検出結果に基づいて、例えば、上記設置部分を挟みこむそれぞれの位置でユーザの接触を検出すると、ユーザに掴まれたことを検知できる。
The touch sensor 125a includes a sensor of any type such as a capacitance type, a resistance film type, a surface acoustic wave type, an ultrasonic type, an infrared type, an electromagnetic induction type, or a load detection type. The flying
距離画像センサ125bは、対象物に対して照射されるレーザ光などの光が対象物に反射して戻るまでの時間に基づいて対象物との距離を計測できる。距離画像センサ125bは、レーザ光を放射状に照射して、飛行体100の周囲にある物体の方向及び物体までの距離を計測してもよい。
The distance image sensor 125b can measure the distance to the target object based on the time until the light such as the laser light emitted to the target object is reflected and returned to the target object. The range image sensor 125b may irradiate the laser beam radially to measure the direction of an object around the flying
記憶部126は、プログラム及びデータを記憶できる。記憶部126は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。記憶部126は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部126は、RAMなどの一時的な記憶領域として利用される記憶デバイスを含んでよい。 The storage unit 126 can store programs and data. The storage unit 126 may include any non-transitory storage medium such as a semiconductor storage medium and a magnetic storage medium. The storage unit 126 may include a combination of a storage medium such as a memory card, an optical disc, or a magneto-optical disc, and a reading device for the storage medium. The storage unit 126 may include a storage device used as a temporary storage area such as a RAM.
記憶部126は、制御プログラム126a、制御用データ126b及び識別子データ126cを記憶できる。制御プログラム126aは、飛行体100の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム126aにより提供される機能は、飛行体100に備えられる機器の制御に関する機能を含む。機器の制御に関する機能は、通信部121と携帯端末1との間で近距離無線接続を確立してペアリングする機能、通信部121を介して携帯端末1と通信するための機能、撮影制御部123を介してカメラ190の画像撮影を制御するための機能を含む。携帯端末1と通信するための機能は、飛行体100に対して所定の接触が検出されたことを携帯端末1に通知することを含む。
The storage unit 126 can store a control program 126a, control data 126b, and identifier data 126c. The control program 126a can each provide a function for implementing processing relating to various operations of the
制御プログラム126aにより提供される機能は、センサユニット125の検出結果に基づいてモータ140a〜140dの駆動力を制御するための機能を含む。例えば、モータ140a〜140dの駆動力を制御するための機能は、タッチセンサ125aの検出結果に基づいて、飛行体100に対する所定の操作が検出された場合、モータを停止させることを含む。所定の操作は、例えば、連結フレーム130の少なくとも1箇所を掴むことを含む。
The function provided by the control program 126a includes a function for controlling the driving force of the
制御プログラム126aにより提供される機能は、センサユニット125の検出結果に基づいて飛行体100の飛行姿勢を調整するための機能を含む。
The function provided by the control program 126a includes a function for adjusting the flight attitude of the flying
制御プログラム126aにより提供される機能は、携帯端末1からの指示に従い、識別子データ126cに基づいて携帯端末1のユーザを探索し、距離画像センサ125bの計測結果に基づいて、飛行体100に装着されている携帯端末1のユーザまでの距離を算出して、算出した距離を携帯端末1に送信する機能を含む。
The function provided by the control program 126a searches for the user of the
制御プログラム126aにより提供される機能は、携帯端末1からの指示に従い、識別子データ126cに基づいて携帯端末1のユーザを探索し、ユーザが装着するウェアラブル端末から発信される電波強度に基づいて、飛行体100に装着されている携帯端末1のユーザまでの距離を算出して、算出した距離を携帯端末1に送信する機能を含む。
The function provided by the control program 126a searches the user of the
制御プログラム126aにより提供される機能は、携帯端末1からの指示に従って飛行高度を調整する機能を含む。
The function provided by the control program 126a includes a function of adjusting the flight altitude according to an instruction from the
制御プログラム126aにより提供される機能は、カメラ190の画像撮影を制御するための機能に含まれるフェイストラッキング機能及びオートフォーカス機能などを用いて、カメラの190と被写体(認証部位)との位置関係を微調整する機能を含む。例えば、制御プログラム126aにより提供される機能により、虹彩及び顔などの画像データを、認証処理を実行するために必要な解像度で取得できる。
The function provided by the control program 126a uses the face tracking function and the autofocus function included in the function for controlling the image capturing of the
制御プログラム126aにより提供される機能は、距離画像センサ125bの計測結果に基づいて、飛行体100の周囲にある物体との位置関係を示す情報を取得する機能、センサユニット125の検出結果に基づいて飛行体100の機首が向く方向のなす角度(方位)に関する方位情報、回転翼150a〜150dの中心位置を通る鉛直線を中心とする回転角に関する回転角度情報などを検出する機能を含んでよい。これらの機能に基づいて、制御プログラム126aは、飛行体100の飛行を制御できる。
The function provided by the control program 126a is based on the measurement result of the range image sensor 125b, based on the detection result of the sensor unit 125, and the function of acquiring information indicating the positional relationship with an object around the flying
制御用データ126bは、飛行体100の各種動作に関する処理を実行するために参照される。
The control data 126b is referred to in order to execute processing relating to various operations of the
識別子データ126cは、携帯端末1のユーザがウェアラブル端末に一意に割り当てられる識別子のデータである。識別子データ126cは、携帯端末1が記憶するユーザ探索用データ9Cに含まれる識別子のデータに対応する。識別子データ126cは、携帯端末1から受信され、記憶部126に格納される。
The identifier data 126c is data of an identifier uniquely assigned to the wearable terminal by the user of the
制御ユニット127は、1又は複数の演算装置を含む。演算装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−Chip)、MCU(Micro Control Unit)、FPGA(Field−Programmable Gate Array)、およびコプロセッサを含むが、これらに限定されない。制御ユニット127は、制御プログラム126aを演算装置に実行させることにより、飛行体100の各種動作に関する処理を実現する。制御ユニット127は、制御プログラム126aにより提供される機能の少なくとも一部を専用のIC(Integrated Circuit)により実現してもよい。
The control unit 127 includes one or more arithmetic units. The computing device includes, for example, a CPU (Central Processing Unit), a SoC (System-on-a-Chip), an MCU (Micro Control Unit), an FPGA (Field-Programmable Gate Array), and a coprocessor, but is not limited thereto. Not done. The control unit 127 realizes processing regarding various operations of the flying
図11は、実施形態に係る携帯端末の処理の一例を示すフローチャートである。図11に示す処理は、コントローラ10が、制御プログラム9A及び飛行体連携プログラム9Bを実行することにより実現される。
FIG. 11 is a flowchart showing an example of processing of the mobile terminal according to the embodiment. The processing illustrated in FIG. 11 is realized by the controller 10 executing the
図11に示すように、コントローラ10は、飛行体100が飛行中であるかを判定する(ステップS101)。
As shown in FIG. 11, the controller 10 determines whether the flying
コントローラ10は、判定の結果、飛行体100が飛行中である場合(ステップS101,Yes)、所定のイベントが発生したかを判定する(ステップS102)。
As a result of the determination, the controller 10 determines whether or not a predetermined event has occurred when the flying
コントローラ10は、判定の結果、所定のイベントが発生した場合(ステップS102,Yes)、セキュリティロック状態であるかを判定する(ステップS103)。 As a result of the determination, the controller 10 determines whether or not the security lock state is set when a predetermined event occurs (step S102, Yes) (step S103).
コントローラ10は、判定の結果、セキュリティロック状態である場合(ステップS103,Yes)、飛行体100において計測されるユーザとの距離が閾値未満であるかを判定する(ステップS104)。ユーザは、飛行体100に搭載されている携帯端末1のユーザである。
As a result of the determination, if the controller 10 is in the security lock state (Yes at step S103), the controller 10 determines whether the distance measured with the user on the flying
コントローラ10は、判定の結果、ユーザとの距離が閾値未満である場合(ステップS104,Yes)、第1の認証方法を選択する(ステップS105)。 As a result of the determination, the controller 10 selects the first authentication method when the distance to the user is less than the threshold (step S104, Yes) (step S105).
コントローラ10は、セキュリティロックを解除するため、ステップS105で選択された第1の認証方法による認証処理を実行して(ステップS106)、図11に示す処理を終了する。 In order to release the security lock, the controller 10 executes the authentication process by the first authentication method selected in step S105 (step S106), and ends the process shown in FIG.
上記ステップS104において、コントローラ10は、判定の結果、ユーザとの距離が閾値未満ではない場合(ステップS104,No)、第2の認証方法を選択する(ステップS107)。 In the above step S104, the controller 10 selects the second authentication method if the result of the determination is that the distance to the user is not less than the threshold value (step S104, No) (step S107).
コントローラ10は、第2の認証方法を選択後、携帯端末1からの指示に基づいて高度調整処理を実行する(ステップS108)。 After selecting the second authentication method, the controller 10 executes altitude adjustment processing based on an instruction from the mobile terminal 1 (step S108).
コントローラ10は、高度調整処理を完了後、セキュリティロックを解除するため、ステップS107で選択した第2の認証方法による認証処理を実行して(ステップS109)、図11に示す処理を終了する。 After completing the altitude adjustment processing, the controller 10 executes the authentication processing by the second authentication method selected in step S107 to release the security lock (step S109), and ends the processing shown in FIG.
上記ステップS103において、コントローラ10は、判定の結果、セキュリティロック状態ではない場合(ステップS103,No)、図11に示す処理を終了する。 In the above-mentioned step S103, the controller 10 ends the process shown in FIG. 11 when the result of the determination is that it is not in the security lock state (step S103, No).
上記ステップS102において、コントローラ10は、判定の結果、所定のイベントが発生していない場合(ステップS102,No)、図11に示す処理を終了する。 As a result of the determination in step S102, if the predetermined event has not occurred (No in step S102), the controller 10 ends the process illustrated in FIG.
上記ステップS101において、コントローラ10は、判定の結果、飛行体100が飛行中ではない場合(ステップS101,No)、図11に示す処理を終了する。
In the above-mentioned step S101, the controller 10 ends the processing shown in FIG. 11 when the flying
図12は、実施形態に係る高度調整処理の一例を示すフローチャートである。図12に示す処理は、コントローラ10が、制御プログラム9A及び飛行体連携プログラム9Bを実行することにより実現される。
FIG. 12 is a flowchart showing an example of the altitude adjustment processing according to the embodiment. The process illustrated in FIG. 12 is realized by the controller 10 executing the
図12に示すように、コントローラ10は、ユーザの姿勢を特定する(ステップS201)。 As shown in FIG. 12, the controller 10 identifies the posture of the user (step S201).
コントローラ10は、認証実行高度設定テーブル9Lに基づいて、ステップS201で特定したユーザの姿勢に応じた認証実行高度を算出する(ステップS202)。 The controller 10 calculates the authentication execution altitude according to the posture of the user identified in step S201 based on the authentication execution altitude setting table 9L (step S202).
コントローラ10は、気圧センサ18の検出結果に基づいて、現在の飛行体100(携帯端末1)の飛行高度を算出する(ステップS203)。コントローラ10は、動力制御部124の制御状況を参照して、自機が装着されている飛行体100が飛行を開始してから、どの程度上昇したかを推定し、飛行高度を算出してもよい。
The controller 10 calculates the current flight altitude of the flying object 100 (mobile terminal 1) based on the detection result of the atmospheric pressure sensor 18 (step S203). Even if the controller 10 refers to the control status of the power control unit 124, estimates how much the flying
コントローラ10は、ステップS202で算出した認証実行高度と、ステップS203で算出した現在の飛行高度とが一致するかを判定する(ステップS204)。 The controller 10 determines whether the authentication execution altitude calculated in step S202 and the current flight altitude calculated in step S203 match (step S204).
コントローラ10は、判定の結果、認証実行高度と現在の飛行高度とが一致する場合(ステップS204,Yes)、図12に示す処理を終了する。 As a result of the determination, the controller 10 ends the process illustrated in FIG. 12 when the authentication execution altitude and the current flight altitude match (step S204, Yes).
一方、コントローラ10は、判定の結果、認証実行高度と現在の飛行高度とが一致しない場合(ステップS204,No)、高度調整指示を飛行体100に送信して(ステップS205)、上記ステップS203の処理手順に戻る。 On the other hand, if the result of determination is that the authentication execution altitude and the current flight altitude do not match (step S204, No), the controller 10 transmits an altitude adjustment instruction to the air vehicle 100 (step S205), and the above step S203 is executed. Return to the processing procedure.
上記の実施形態では、携帯端末1が搭載された飛行体100が、携帯端末1における所定のイベントの発生を契機として、携帯端末1とユーザとの距離に応じて、セキュリティロックを解除するための認証方法を選択することができる。携帯端末1は、例えば、携帯端末1がユーザの手元にあると判断できる場合は指紋認証を選択し、携帯端末1がユーザの手元にないと判断できる場合は虹彩認証、顔認証または音声認証を選択できる。このため、携帯端末1を搭載した飛行体100がユーザと離れていても、虹彩認証などの非接触型の認証処理を実行してセキュリティロックを解除できる。
In the above-described embodiment, the
上記の実施形態では、携帯端末1は、第2の認証方法を選択しているとき、ユーザの姿勢に応じて、第2の認証方法による認証を実行するための高度を設定できる。このため、認証処理に必要な画像データなどを取得しやすい。
In the above-described embodiment, when the second authentication method is selected, the
上述してきたように、上記の実施形態は、飛行体100が有する飛行性能を応用する技術の改善手法の一例を提案できる。すなわち、上記の実施形態によれば、携帯端末1を飛行体100に搭載することにより、セキュリティロックの解除に関して、ユーザの利便性に寄与する付加価値をユーザに提供できる。
As described above, the above-described embodiment can propose an example of an improvement method of a technique that applies the flight performance of the flying
上記の実施形態では、携帯端末1が選択する第1の認証方法の候補として指紋認証を例示するが、パスワード認証など、ユーザ接触型の認証方法であれば、任意の認証方法を採用できる。
In the above embodiment, fingerprint authentication is exemplified as a candidate for the first authentication method selected by the
上記の実施形態では、携帯端末1が選択する第2の認証方法の候補として、虹彩認証、顔認証及び音声認証などを例示した。上記の実施形態において、携帯端末1が、虹彩認証及び顔認証の少なくとも一方による認証処理に失敗した場合に、音声認証を実行してもよい。
In the above embodiment, the iris authentication, the face authentication, the voice authentication, and the like are illustrated as the second authentication method candidates selected by the
上記の実施形態において、携帯端末1が第2の認証方法として音声認証を実行する場合、方位センサ16の検出結果に基づいて、マイク8の方向をユーザの顔の方向に向けるように制御してもよい。
In the above-described embodiment, when the
上記の実施形態では、認証処理を実行するので、携帯端末1を飛行体100に搭載した状態で飛行させても安全性を担保できる。なお、上記の実施形態において、携帯端末1は、認証処理を実行するエリアを予め設定しておき、GPS受信機20などで取得される位置情報に基づいて該当エリアであると認定されるとき、認証処理を実行してもよい。
In the above-described embodiment, since the authentication process is executed, the safety can be ensured even if the
上記の実施形態において、携帯端末1が、飛行体100が有するセンサユニット125の検出結果を利用できるようにしてもよい。例えば、連結フレーム130に対する操作を介して指紋を取得する指紋センサをセンサユニット125に搭載し、取得した指紋データを携帯端末1に送信してもよい。例えば、携帯端末1は、距離画像センサ125bの計測結果に基づいて、ユーザから所定距離範囲に接近したかを直接判定してもよい。上記の実施形態において、携帯端末1が、飛行体100が有する距離画像センサ125bに対応するセンサを備え、自機に搭載されたセンサの検出結果に基づいてユーザとの距離を測定してもよい。上記の実施形態において、携帯端末1が有するコントローラ10が、飛行体100の飛行動力の制御を実行できるようにしてもよい。上記実施形態において、飛行体100は、携帯端末1が備える各センサの検出結果を利用できるようにしてもよい。例えば、飛行体100は、携帯端末1が備える方位センサ16の検出結果に基づいて、飛行体100の機首が向く方向のなす角度を計測してもよい。
In the above-described embodiment, the
上記の実施形態では、携帯端末1と飛行体100とを近距離無線接続を確立してペアリングすることにより、携帯端末1と飛行体100との間の通信が可能な状態に接続される例を説明したが、携帯端末1と飛行体100とをケーブルなどによって電気的に接続することにより通信可能な状態としてもよい。
In the above-described embodiment, an example in which the
携帯端末1は、飛行中にセキュリティロックが解除されると、飛行中でないと検知するまで、再びセキュリティロック状態に設定しなくてもよい。携帯端末1は、飛行中にセキュリティロックを解除した後、飛行中でないと検知すると、再びセキュリティロック状態になるよう設定されてよい。このような携帯端末1は、飛行中において一度セキュリティロックが解除されれば、飛行中でないと検知するまでセキュリティロック状態になることがないので、ユーザは、携帯端末1の飛行中にセキュリティロック解除操作を何度もおこなうことなく飛行中の携帯端末1を操作することができる。また、携帯端末1は、飛行中でないと検知すると再びセキュリティロック状態になるため、ある程度のセキュリティレベルを担保することができる。
When the security lock is released during flight, the
携帯端末1は、飛行中にセキュリティロックが解除されると、所定の操作指示を受け付けない状態が続いたとしても、飛行中でないと検知するまで、スリープ状態とならないようにしてもよい。携帯端末1は、飛行中にセキュリティロックを解除した後、飛行中でないと検知するとスリープ状態になるよう設定されてよい。このような携帯端末1は、飛行中において一度セキュリティロックが解除されれば、飛行中でないと検知するまでスリープ状態になることがないので、ユーザは、携帯端末1の飛行中にスリープ状態から復帰させる操作を行うことなく飛行中の携帯端末1を操作することができる。スリープ状態は、例えば、ディスプレイ2Aのバックライトを消灯する等、一部の機能を制限する省電力モードを含む。
When the security lock is released during flight, the
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。 The characteristic embodiments have been described for the purpose of fully and clearly disclosing the technology according to the appended claims. However, the appended claims are not to be limited to the above-described embodiments, but all variations and alternatives that can be created by a person skilled in the art within the scope of the basic matters shown in this specification. It should be embodied by a possible configuration.
1 携帯端末
2A ディスプレイ
2B タッチスクリーン
2 タッチスクリーンディスプレイ
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9B 飛行体連携プログラム
9C ユーザ探索用データ
9D 指紋認証アプリケーション
9E 虹彩認証アプリケーション
9F 顔認証アプリケーション
9G 音声認証アプリケーション
9H 指紋認証用データ
9I 虹彩認証用データ
9J 顔認証用データ
9K 音声認証用データ
9L 認証実行高度設定テーブル
9Z 設定データ
10 コントローラ
11 スピーカ
12 カメラ
13 カメラ
14 コネクタ
15 加速度センサ
16 方位センサ
17 角速度センサ
18 気圧センサ
19 圧力センサ
20 GPS受信機
1
Claims (6)
前記飛行装置と通信する通信部と、
自機が装着された前記飛行装置が飛行中であるかを判定し、判定の結果、前記飛行装置が飛行中であるときに所定の機能を実行する制御部と、を備え、
前記制御部は、
所定のイベントが発生すると、自機のユーザまでの距離を計測し、
前記距離が閾値未満である場合、第1の認証方法により認証処理を実行し、
前記距離が閾値以上である場合、第2の認証方法により認証処理を実行する携帯電子機器。 A portable electronic device that is detachably attached to a flight device,
A communication unit that communicates with the flight device;
A control unit that determines whether the flying device to which the aircraft is attached is in flight, and, as a result of the determination, executes a predetermined function when the flying device is in flight;
The control unit is
When a predetermined event occurs, measure the distance to your user,
If the distance is less than the threshold value, the authentication process is executed by the first authentication method,
A portable electronic device that performs an authentication process by a second authentication method when the distance is equal to or greater than a threshold value.
前記制御部は、
前記第2の認証方法により認証処理を実行する場合、前記ユーザ情報に基づいて前記飛行装置の飛行高度が所定の高さに調整されるように、前記飛行装置に対して指示する信号を送信する請求項1に記載の携帯電子機器。 Further comprising a storage for storing user information regarding the physical characteristics of the user,
The control unit is
When the authentication processing is executed by the second authentication method, a signal instructing the flying device is transmitted so that the flight altitude of the flying device is adjusted to a predetermined height based on the user information. The portable electronic device according to claim 1.
前記第2の認証方法は、虹彩認証、顔認証及び音声認証の少なくとも1つを含む請求項1又は2に記載の携帯電子機器。 The first authentication method includes fingerprint authentication,
The portable electronic device according to claim 1, wherein the second authentication method includes at least one of iris authentication, face authentication, and voice authentication.
前記携帯電子機器は、
前記飛行装置と通信する通信部と、
気圧検出部と、
前記気圧検出部の検出結果に基づいて、自機が装着された前記飛行装置が飛行中であるかを判定し、判定の結果、前記飛行装置が飛行中であるときに所定の機能を実行する制御部と、を備え、
前記制御部は、
所定のイベントが発生すると、自機のユーザまでの距離を計測し、
前記距離が閾値未満である場合、第1の認証方法により認証処理を実行し、
前記距離が閾値以上である場合、第2の認証方法により認証処理を実行する、セキュリティシステム。 A security system including a flying device and a portable electronic device detachably attached to the flying device,
The portable electronic device,
A communication unit that communicates with the flight device;
An atmospheric pressure detector,
Based on the detection result of the atmospheric pressure detection unit, it is determined whether the flight device equipped with the aircraft is in flight, and as a result of the determination, a predetermined function is executed when the flight device is in flight. And a control unit,
The control unit is
When a predetermined event occurs, measure the distance to your user,
If the distance is less than the threshold value, the authentication process is executed by the first authentication method,
A security system that performs an authentication process by a second authentication method when the distance is equal to or greater than a threshold value.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017145921A JP6703507B2 (en) | 2017-07-27 | 2017-07-27 | Portable electronic device and security system |
PCT/JP2018/026986 WO2019021915A1 (en) | 2017-07-27 | 2018-07-18 | Aircraft, portable electronic instrument, security system, and telephone system |
US16/750,706 US10948908B2 (en) | 2017-07-27 | 2020-01-23 | Unmanned aerial vehicle and mobile electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017145921A JP6703507B2 (en) | 2017-07-27 | 2017-07-27 | Portable electronic device and security system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019026022A JP2019026022A (en) | 2019-02-21 |
JP6703507B2 true JP6703507B2 (en) | 2020-06-03 |
Family
ID=65477460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017145921A Active JP6703507B2 (en) | 2017-07-27 | 2017-07-27 | Portable electronic device and security system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6703507B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7053937B1 (en) * | 2021-09-30 | 2022-04-12 | Kddi株式会社 | Communication terminal, management system and communication control method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9518821B2 (en) * | 2012-08-02 | 2016-12-13 | Benjamin Malay | Vehicle control system |
US9954992B2 (en) * | 2014-11-27 | 2018-04-24 | Purdue Research Foundation | Mobile device enabled robotic system |
US9738380B2 (en) * | 2015-03-16 | 2017-08-22 | XCraft Enterprises, LLC | Unmanned aerial vehicle with detachable computing device |
JP6212663B1 (en) * | 2016-05-31 | 2017-10-11 | 株式会社オプティム | Unmanned aircraft flight control application and unmanned aircraft flight control method |
CN206171830U (en) * | 2016-09-23 | 2017-05-17 | 珠海格力电器股份有限公司 | Aircraft and system of taking photo by plane |
-
2017
- 2017-07-27 JP JP2017145921A patent/JP6703507B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019026022A (en) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9665124B2 (en) | Wearable device and method of controlling the same | |
KR102351500B1 (en) | Mobile terminal and method for controlling the same | |
JP6549693B2 (en) | Wearable device, control method and control program | |
JP6713960B2 (en) | Portable electronic devices, air vehicles and telephone systems | |
KR20160045269A (en) | Wearable device and mobile terminal for supporting communication with the device | |
JP5950546B2 (en) | Portable electronic device, method and program | |
JP6703507B2 (en) | Portable electronic device and security system | |
US20190069136A1 (en) | Electronic device and system | |
WO2017032180A1 (en) | Method and device for shifting angle of image captured by electronic terminal | |
KR102434869B1 (en) | Mobile terminal and its control method | |
US10948908B2 (en) | Unmanned aerial vehicle and mobile electronic device | |
KR20210040759A (en) | Mobile terminal | |
KR20150133597A (en) | Mobile terminal and controlling method thereof | |
KR20150106535A (en) | Mobile terminal and controlling method thereof | |
JP6261546B2 (en) | Portable device, control method and control program | |
JP2016092476A (en) | Electronic apparatus, control method, and control program | |
JP6789189B2 (en) | Aircraft and portable electronics | |
KR20150145550A (en) | Mobile terminal | |
JP2019041187A (en) | Portable terminal and system | |
JP2016136351A (en) | Electronic apparatus and control method | |
KR20170014904A (en) | Wearable device and method for controlling the same | |
WO2018214967A1 (en) | Method for generating blurred photograph, and storage device and mobile terminal | |
EP3236680B1 (en) | Changing the sensitivity of an aceleration sensor of a mobile phone | |
JP6141491B2 (en) | Portable electronic device, method and program | |
KR20170081896A (en) | Mobile terminal and method for controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200204 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200204 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6703507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |