JP2016159685A - 飛行体 - Google Patents

飛行体 Download PDF

Info

Publication number
JP2016159685A
JP2016159685A JP2015037922A JP2015037922A JP2016159685A JP 2016159685 A JP2016159685 A JP 2016159685A JP 2015037922 A JP2015037922 A JP 2015037922A JP 2015037922 A JP2015037922 A JP 2015037922A JP 2016159685 A JP2016159685 A JP 2016159685A
Authority
JP
Japan
Prior art keywords
information
display
target person
transmission target
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015037922A
Other languages
English (en)
Other versions
JP6455977B2 (ja
Inventor
佐古 曜一郎
Yoichiro Sako
曜一郎 佐古
將洋 鈴木
Masahiro Suzuki
將洋 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mico Latta Inc
Original Assignee
Mico Latta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mico Latta Inc filed Critical Mico Latta Inc
Priority to JP2015037922A priority Critical patent/JP6455977B2/ja
Publication of JP2016159685A publication Critical patent/JP2016159685A/ja
Application granted granted Critical
Publication of JP6455977B2 publication Critical patent/JP6455977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】観視者に何等の負担をかけずに、観視者の属性に応じた表示情報を提供する飛行体を提供する。【解決手段】空中を飛行するための空中飛行機構部2と、表示画面を具備するディスプレイ9と、ディスプレイの表示画面を観視する観視者を撮影するためのカメラCM1〜CM6と、カメラで撮影した観視者の撮影画像から、観視者の属性を認定する属性認定部と、属性認定部により認定した観視者の属性に応じて、表示画面に表示する表示情報を制御する制御部とを備える。【選択図】図1

Description

この発明は、表示画面を具備するディスプレイを備える飛行体に関する。
案内やお知らせなどを複数の人に伝達する手段としては、印刷物を回覧させることが一般的には行われる。最近は、会社などにおいては、社員のそれぞれにパソコンを配布するようにしており、そのような組織においては、案内やお知らせを伝達する方法としては、電子メールが用いられる場合もある。
また、不特定多数の人々に広告情報を伝達する用途としては、最近はデジタルサイネージと呼ばれるシステムも登場している。そして、例えば特許文献1(特開2014−32458号公報)に開示されているように、このデジタルサイネージシステムにおいては、商品に関する属性と、所定の関係のある属性を持った人間を検出したら、その商品に関する画像を表示するようにすることも行われている。
特開2014−32458号公報
印刷物により案内やお知らせを回覧して複数の人に伝達する方式では、当該印刷物を、次々に人と人との間で手渡しする必要があり、面倒であり、伝達が遅延してしまいがちとなるという欠点がある。
電子メールによる一斉同報の方式で案内やお知らせを伝達する方法であれば、迅速に案内やお知らせを送信することができるが、電子メールは、受信情報について開く操作をしないと、表示されないので、電子メールを開かなかった人には、案内やお知らせが事実上届かないという事態を生じることがある。また、電子メールを開いても、読み飛ばしてしまった人には、案内やお知らせが事実上届かないという事態を生じる。さらに、電子メールによる方法は、そもそも、パソコンやスマートフォンなどの表示画面を具備する端末装置を所持していない場合には、情報の伝達ができないという問題がある。
また、上述の特許文献1のデジタルサイネージシステムによれば、商品に関する属性と所定の関係のある属性を持った人間に対して、当該商品の広告などの画像を表示することができて便利であるが、デジタルサイネージシステムでは、表示画面が存在している場所に行かないとその表示画像を観視することができない。このため、情報の回覧などを行うことができないという問題がある。
この発明は、以上のような問題点を解決することを目的とする。
上記の課題を解決するために、請求項1の発明は、
空中を飛行するための空中飛行機構部と、
表示画面を具備するディスプレイと、
前記表示画面を観視する観視者を撮影するためのカメラと、
前記カメラの撮影画像から前記観視者の属性を認定する属性認定部と、
前記属性認定部により認定した前記観視者の属性に応じて、前記表示画面に表示する表示情報を制御する制御部と、
を備える飛行体を提供する。
上述の構成の請求項1の発明の飛行体は、空中飛行機構部により観視者の元に赴き、カメラにより、当該飛行体が具備する表示画面を観視する観視者を撮影し、その撮影画像から、観視者の属性、例えば男性、女性、子供などを認定する。そして、認定した観視者の属性に応じた表示画像を表示するなど、観視者の属性に応じて、表示画面に表示する表示情報を制御する。
したがって、観視者は、表示画面のところに自分で赴く必要はなく、しかも、自分の属性に応じた表示画像を観視できる。一方、飛行体の所有者側から見たときには、観視者の属性に応じた表示画像を複数個用意しておき、その属性に応じた表示画像を観視者に呈示することができ、非常に便利である。
また、請求項6の発明は、
空中を飛行するための空中飛行機構部と、
現在位置を検出する現在位置検出部と、
表示画面を具備するディスプレイと、
前記表示画面を観視する観視者を撮影するためのカメラと、
情報の伝達対象者として登録されている複数人の属性情報を記憶する伝達対象者情報記憶部と、
伝達する情報を受け付ける伝達情報受付部と、
前記伝達情報受付部で受け付けた情報を伝達する伝達対象者の属性の指定を受け付けるための属性指定受付部と、
制御部と、
を備え、
前記伝達対象者情報記憶部に記憶される前記伝達対象者の属性には、各伝達対象者の顔画像と、各伝達対象者の位置情報を含むと共に、
前記カメラの撮影画像から前記伝達対象者記憶部に顔画像が記憶されている観視者を認識する画像認識部をさらに備え、
前記制御部は、
前記属性指定受付部を通じて指定された属性に基づいて前記情報を伝達する前記伝達対象者を認定し、
前記伝達対象者情報記憶部の前記認定した前記伝達対象者の位置情報と、前記現在位置検出部で検出した現在位置の情報とに基づいて、前記認定した伝達対象者の元に飛行移動するように前記空中飛行駆動部を制御し、
前記認定した伝達対象者の元に飛行移動したら前記画像認識部で前記認定した伝達対象者を画像認識し、当該画像認識した前記認識した伝達対象者に対して、前記伝達する情報を前記表示画面に表示するように制御する
ことを特徴とする飛行体を提供する。
この請求項6の発明の飛行体は、利用者からの、伝達情報受付部で伝達したい情報を受け付けると共に、属性指定受付部で情報を伝達したい伝達対象者の属性の指定を受け付けると、制御部は、指定された属性に基づいて情報を伝達する伝達対象者を認定する。そして、制御部は、認定した伝達対象者の位置情報を伝達対象者情報記憶部から取得すると共に、現在位置の情報を現在位置検出部で検出し、それらに基づいて、認定した伝達対象者の元に飛行移動するように空中飛行駆動部を制御する。さらに、制御部は、認定した伝達対象者の元に飛行移動したら、画像認識部で当該認定した伝達対象者を画像認識して確認し、その確認した伝達対象者に対して、伝達する情報を表示画面に表示することで、情報を伝達するように制御する。
したがって、請求項6の発明の飛行体によれば、印刷物の回覧版のように伝達対象者が次の伝達対象者に手渡し回送する必要がなく、また、デジタルサイネージのように、伝達対象者が自分で出向いて表示画面を見る必要もないので、非常に便利である。そして、情報を伝達する伝達者は、伝達対象者情報記憶部に記憶されている伝達対象者の属性を指定するだけで、自分が伝達したい相手となる伝達対象者を特定して、情報を伝達することができる。例えば、伝達者は、属性として名前が登録されている場合には、その名前を指定することで、伝達対象者を特定することができる。また、属性として男性のみ、女性のみ、所定の所属部署の人のみ、等の指定も可能となり、便利である。
請求項1の発明による飛行体によれば、観視者は、デジタルサイネージの場合のように表示画面のところに自分で赴く必要はなく、自分の属性に応じた表示画像を観視できる。一方、飛行体の表示画面に情報を呈示させる者は、観視者の属性に応じた表示画像を複数個用意しておくだけで、飛行体が観視者の所に赴き、その観視者の属性に応じた表示画像を当該観視者に呈示することができ、非常に便利である。
また、請求項6の発明によれば、印刷物の回覧版のように伝達対象者が次の伝達対象者に手渡し回送する必要がなく、また、デジタルサイネージのように、伝達対象者が自分で出向いて表示画面を見る必要もないので、非常に便利である。そして、情報を伝達する伝達者は、伝達対象者情報記憶部に記憶されている伝達対象者の属性を指定するだけで、自分が伝達したい相手となる伝達対象者を特定して、情報を伝達することができるという効果がある。
この発明による飛行体の第1の実施形態の機構的構成例を示す図である。 この発明による飛行体の第1の実施形態の駆動制御装置部の構成例を示すブロック図である。 図2の一部を説明するために用いる図である。 この発明による飛行体の第1の実施形態の動作を説明するためのフローチャートの一部を示す図である。 この発明による飛行体の第1の実施形態の動作を説明するためのフローチャートの一部を示す図である。 この発明による飛行体の第1の実施形態の動作を説明するためのフローチャートの一部を示す図である。 この発明による飛行体の第1の実施形態の動作を説明するためのフローチャートの一部を示す図である。 この発明による飛行体の第1の実施形態の利用態様の一例を説明するための図である。 この発明による飛行体の第1の実施形態の利用態様の一例を説明するための図である。 この発明による飛行体の第2の実施形態の利用態様の一例を説明するための図である。 この発明による飛行体の第2の実施形態の動作を説明するためのフローチャートを示す図である。 この発明による飛行体の第3の実施形態を説明するための図である。
[第1の実施形態]
第1の実施形態は、指定された伝達対象者に、所定の伝達情報(表示情報)を伝達することができるように構成した飛行体の場合である。
図1は、この発明による飛行体の第1の実施形態の構成例を示す図である。この発明の実施形態の飛行体1は、自律して空中を飛行して移動可能なように構成されている。図1(A)は、この実施形態の飛行体1を、その上方から見た図であり、また、図1(B)は、この実施形態の飛行体1を、正面から見た図である。
この実施形態の飛行体1は、いわゆるクワッドコプターの構造の空中飛行機構部2と、駆動制御ユニット3とを備える。空中飛行機構部2は、駆動制御ユニット3により駆動制御される。図1に示すように、空中飛行機構部2は、駆動制御ユニット3から延びる4本のアーム4A,4B,4C,4Dの先端に、回転翼(ローター)機構5A,5B,5C,5Dが取り付けられて構成されている。
回転翼機構5A,5B,5C,5Dは、モータ駆動部51A,51B,51C,51Dのそれぞれにより回転翼シャフト(図示は省略)を回転駆動することにより、回転翼52A,52B,52C,52Dを回転駆動するように構成されている。モータ駆動部51A,51B,51C,51Dは、駆動制御ユニット3からの駆動制御信号により回転速度及び回転方向が制御される。モータ駆動部51A,51B,51C,51Dや駆動制御ユニット3は、バッテリー(図示は省略)を回転駆動用の電源や駆動制御用の電源として用いている。後述するカメラ、マイクロフォン、各種センサ、ディスプレイ、制御部などもバッテリーから電源を供給される。バッテリーは、例えば、充電可能な二次電池が用いられる。また、太陽電池を用いることもできる。太陽電池を搭載した場合、屋外で日中であれば、飛行体1は太陽光で充電しながら飛行できるという利点がある。
この例においては、駆動制御ユニット3からの駆動制御信号によって、モータ駆動部51A,51B,51C,51Dのそれぞれが独立に制御されることにより、飛行体1は、離陸、着陸、上昇(真上、斜め上)、下降(真下、斜め下)、右旋回、左旋回、前進、後進、右シフト、左シフトなどの各種移動動作をすることができるようにされていると共に、鉛直方向に対する傾き角などの姿勢制御及びホバーリング位置の位置制御ができるようにされている。
そして、この実施形態の飛行体1においては、駆動制御ユニット3と一体的に、後述するカメラ、マイクロフォンや各種センサなどが取り付けられると共に、制御部を含む駆動制御装置部10を内蔵する筐体6が形成されている。筐体6は、この例では、全体として箱型の形状に構成されている。
筐体6には、2個の脚部7A,7Bが互いに対向するように取り付けられている。この例では、脚部7A,7Bは、台形形状に成形されたパイプ部材からなり、図1(B)に示すように、着地面8において、安定して飛行体1を保持するように形成されている。脚部の形状や部材はこれに限らず、種々考えられる。例えば、筐体6の四隅に4本の脚部が円柱形上に成形された木材や金属材料であってもよい。また、着地面8での移動を容易にするため、脚部に可動輪を装着してもよい。
そして、回転翼52A,52B,52C,52Dの上方の、当該回転翼52A,52B,52C,52Dの回転の邪魔にならない位置には、表示画面9Dを具備するディスプレイ9が、筐体6の駆動制御ユニット3の部分の上面から植立されている支持フレーム9Fに固定されることにより支持されて設けられている。このディスプレイ9は、この例では、LCD(Liquid Crystal Display;液晶ディスプレイ)で構成された薄型の構成とされている。ディスプレイ9は、有機EL(Electroluminescence)等その他の表示デバイスを用いたディスプレイの構成であってよい。なお、図1では、ディスプレイ9は平板形状とされているが、表示画面を正面から見る観視者以外の他者から表示画面を見辛くするように、曲面の形状とするようにしてもよい。また、観視者以外の他者から表示画面を見辛くするとともに、太陽光や室内光の映り込みで表示画面が見辛くならないように、ディスプレイ9に庇または覆いをつけてもよい。
また、ディスプレイ9と支持フレーム9Fとの間の連結部9FA及び9FBは、固定的な連結状態であってもよいし、この連結部9FAの中心位置と連結部9FBの中心位置とを繋ぐ直線を回動中心として、ディスプレイ9が回動可能に連結されていてもよい。また、支持フレーム9Fが可動可能に植立されていてもよい。例えば、360度回転可動可能にすれば、飛行体1の向きがどの向きであっても、観視者は表示画面を正面から見ることができる。表示画面9Dの向きを手動で動かすのではなく、自動で、表示画面9Dを回動可能(上下回転)、回転可能(左右回転)させる機構を設けて、伝達対象者の見やすい表示位置にしたり、秘密情報のため、他の人には見えないように表示位置を変えたり、屋外の場合に逆光を避ける表示位置としたり制御することができるように構成してもよい。更に、表示画面9Dの視野角を調整する手段を設け、表示画面9Dに秘密情報を表示する場合には、他の人から見えないように視野角を狭くするように制御してもよい。また、視認性向上のために、飛行体1に屋内・屋外を判別する機能、逆光状態や光量など周囲環境を判別する機能を持たせ、その判別結果に応じて、表示画面9Dの明るさ制御やコントラスト制御をできるようにしてもよい。
この例では、ディスプレイ9は、筐体6に別体で植立されていたが、ディスプレイを筐体6の四方の面の一面もしくは複数の面に組み込む形式でもよいことはもちろんである。また、ディスプレイを筐体6の底面に組み込み、観視者が下から見上げる形で観視できるようにしてもよい。もちろん、ディスプレイ9と併用してもよい。なお、複数ディスプレイの場合、各表示画面に同じ内容を表示してもよいし、異なる内容を表示してもよい。同じ内容の場合は、観視者にとって好適な位置の表示画面を選択でき、また複数の観視者に同時に同じ情報を伝達できるという利点がある。また、異なる内容の場合は、複数の観視者に各観視者が必要となる別々の情報を伝達することができ、便利である。
なお、以下の説明においては、ディスプレイ9の表示画面9Dが向く方向の側を、飛行体1の正面とする。
この例においては、図1(A),(B)に示すように、筐体6の正面には、カメラCM1が設けられていると共に、マイクロフォンMCが設けられている。また、この筐体6の正面には、スピーカSPも設けられている。筐体の左、右側面には、図1(A)及び(B)に示すように、カメラCM2、CM3がそれぞれ設けられると共に、筐体6の背面には、カメラCM4が設けられる。さらに、筐体6の底面には、図1(B)に示すように、カメラCM5が設けられる。更に、ディスプレイ9の表示画面9Dの枠部の上部の中央には、カメラCM6が設けられる。
カメラCM1〜CM6の光軸(撮影方向に対応)は、カメラCM1〜CM6のそれぞれの取り付け面に直交する方向となり、それぞれ光軸方向を中心として所定の画角範囲が撮影可能となる。
筐体6内には、駆動制御装置部10が設けられている。図2は、この実施形態の飛行体1における駆動制御装置部10の構成例を示すブロック図である。なお、図2ではバッテリーを省略した。
図2に示すように、この実施形態における駆動制御装置部10は、マイクロコンピュータ(図2ではマイコンと省略)からなる制御部101に対して、システムバス100を通じて、空中飛行駆動部102、ジャイロセンサ103、地磁気センサ104、高度センサ105、障害物センサ106、移動空間情報メモリ107、現在位置検出部108、飛行駆動信号生成部109、位置姿勢制御信号生成部110、カメラ群111、伝達対象者情報メモリ112、伝達情報入力受付部113、伝達表示情報メモリ114、画像認識部115、音声インターフェース部116、音声認識部117、注意喚起音発生部118、伝言メッセージメモリ119、表示制御部120、操作部121、のそれぞれが接続されて構成されている。
音声インターフェース部116には、マイクロフォンMCが接続されていると共に、スピーカSPが接続されている。また、表示制御部120には、ディスプレイ9が接続されている。
空中飛行駆動部102は、制御部101の制御に従って、空中飛行機構部2の回転翼機構5A,5B,5C,5Dのモータ駆動部51A,51B,51C,51Dのそれぞれに、駆動制御信号を供給する。
ジャイロセンサ103は、飛行体1の飛行中における加速度変化を検出するもので、飛行体1の飛行進行方向やその速度、また、姿勢を検出するために用いられる。地磁気センサ104は、飛行体1が、どの方位に飛行移動しているかを検出するために用いられる。高度センサ105は、飛行体1が当該時点で位置している高度を検出するためのもので、例えば気圧センサからなる。
障害物センサ106は、光や赤外線、あるいは超音波などを発して、障害物からの反射波を検出することで、障害物の存在を検出すると共に、光や赤外線、あるいは超音波などを発してから、反射波を受信するまでの時間や減衰量を検出して、その時間や減衰量から、検出した障害物までの距離を算出することができるものとされている。この実施形態では、障害物センサ106は、飛行体1が使用される空間(以下、移動空間という)における障害物、例えば室内の壁やタンス、ベッド、机などの障害物や、戸外の移動空間における電柱、建物、樹木などの障害物を検知して、それらに対する衝突を回避して飛行するために用いられる。
移動空間情報メモリ107には、飛行体1が使用される室内や戸外の移動空間に関する空間情報が記憶される。戸外の移動空間は、例えばテーマパークや、アミューズメントパーク、動物園、コンサート会場、サッカースタジアム、野球場等の限られた範囲の空間を対象とする。もちろん、限られた範囲の空間に限定することなく、自宅周辺、会社周辺、駅周辺、空港周辺など、飛行体1の飛行範囲内であれば、移動空間として移動空間情報メモリ107に空間情報が記憶される。
この実施形態の飛行体1の制御部101のメモリには、パノラマ写真用のアプリケーションプログラム(例えばPhotosynth)が格納されており、事前に、飛行体1が、移動空間内を飛行して、カメラCM1〜CM6の全てあるいは一部を用いて、当該移動空間内のそれぞれの場所において360度の範囲で撮影する。そして、制御部101は、パノラマ写真用のアプリケーションプログラムを用いて、その撮影した撮影画像情報から移動空間内のそれぞれの地点での3D画像情報を生成し、当該生成した3D画像情報を移動空間情報メモリ107に記憶する。
この場合に、この例では、飛行体1は、それが使用される移動空間の特定の場所をホームポジションとして定め、その位置を基地として離着陸するようにする。特定の場所は、通常の待機場所である充電ステーションに定めてもよい。なお、ホームポジションは特定の場所ではなく、特定の人とすることもできる。例えば、情報の伝達者をホームポジションとすることができ、その人の近傍位置を基地として離着陸するようにする。この場合、伝達者をホームポジションと定めるときに、伝達者の顔画像をカメラCM6で撮影し、位置情報とともに登録する。伝達者が移動した場合は、伝達者の元居た位置まで戻り、その後、伝達者を顔画像認識で追尾する。伝達者の移動先が、新たなホームポジションであり、その近傍位置が基地となる。
移動空間情報メモリ107に記憶されている情報には、前記定められたホームポジションの位置情報も記憶される。また、移動空間情報メモリ107には、移動空間が室内である場合には、使用される室の縦、横、高さの情報も予め記憶される。さらに、移動空間が室内である場合には、梁やパイプスペース、柱など、使用される室の構造情報も予め記憶してもよいし、移動空間が戸外である場合には、電柱や建物、樹木の位置も予め記憶してもよい。
現在位置検出部108は、例えばGPS(Global Positioning System)受信機を備え、飛行体1の現在位置の緯度、経度、高度を検出する。より正確な位置情報を得るために、携帯電話基地局からの電波や、Wi−Fi(Wireless Fidelity(登録商標))通信のアクセスポイントからの電波を用いて現在位置を検出するようにしてもよい。また、カメラCM1〜CM6の全てあるいは一部を用いて、飛行体1の周囲を撮影し、その撮影した撮影画像情報と移動空間情報メモリ107に記憶された3D画像情報を比較して画像認識することで、3D画像空間における相対位置を把握し、現在位置を検出するようにしてもよい。移動後の現在位置を検出するためには、現在位置検出部108は、ジャイロセンサ103、地磁気センサ104、高度センサ105をも使用する。
飛行駆動信号生成部109は、制御部101により、起動情報に基づく指令により、基地(ホームポジション)から飛行を開始し空中移動するときには、移動空間情報メモリ107に記憶されている基地の位置情報と、現在位置検出部108で検出された現在位置の位置情報とから、移動するための飛行駆動信号を生成するために、移動方向及び移動距離を計算する。
そして、飛行駆動信号生成部109は、計算した方向及び距離に基づくと共に、ジャイロセンサ103、地磁気センサ104、高度センサ105などの情報を用い、さらに、カメラ群111のカメラCM1〜CM6からの撮影画像を参照しながら、基地位置から、制御部101により指示された位置まで移動するための飛行駆動信号を生成し、空中飛行駆動部102を通じて、空中飛行機構部2に供給する。この場合、飛行駆動信号は、4個の回転翼機構5A〜5Dのモータ駆動部51A〜51Dのそれぞれを駆動する信号からなる。生成された飛行駆動信号は、空中飛行駆動部102を通じて、空中飛行機構部2のモータ駆動部51A〜51Dのそれぞれに供給される。
空中飛行機構部2は、この飛行駆動信号を受けて、回転翼52A〜52Dのそれぞれを回転駆動して、基地から制御部101により指示された位置へ、あるいは、現在位置から基地へ、空中飛行による移動を行う。
位置姿勢制御信号生成部110は、ジャイロセンサ103、地磁気センサ104、高度センサ105、並びにカメラCM1〜CM6の撮影画像に基づいて、後述するように、観視者に対する表示画面9Dの向きや位置を、適切な向き及び位置となるように位置及び姿勢(観視者に対して、表示画面9Dが正対しているか、前後左右少し離れた位置か、及び上下方向の位置(高さ位置)は適切かなど)を制御する位置姿勢制御信号を生成する。
飛行体1が、後述する伝達対象者を検出すると、制御部101の制御に従って、飛行駆動信号生成部109は、伝達対象者の特定の身体的部位、この例では伝達対象者の顔(または眼)の位置を基準にした高さ位置において、伝達対象者から所定距離離れた状態で、ホバーリングするようにする飛行駆動信号を生成し、空中飛行駆動部102を通じて、空中飛行機構部2に供給する。そして、ホバーリングする高さ位置の制御用の信号の生成は、位置姿勢制御信号生成部110が行う。伝達対象者は、ホバーリングしている飛行体1の表示画面9Dを観視するようにする。もしも、伝達対象者の近傍に、机等、着陸可能なスペースがあれば、飛行体1は、表示画面9Dを伝達対象者に向けて着陸して、表示画面9Dに伝達すべき表示情報を表示するようにしてもよい。
カメラ群111は、前述したカメラCM1〜CM6からなるものである。カメラCM1〜CM6のそれぞれは、動画の撮影画像情報をシステムバス100に出力する。カメラCM1〜CM6のそれぞれからシステムバス100に送出される撮影画像情報には、いずれのカメラからの撮影画像情報であるかを識別するための識別情報が付加されている。なお、カメラCM1〜CM6のそれぞれからの撮影画像情報は、動画の撮影画像情報ではなく、所定時間間隔、例えば0.5秒間隔の静止画の撮影画像情報としてもよい。
伝達対象者情報メモリ112には、伝達情報(表示情報)を伝達する対象者となる人を、伝達対象者として、その属性情報を、予め登録して格納しておく。すなわち、この実施形態において、伝達対象者情報は、伝達対象者についての属性情報である。
図3に、飛行体1の移動空間が、会社の建物内であって、当該会社の社員を伝達対象者とした場合の伝達対象者情報の例を示す。この図3の例においては、伝達対象者の属性情報としては、氏名(名前)、性別、所属(この例では部署名)、位置情報(例えば社内におけるデスクの位置情報)、顔画像情報、年齢、趣味や嗜好の情報等が、各伝達対象者の属性情報として登録されている。なお、位置情報は、この例では、移動空間メモリ107に記憶されている移動空間内の位置情報とされる。また、属性情報はこの例に限定されるものではなく、国籍、入社年度、業務種別(例えば、研究開発、設計、製造、営業、企画、経理、輸送、秘書など)、入っているサークル(クラブ、同好会)などであってもよい。また、氏名の他に愛称やニックネームが登録されていてもよい。
なお、伝達対象者のそれぞれに、識別情報を付与し、その識別情報を伝達対象者の現在位置の位置情報と共に送信する送信器(発信機)を所持させるようにすると共に、飛行体1に、その送信器からの識別情報及び位置情報を受信する機能を設けて、それぞれの伝達対象者の現在位置をリアルタイムに検出することができるようにしてもよい。その場合には、伝達対象者情報メモリ112には、属性情報として位置情報を登録するのではなく、位置情報に代えて、伝達対象者の送信器から送られてくる識別情報のそれぞれを登録して記憶しておくようにする。
伝達情報入力受付部113は、表示情報として伝達される伝達情報を受け付ける。この伝達情報入力受付部113は、この例では、USBメモリやカード型メモリに記憶されている伝達情報を受け付けるインターフェース部で構成される。しかし、伝達情報入力受付部113は、これに限らず、表示画面9Dに表示する情報を受け付けることができるものであれば、何であってもよく、近距離無線規格による無線通信手段であってもよい。
なお、この場合に、伝達情報は、画像のみ、テキストメッセージのみ、画像とテキストメッセージからなるもの、のいずれでもよい。そして、この実施形態の伝達情報入力受付部113は、受け付けたテキストメッセージの情報を表示情報に変換する機能を備えていると共に、画像とテキストメッセージからなる場合には、両者を合成した表示画像を生成する機能をも備えている。なお、伝達情報は、複数ページ(複数画面)からなっていてもよく、画像とテキストメッセージとを表示画面9Dに二画面表示してもよいし、別の表示画面(図示は省略)に表示してもよい。
伝達表示情報メモリ114には、伝達情報入力受付部113で受け付けられた伝達情報の表示情報が記憶される。
画像認識部115は、カメラCM1〜CM6で撮影された画像情報と、図示は省略する画像メモリに記憶している障害物等の画像とを比較することで、前述した飛行中の回避する障害物を認識する機能を有する。飛行駆動信号生成部109は、認識された当該障害物を回避して空中移動するようにする飛行駆動信号を生成する。
また、この実施形態では、画像認識部115は、カメラCM6で撮影された表示画面9Dの観視者の顔画像と、伝達対象者情報メモリ112に記憶されている伝達対象者の顔画像のそれぞれとの画像マッチング処理を行うことで、後述するように、表示画面9Dの観視者が指定された伝達対象者であるか否かを認識するようにする機能も有する。
音声インターフェース部116は、マイクロフォンMCで収音した音声信号を音声認識部117に供給したり、伝言メッセージメモリ119に供給したりする機能を備える。また、音声インターフェース部116は、制御部101の制御に従って、伝達対象者に対する伝達事項があることを注意喚起するための音声や、予め用意されている伝言があるかないか等の問い合わせの音声などをスピーカSPから放音する機能を備える。マイクロフォンMCは無指向性マイクロフォンであってもよいが、伝達対象者の発声する音声のみを収音するため、指向性マイクロフォンとしてもよい。
注意喚起音発生部118は、伝達対象者に対する伝達事項があることを注意喚起するための音声や、伝言があるかないかなどの問い合わせの音声などを記憶して、発生する機能部である。
伝言メッセージメモリ119は、伝達対象者からの伝言を受けたときに、それを一時的に記憶して送るためのものである。
表示制御部120は、制御部101の制御の下に、ディスプレイ9の表示画面9Dに表示する表示情報を生成し、表示画面9Dに表示するための制御を行う。
操作部121は、この例では、ディスプレイ9の表示画面9Dに重畳されているタッチパネルからなる。この実施形態では、制御部101の制御に従って、表示画面9Dには、伝達情報を伝達する伝達対象者の属性の入力の案内画像が表示されるので、その案内画像に従って、伝達情報を伝達する伝達対象者の属性の入力を操作部121を通じて行うようにする。したがって、属性指定受付部は、この操作部121と、制御部101とで構成されるものである。
なお、操作部121は、飛行体1の飛行開始起動や、移動空間情報の作成及び移動空間情報メモリ107への記憶指示、その他の操作指示を使用者が入力するためのものとしても用いられる。この例においては、飛行体1の飛行開始起動としては、スタート指示による即座の起動の他、タイマー機能(制御部101が有する)により使用者により操作部121を通じて設定された時間(所定の時刻あるいは現時刻から所定時間後など)におけるタイマー起動ができるように構成されている。
なお、図2において、飛行駆動信号生成部109、位置姿勢制御信号生成部110、伝達情報入力受付部113、画像認識部115、音声認識部117、表示制御部120の処理機能を、制御部101がソフトウエア処理機能として実現することもできる。
[飛行体1の駆動制御装置部10の動作の流れ]
以下、この第1の実施形態の飛行体1の駆動制御装置部10の動作の流れの例について、図4〜図7に示すフローチャートを参照しながら説明する。この図4〜図7に示すフローチャートの各ステップは、飛行駆動信号生成部109、位置姿勢制御信号生成部110、伝達情報入力受付部113、画像認識部115、音声認識部117、表示制御部120の機能を、制御部101が、ソフトウエア処理機能として実現した場合として説明する。
制御部101は、伝達情報入力受付部113を通じて伝達情報の入力を受け付け、伝達表示情報メモリ114に記憶する(ステップS101)。この時、伝達情報の入力には、付加情報として、伝達情報を秘密にしてほしい(秘密情報として扱ってほしい)かどうかの指定(秘密の指定)も含む。
次に、制御部101は、操作部121を通じた伝達対象者に関する属性の入力及び伝達方法の指定を受け付ける(ステップS102)。前述もしたように、入力される指定属性としては、伝達対象者の氏名、性別(男性か、女性か)、所属、年代(20歳代、30歳代、など)、趣味等などのいずれでもよいし、複数入力してもよい。なお、年代ではなく、年齢や生年月日でもよい。生年月日から年齢と年代、年齢から年代が導出できる。
伝達対象者の氏名が属性として設定された場合には、情報を伝達すべき伝達対象者の全ての氏名が入力あるいはリストから選択される。この場合には、指定または選択された伝達対象者のみに伝達情報を伝達する指定となる。性別(男性か、女性か)の指定は、指定された性別の伝達対象者のみに伝達情報を伝達する指定となる。属性として所属する部署名が指定された場合には、伝達情報は、指定された部署に所属する社員のみを伝達対象者として伝達される。年代(20歳代、30歳代、など)が属性として指定された場合には、伝達情報は、指定された年代の社員のみを伝達対象者として伝達される。属性として趣味等が指定された場合には、伝達情報は、指定された趣味や嗜好を有する社員のみを伝達対象者として伝達される。属性として複数指定された場合、例えば、性別が男性、所属する部署名が営業1課、年代が30代の3つを指定された場合は、伝達情報は、営業1課に所属する30代の男性社員のみを伝達対象者として伝達される。
次に、制御部101は、操作部121を通じて飛行開始指示がなされたか否か判別し(ステップS103)、飛行開始指示がなされていないと判別したときには、飛行開始指示を待つ。ステップS103で、飛行開始指示がなされたと判別したときには、制御部101は、ステップS102で指定された属性に適合する伝達対象者の位置を、伝達対象者情報メモリ112の記憶情報から探して認識する(ステップS104)。
そして、制御部101は、ステップS104で認識した指定属性に適合する伝達対象者の内の最初の伝達対象者の位置まで飛行体1を飛行移動させるようにする(ステップS105)。そして、制御部101は、当該伝達対象者の位置まで移動したら、その位置に居る者(観視者)に伝達情報有りを報知するために注意喚起音(注意喚起メッセージでもよい)をスピーカSPから放音することで、飛行体1の方を見るように注意喚起する(ステップS106)。当該伝達対象者が注意喚起音に気づかない場合は、音を大きくしたり、表示画面9Dを明滅させたり、眼前に移動したりして、気づかせるようにしてもよい。
次に、制御部101は、その位置に居る者(観視者)の顔画像を画像認識して、伝達対象者情報メモリ112に記憶されている当該位置に居るべき伝達対象者の顔画像と合致しているか否かにより、伝達対象者を検知したか否か判別する(ステップS107)。なお、この時、制御部101は、飛行体1を、当該位置の観視者に対して表示画面9Dを向けた状態でホバーリングさせると共に、カメラCM6で当該位置の観視者の顔画像を撮影させるように制御する。
ステップS107で、伝達対象者を検知しなかったと判別したときには、次の伝達対象者があるか否か判別し(ステップS108)、次の伝達対象者があれば、当該次の伝達対象者の位置を、伝達対象者情報メモリ112の記憶情報から探して認識する(ステップS109)。そして、ステップS109の次には、制御部101は、処理をステップS105に戻し、このステップS105以降の処理を繰り返す。
ステップS108で、次の伝達対象者がないと判別したときには、制御部101は、伝達対象者が居ない場合の待機時間がタイムオーバーとなったか否か判別し(図5のステップS111)、タイムオーバーとなってはいないと判別したときには、その場で待機して、当該位置の他の観視者を探す(ステップS112)。そして、制御部101は、他の観視者を検知したか否か判別し(ステップS113)、他の観視者を検知してはいないと判別したときには、処理をステップS111に戻し、このステップS111以降の処理を繰り返す。
また、ステップS113で、他の観視者を検知したと判別したときには、制御部101は、処理を図4のステップS106に戻し、このステップS106以降の処理を繰り返す。
さらに、ステップS111で、タイムオーバーとなったと判別したときには、制御部101は、飛行体1をホームポジションである基地に戻すように制御して(ステップS114)、この処理ルーチンを終了する。なお、バッテリー不足や不測の事態などでホームポジションまで戻れない場合は、緊急着陸するよう制御してもよい。
また、図4のステップS107で、指定された属性に適合する伝達対象者を検知したと判別したときには、制御部101は、伝達情報について秘密の指定がなされていたか否か判別する(図6のステップS121)。このステップS121で、伝達情報について秘密の指定がなされていたと判別したときには、制御部101は、秘密情報の伝達である旨を表示画面9Dに表示して、伝達対象者に対する飛行体1のホバーリング位置を、伝達対象者の動きに伴って変える(ステップS122)。なお、この時、制御部101は、飛行体1を、ホバーリング状態ではなく、適切な着陸位置を伝達対象者に用意させて、そこに着陸するように制御してもよい。
そして、制御部101は、伝達対象者からの伝達開始の許可を受け付けたか否か判別し(ステップS123)、伝達開始の許可を受け付けていないと判別したときには、伝達開始許可を待つ。そして、ステップS123で、伝達開始の許可を受け付けた、また、ステップS121で、伝達情報について秘密の指定がなされていたと判別したときには、制御部101は、伝達する表示画像を、表示画面9Dに表示する(ステップS124)。この場合に、表示画面9Dにおける、伝達する表示画像の表示時間は、伝達対象者が、表示画像の内容を読み終えられる時間を設定するようにする。伝達する表示画像の表示時間は、伝達対象者によって可変にしてももちろんよい。
次に、制御部101は、表示画面9Dを観視している伝達対象者に対する他の伝達対象者からの伝言があるか否かを伝言メッセージメモリ119の記憶情報を参照することで判別する(ステップS125)。
このステップS125で、伝言があると判別したときには、制御部101は、伝言メッセージメモリ119から当該伝言メッセージを読み出して、表示画面9Dに、その伝言メッセージを表示すると共に、当該伝言メッセージの発信者の氏名を表示する(ステップS126)。なお、発信者の氏名のみでなく、顔画像も表示し、発信者が容易に同定できるようにしてもよい。
ステップS126の次には、また、ステップS125で伝言はないと判別したときには、制御部101は、他の伝達対象者への伝言があるか否かの問い合わせを、表示画面9Dに表示したり、あるいは、スピーカSPから音声で放音したりすることで行う(図7のステップS131)。制御部101は、この問い合わせに対する伝達対象者からの回答により伝言があるか否か判別する(ステップS132)。この場合の伝達対象者からの回答は、伝達対象者による否定又は肯定を意味するジェスチャーであってもよいし、伝達対象者からの音声であってもよい。また、ディスプレイ9に付帯するタッチセンサやボタンで回答できるようにしてもよい。回答がジェスチャーである場合には、カメラCM6で撮影された伝達対象者の撮影画像からそのジェスチャーを判別することができる。また、伝達対象者からの回答が音声である場合には、音声認識により回答が否定であるか肯定であるかを判別することができる。なお、伝言の相手は、当該伝達の際に指定された属性を有していない他の伝達対象者であってもよい。
ステップS132で、他の伝達対象者への伝言があると判別したときには、制御部101は、先ず、その伝言の相手(宛先)を音声として受け付ける旨を伝達対象者に伝えて、当該伝言の宛先の相手の氏名の音声を収音して音声認識し、伝達対象者情報メモリ112の記憶内容を確認しながら、当該伝言の宛先の相手の氏名を受け付けて、伝言メッセージメモリ119に記憶する(ステップS133)。なお、伝言の宛先の相手は、一人ではなく複数人でもよく、また、表示画面9Dに表示される伝達情報が伝達される全ての伝達対象者という指定であってもよい。
続いて、制御部101は、伝言メッセージを音声として受け付ける旨を伝達対象者に伝えて、当該伝言メッセージを収音して音声認識し、テキスト情報に変換して、伝言の宛先の相手の氏名と対応付けて、伝言メッセージメモリ119に記憶する(ステップS134)。なお、制御部101は、収音した伝言メッセージと伝言の相手の氏名を確認のために表示画面9Dに表示して確認するようにしてもよい。
ステップS134の次には、制御部101は、伝達対象者情報メモリ112を参照して、次の伝達対象者があるか否か判別し(ステップS135)、次の伝達対象者があると判別したときには、次の伝達対象者の位置を認識し(ステップS136)、処理を図4のステップS105に戻し、このステップS105以降の処理を繰り返す。また、ステップS135で、次の伝達対象者がないと判別したときには、制御部101は、処理を図5のステップS111に移行させ、このステップS111以降の処理を繰り返す。
[第1の実施形態の飛行体1の利用態様例]
以下、この第1の実施形態の飛行体1の利用態様の一例を、図8に示す。この図8の例は、「女子会のご案内」に関する伝達情報を、伝達対象者情報メモリ112に登録されている伝達対象者の内の女性のみに伝達する場合を示すものである。すなわち、指定された属性が性別の「女性」である場合である。
この例においては、飛行体1は、移動空間情報メモリ107に、図8に示すような社内の室内空間におけるパーテション11で区分けされた各伝達対象者の机12A,12B,12C,12D,12E,12F,1G,12Hの配置の情報を保持している。そして、飛行体1は、属性「女性」を有する伝達対象者を、伝達対象者情報メモリ112から抽出し、当該抽出した伝達対象者の位置情報から、指定された属性に適合する女性の伝達対象者が居る位置を、移動空間情報メモリ107の情報を参照することで認定する。
そして、飛行体1は、認定した位置の伝達対象者を、指定された属性に適合する伝達対象者として認識し、この例では、机12B,12D,12F,12G,12Hの位置を、情報の伝達位置として認識する。そして、飛行体1は、図8において、曲線の矢印13で示すように、机12B,12D,12F,12G,12Hの位置を、それぞれ情報の伝達位置として順次に空中移動するようにする。そして、情報伝達位置の各伝達対象者に対して、飛行体1は、ホバーリングする状態で、あるいは、着陸スペースがあれば着陸して、表示画面9Dに、女子会案内の情報を表示することで、伝達するようにする。
そして、飛行体1は、この場合に、図9に示すように、ある伝達対象者からの伝言を受け付けたときには、その伝言メッセージを、伝言の宛先の相手とされた伝達対象者に対して表示して、伝達するようにする。
以上のようにして、第1の実施形態の飛行体によれば、指定された属性を有する伝達対象者の全てに、所定の情報を順次に伝達することができる。この実施形態においては、伝達対象者は、飛行体1の飛来を待つだけで良く、他の伝達対象者に対して情報を回送するなどは不要であり、非常に便利である。
また、第1の実施形態の飛行体によれば、情報の伝達者は、伝達すべき情報を入力すると共に、伝達対象者の属性を指定するだけで、所望の伝達対象者に情報の伝達が可能となる。
また、上述の実施形態によれば、情報の伝達を受けた伝達対象者は、他の特定の伝達対象者や、全ての伝達対象者に対して伝言したいメッセージを、飛行体1に伝えることで、当該他の特定の伝達対象者や、全ての伝達対象者に対して容易に伝言ができるという効果もある。また、伝言メッセージは、各々の伝達対象者に同じ伝言メッセージを伝達することもできるし、異なる伝言メッセージを各々の伝達対象者に伝達することもできる。さらに、伝言メッセージの内容が同じ文章である場合であっても、伝言相手の氏名(宛名)は、伝達対象者情報メモリ112から、各々の伝達対象者の氏名を取得し、その取得した氏名に変更することで伝言メッセージを作成し、送ることもできる。
なお、上述の説明では、伝達対象者への伝達順序は飛行体の移動経路に準じていたが、順不同であってもよい。また、年齢順、氏名のあいうえお順、役職の上位順など、予め順序を指定するようにしてもよい。
[第1の実施形態の変形例]
上述の第1の実施形態では、伝達対象者に伝達情報が伝達された場合に、伝達者にその旨を通知する手段はなかったが、次のようにしてリアルタイムで伝達者に通知するようにしてもよい。すなわち、例えば、飛行体は、例えば通信機能を備えると共に、メール送信機能を備えるものとする。そして、伝達者のメールアドレスを、伝達情報の入力時に飛行体に登録する。飛行体は、伝達対象者に伝達情報を伝達したら、伝達対象者情報メモリ112から、当該伝達情報の伝達を完了した伝達対象者の氏名を取得して、その取得した氏名と「伝達情報の伝達完了」の文字を含むメールを作成して、登録されていた伝達者のメールアドレスに宛てて送信する。また、飛行体は、伝達対象者に伝達情報を伝達したら、カメラCM6で伝達対象者の顔画像などの画像を撮影し、撮影した画像を当該メールに添付してもよい。その際に、伝達対象者にOKやNGサインなどのジェスチャーをしてもらい、そのジェスチャーを撮影し、撮影したジェスチャーを当該メールに添付してもよい。
また、上述の第1の実施形態では、伝達対象者の特定を顔画像で行うようにしたが、伝達対象者の特定を顔画像での認識以外に、容姿(外形、シルエット、身体的特徴)で画像認識するようにしてもよい。この場合に、伝達対象者についての当日の事前登録があれば、服装の画像認識によって、伝達対象者を特定することもできる。また、会社や工場、事務所などでは、社員証やIDカードの着用を義務付けられている場合が多く、また、一般のパーティーでは、名札を身につけることがある。これらの社員証やIDカード、名札を画像認識することで、伝達対象者を特定することもできる。さらに、画像認識に限らず、伝達対象者の音声を登録しておくことで、音声認識による話者認識により伝達対象者を特定するようにしてもよい。
秘密情報を伝達する場合は、秘密情報を受け取れる人以外は、表示画面の観視を厳禁とする必要がある。カメラCM6で秘密情報を受け取る資格のない人を発見した場合、表示画面を暗くしたり、モザイクをかけたり、ディスプレイをオフにするなどして対応する。表示画面がコピー厳禁の場合、デジタルカメラやスマートフォンなどの携帯端末でカメラ撮影しようとすると、表示画面を暗くしたり、モザイクをかけたり、ディスプレイをオフにするなどして対応する他、ディスプレイの向きを変える、空中高く移動する、などしてコピー厳禁となっている表示画面のカメラ撮影を不可能にすることができる。
また、第1の実施形態において、伝達対象者情報に、各伝達対象者の属性として誕生日(生年月日)を登録しておき、誕生日当日になったら、飛行体がその伝達対象者に、表示画面で「誕生日おめでとう」のメッセージを伝達したり、スピーカからバースデーソングを流したり、するようにしてもよい。レストランやバー、喫茶店など飲食店において、顧客の誕生日を伝達対象者情報に登録することで、顧客に対し、タイミングのよい演出を提供することができる。テーマパークやアミューズメントパークにおいては、顧客が入場時に、自分の属性情報として、顔画像などの認識用の情報と誕生日とを登録することにより、パーク内の複数台(例えば100台)の飛行体すべてが、その属性情報を取得し、認識用情報により当該顧客を発見したら、誕生日のお祝いをしてくれるようにできる。
また、伝達対象者情報に、各伝達対象者の属性として生まれ月や星座を設定しておき、各伝達対象者のそれぞれに、「本日の占い」を伝達するようにしてもよい。誕生日(生年月日)を用いる占いは「四柱推命」「九星気学」「西洋占星術」「ホロスコープ」「算命学」「六星占術」など多種多様である。また、伝達対象者の趣味嗜好もあるので、どの占いを選ぶかも属性として設定する。例えば「四柱推命」を設定すれば、1月から12月までの12月、「ホロスコープ」を設定すれば、白羊宮(おひつじ座)から双魚宮(うお座)までの12星座というように、伝達対象者は、いずれも12種類のパターンに分類された「本日の占い」を飛行体の表示画面で見ることができる。本日の運勢や、ラッキーカラー、ラッキーナンバーを知ることができ、非常に便利である。
なお、飛行体は、検知した伝達対象者が移動している場合には、その移動に追従移動してもよい。ただし、トイレ等の特定の場所までは追従しないようにする。なお、追従してはいけない場所は、飛行禁止エリアとして、あらかじめ飛行体に設定しておく。
[第2の実施形態]
以上の第1の実施形態では、情報を回覧するように伝達する場合を想定した。しかし、この発明の飛行体1の用途は、そのような場合に限られない。例えば、テーマパークや店舗に訪れた顧客に対して、その顧客の属性に応じたお薦め情報などの伝達情報を表示画面に表示して呈示するような用途にも用いることもできる。
この第2の実施形態の飛行体1Aの機構的な構成は、図1に示した第1の実施形態の飛行体1と同様の構成とされる。しかし、この第2の実施形態の飛行体1Aの駆動制御装置部は、図示は省略するが、図2の駆動制御装置部10とは異なる。すなわち、第2の実施形態の飛行体1Aでは、特定の人を伝達対象者とはしないので、駆動制御装置部10における伝達対象者情報メモリ112は不要である。
そして、この第2の実施形態の飛行体1Aの駆動制御装置部における画像認識部(画像認識部115に対応)は、特定の人の顔画像を認識するのではなく、認識対象者が、女性であるか、男性であるか、子供であるか、老人であるか、などの認識対象者の属性を判定する機能を有する。また、個人の属性の判定のみならず、カップル、家族連れ、友人同士など、グループの属性を判定する機能を持たせてもよい。
そして、伝達表示情報メモリ114には、画像認識部で認識される属性のそれぞれに対応して、複数の表示情報が用意される。この表示情報としては、認識対象者である顧客の属性に応じてお薦めする商品や、催し物等の案内とされる。すなわち、男性の顧客用の表示情報、女性の顧客用の表示情報、子供の顧客用の表示情報、老人の顧客用の表示情報、さらにカップル、家族連れ、友人同士などの顧客用の表示情報等が伝達表示情報メモリ114に格納されて用意される。
この第2の実施形態では、顧客が来店したら、その顧客の傍らに飛行移動し、カメラで当該顧客を撮影し、その撮影画像を画像認識して、当該顧客の属性を判定し、その判定結果に対応する表示情報を、伝達表示情報メモリ114から読み出して表示画面9Dに表示する。これにより、飛行体1Aは、例えば来店した顧客に対して、その属性に応じたお薦め情報などの表示情報を呈示することができる。
なお、撮影画像から判定する顧客の属性としては、上述のような顧客の性別等の人が本来的に有する属性に限られるものではない。例えば顧客が身に着けている服や装飾品を撮影画像から認識し、それらが、いわゆるブランド品で固めている顧客の場合には、当該顧客に対してブランド好きという属性を判定し、対応する表示情報として、ブランド品のお薦めする情報を表示するようにすることもできる。
図10は、店舗への顧客に対して、その属性情報に応じた表示情報の呈示をする第2の実施形態の飛行体1Aの動きを説明するための図である。また、図11は、この第2の実施形態の飛行体1Aの駆動制御装置部の制御部が実行する処理動作の例を示すフローチャートである。
この第2の実施形態の飛行体1Aは、図10に示すように、所定のホームポジション位置HPにおいて、店舗の入り口21から来店する顧客22を監視する(図11のステップS201)。そして、飛行体1Aは、店舗の入り口21から来店する顧客22を検知すると、図10に示すように、来店した顧客22の所に、空中飛行移動する(ステップS202)。
そして、飛行体1Aの制御部は、カメラCM6により顧客22を撮影して、顧客22の属性を判定する(ステップS203)。そして、飛行体1Aの制御部は、判定した顧客22の属性に応じた画像を、伝達表示情報メモリから読み出して表示画面9Dに表示する(ステップS204)。
次に、飛行体1Aの制御部は、カメラCM6の撮影画像から顧客のジェスチャーによる離脱許可、あるいは発声音声による顧客の離脱許可を受けたか否か判別し(ステップS205)、離脱の許可を受けてはいないと判別したときには、処理をステップS204に戻し、このステップS204以降の処理を繰り返す。また、ステップS205で、顧客から離脱の許可を受けたと判別したときには、飛行体1Aの制御部は、他の来店者があるか否か判別し(ステップS206)、他の来店者があると判別したときには、処理をステップS202に戻して当該来店した顧客の傍らに飛行移動し、このステップS202以降の処理を繰り返す。
ステップS206で、他の来店者はないと判別したときには、飛行体1Aの制御部は、当該飛行体1Aをホームポジションに戻すように制御する(ステップS207)。その後、飛行体1Aの制御部は、処理をステップS201に戻し、このステップS201以降の処理を繰り返す。
[第2の実施形態の変形例]
上述の第2の実施形態では、表示情報として広告情報やお薦め情報などの例を示したが、これに限られるものではない。例えば、飲食店における「本日のランチ」や「日替わりメニュー」の提供、デパートやスーパーでのセール品や特価品の案内、銀行などの窓口の待ち時間の案内、テーマパークのアトラクションの待ち時間の案内、美術館や博物館での作品の案内などに適用できる。また、QRコード(登録商標)を表示し、顧客が携帯端末から各種情報にアクセスできるようにしたり、クーポンや割引券を表示したり、顧客がそれをカメラ撮影することで、クーポンや割引券として使えるようにしてもよい。
さらに、飛行体は、観視者の属性が子供であると判別した場合には、子供向けの表示情報のみを表示するようにして、例えばアルコール飲料や危険物、成年向け雑誌などの表示情報は見せないようにする。また、展示物等のコピーを禁止している場所においては、飛行体は、観視者に、写真撮影の禁止を伝達するようにしてもよい。
また、飛行体は、顔画像と身体的特徴から国籍を特定し、その国の言語で会話するように構成してもよい。また、飛行体が、伝達対象者の会話を言語認識して、その言語で会話するように構成してもよい。
[第3の実施形態]
上述の第1及び第2の実施形態では、表示画面に表示して観視者に呈示する表示情報は、予め、伝達表示情報メモリ114に格納して用意しておくようにした。しかし、飛行体に通信機能を備えさせて、表示情報提供装置から通信により表示情報を飛行体に送信して提供するようにしてもよい。この場合に、飛行体への表示情報の提供方法としては、放送形式で提供する方法と、飛行体からの表示情報の提供要求に応じて、表示情報提供装置から提供する方法との2方法がある。
図12(A)は、前者の放送形式で表示情報を飛行体に提供する方法の例を説明するための概念図である。この例に用いられる飛行体1Bの駆動制御装置部10Bにおいては、制御部101Bに対して、システムバス100を通じて、表示情報放送受信部131と、属性認定部132と、ディスプレイ9が接続されている。伝達情報入力受付部113及び伝達表示情報メモリ114は設けられていないが、システムバス100には、図2に示した駆動制御装置部10におけるその他の構成部が接続される。なお、飛行体1Bは、放送受信用アンテナ133を備える。
表示情報提供装置200Bは、放送形式で観視者(顧客なども含む)の属性に応じた表示情報を提供する。この場合における放送は、店舗内やテーマパーク内など、放送エリアを限定したローカル放送とされる。そして、表示情報提供装置200Bから送信される放送信号は、属性毎に放送チャンネルが異なるように構成されており、各放送チャンネルにおいて、属性に対応する表示情報が放送される。表示情報提供装置200Bは放送信号の送信アンテナ201を備える。
表示情報放送受信部131は、表示情報提供装置200Bからの放送信号をアンテナ133を通じて受信し、制御部101からの選局情報に応じた放送チャンネルの信号を、受信した放送信号から選択(選局)する機能を備える。属性認定部132は、上述の実施形態で説明したカメラCM6と画像認識部115で構成される。制御部101Bは、属性認定部132で認定された属性の情報を受けて、当該属性に応じた放送チャンネルを選択するための選局情報を生成し、表示情報放送受信部131に供給する。
これにより、飛行体1Bでは、表示情報放送受信部131が、観視者の属性に応じた表示情報を放送信号から抽出し、制御部101Bは、この抽出された表示情報をディスプレイ9の表示画面に表示する。したがって、この例の飛行体1Bにおいては、飛行体1Bの表示画面の観視者の属性に応じた表示情報がディスプレイ9の表示画面に表示される。
次に、図12(B)は、飛行体からの表示情報の提供要求に応じて、表示情報提供装置から提供する方法の例を説明するための概念図である。この例に用いられる飛行体1Cの駆動制御装置部10Cにおいては、制御部101Cに対して、システムバス100を通じて、表示情報受信部141と、属性認定部142と、属性送信部143と、ディスプレイ9が接続されている。この例においても、伝達情報入力受付部113及び伝達表示情報メモリ114は設けられていないが、システムバス100には、図2に示した駆動制御装置部10におけるその他の構成部が接続される。
この例の表示情報提供装置200Cは、表示情報送信部211と、属性受信部212とを備える。そして、飛行体1C及び表示情報提供装置200Cは、それぞれの間で無線の送受信をするためのアンテナ144及びアンテナ213をそれぞれ備える。
この図12(B)の例においては、飛行体1Cの制御部101Cは、観視者の属性を属性認定部142で認定すると、その認定結果の属性の情報を、属性送信部143から、アンテナ144を通じて、表示情報提供装置200Cに送信する。
表示情報提供装置200Cは、この属性の情報を、属性受信部212で受信して、属性を認識する。そして、表示情報提供装置200Cは、認識した属性に応じた表示情報を、表示情報送信部211からアンテナ213を通じて、飛行体1Cに送信する。
飛行体1Cの制御部101Cは、表示情報提供装置200Cから送られてきた表示情報を、表示情報受信部141で受信し、ディスプレイ9の表示画面に表示するようにする。これにより、この例の飛行体1Cにおいても、飛行体1Cの表示画面の観視者の属性に応じた表示情報がディスプレイ9の表示画面に表示される。
なお、以上の実施形態の説明では、飛行体が、表示画面9Dの観視者の属性を撮影画像から判定するようにした。しかし、カメラCM6の撮影画像の情報を、表示情報提供装置に送り、当該表示装置の提供装置のオペレータが、その撮影画像から、観視者の属性を認定して、飛行体に供給する表示情報を、その認定した属性に応じたものとするように構成してもよい。
[その他の実施形態又は変形例]
なお、上述の実施形態では、飛行体の空中飛行機構部2は、4個の回転翼機構を有するヘリコプター型の機構部の例で説明したが、回転翼機構の数は3個以下でも5個以上でもよい。さらに、ヘリコプター型の機構部に限らず、飛行機型の機構部などであってもよい。
また、上述の実施形態では、カメラ群111のカメラの数は6個、マイクロフォンの数は1個であったが、数が限定されないことはもちろんである。また、カメラやマイクロフォンを設ける位置も種々考えられる。カメラについても、標準的なカメラでもよいし、広角カメラ、魚眼カメラ、360度カメラでもよい。また、望遠カメラ、赤外線カメラなどであってもよい。もちろん、これらのカメラを併用してもよい。
さらに、ジャイロセンサ、地磁気センサ、高度センサ、障害物センサについても、複数個あってもよいことはもちろんである。
なお、屋外利用が想定される飛行体の場合は、防水仕様とすることが望ましい。防水仕様が十分でない場合は、飛行体は、降雨や降雪時に雨や雪の当たらないところで待機し、飛行しないなどの防御対応が必要である。また、飛行体が、飛行途中で降雨や降雪となった場合、または降雨や降雪の可能性を検知した場合、飛行体は、速やかに雨や雪の当たらないところに着陸し、伝達者の指示を求めるようにする。この場合、降雨や降雪は、降雨センサや降雪センサで検知する。なお、飛行体が傘を装備している場合は、降雨や降雪時に傘を利用してもよい。また、飛行体は、風力または風速を計測できるようにし、風が強い場合は、事故発生の可能性が高いので、屋外では飛行しないようにしてもよい。
その他、飛行体は、その機構上、種々の変形例が考えられることはもちろんである。
1,1A,1B,1C…飛行体、2…空中飛行機構部、3…駆動制御ユニット、6…筐体、9…ディスプレイ、9D…表示画面、10,10B,10C…駆動制御装置部、101,101B,101C…制御部、CM1〜CM6…カメラ

Claims (12)

  1. 空中を飛行するための空中飛行機構部と、
    表示画面を具備するディスプレイと、
    前記表示画面を観視する観視者を撮影するためのカメラと、
    前記カメラの撮影画像から前記観視者の属性を認定する属性認定部と、
    前記属性認定部により認定した前記観視者の属性に応じて、前記表示画面に表示する表示情報を制御する制御部と、
    を備える飛行体。
  2. 前記表示画面に表示する表示情報を記憶する表示情報記憶部を備え、
    前記制御部は、前記表示情報記憶部に記憶されている表示情報の内から、前記属性認定部で認定した属性に応じた表示情報を抽出して前記表示画面に表示する
    ことを特徴とする請求項1に記載の飛行体。
  3. 前記表示画面に表示する表示情報を受信する表示情報受信部を備え、
    前記制御部は、前記表示情報受信部で受信した表示情報の内から、前記属性認定部で認定した属性に応じた表示情報を抽出して前記表示画面に表示する
    ことを特徴とする請求項1に記載の飛行体。
  4. 前記属性認定部で認定した属性の情報を表示情報提供装置に送信する送信部と、
    前記表示情報提供装置からの表示情報を受信する表示情報受信部を備え、
    前記制御部は、前記表示情報受信部で受信した表示情報を前記表示画面に表示する
    ことを特徴とする請求項1に記載の飛行体。
  5. 前記観視者の属性の情報の一部として、前記観視者の顔画像情報を記憶する記憶部と、
    前記カメラの撮影画像から前記記憶部に顔画像が記憶されている観視者を認識する画像認識部と、
    を備え、
    前記制御部は、前記画像認識部で認識した記憶部に記憶されている観視者に応じた表示情報を前記表示画面に表示する
    ことを特徴とする請求項1〜4のいずれかに記載の飛行体。
  6. 前記観視者の属性の情報の一部として、前記観視者の容姿、服装及び/またはIDカードの画像情報を記憶する記憶部と、
    前記カメラの撮影画像から前記記憶部に顔画像が記憶されている観視者を認識する画像認識部と、
    を備え、
    前記制御部は、前記画像認識部で認識した記憶部に記憶されている観視者に応じた表示情報を前記表示画面に表示する
    ことを特徴とする請求項1〜4のいずれかに記載の飛行体。
  7. 前記制御部は、前記表示画面に表示する表示情報が秘密情報である場合には、前記観視者以外の者の前記表示画面の表示画像の観視を困難にするための処理を実行する
    ことを特徴とする請求項1〜6のいずれかに記載の飛行体。
  8. 空中を飛行するための空中飛行機構部と、
    現在位置を検出する現在位置検出部と、
    表示画面を具備するディスプレイと、
    前記表示画面を観視する観視者を撮影するためのカメラと、
    情報の伝達対象者として登録されている複数人の属性情報を記憶する伝達対象者情報記憶部と、
    伝達する情報を受け付ける伝達情報受付部と、
    前記伝達情報受付部で受け付けた情報を伝達する伝達対象者の属性の指定を受け付けるための属性指定受付部と、
    制御部と、
    を備え、
    前記伝達対象者情報記憶部に記憶される前記伝達対象者の属性には、各伝達対象者の顔画像と、各伝達対象者の位置情報を含むと共に、
    前記カメラの撮影画像から前記伝達対象者記憶部に顔画像が記憶されている観視者を認識する画像認識部をさらに備え、
    前記制御部は、
    前記属性指定受付部を通じて指定された属性に基づいて前記情報を伝達する前記伝達対象者を認定し、
    前記伝達対象者情報記憶部の前記認定した前記伝達対象者の位置情報と、前記現在位置検出部で検出した現在位置の情報とに基づいて、前記認定した伝達対象者の元に飛行移動するように前記空中飛行駆動部を制御し、
    前記認定した伝達対象者の元に飛行移動したら前記画像認識部で前記認定した伝達対象者を画像認識し、当該画像認識した前記認識した伝達対象者に対して、前記伝達する情報を前記表示画面に表示するように制御する
    ことを特徴とする飛行体。
  9. 前記伝達対象者情報記憶部の属性情報には、前記伝達対象者の氏名、性別、年齢、所属、趣味/嗜好の情報を含む
    ことを特徴とする請求項8に記載の飛行体。
  10. 前記伝達対象者からの音声を収音する収音手段と、
    前記収音手段で収音された音声を認識して表示情報に変換する手段と、
    前記制御部は、前記音声が変換された表示情報をも、表示画面に表示するように制御する
    ことを特徴とする請求項8または請求項9に記載の飛行体。
  11. 前記伝達対象者情報記憶部の属性情報には、前記伝達対象者の名前を含み、
    前記収音手段で収音された音声に含まれる伝言相手の名前を認識する手段を備え、
    前記制御部は、前記名前の認識に基づいて、当該名前の伝達対象者にのみ、前記音声が変換された表示情報を、表示画面に表示するように制御する
    ことを特徴とする請求項10に記載の飛行体。
  12. 前記制御部は、前記表示画面に表示する表示情報が秘密情報である場合には、前記伝達対象者以外の者の前記表示画面の表示画像の観視を困難にするための処理を実行する
    ことを特徴とする請求項8〜11のいずれかに記載の飛行体。
JP2015037922A 2015-02-27 2015-02-27 飛行体 Active JP6455977B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015037922A JP6455977B2 (ja) 2015-02-27 2015-02-27 飛行体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015037922A JP6455977B2 (ja) 2015-02-27 2015-02-27 飛行体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018234210A Division JP6637582B2 (ja) 2018-12-14 2018-12-14 飛行体

Publications (2)

Publication Number Publication Date
JP2016159685A true JP2016159685A (ja) 2016-09-05
JP6455977B2 JP6455977B2 (ja) 2019-01-23

Family

ID=56846114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015037922A Active JP6455977B2 (ja) 2015-02-27 2015-02-27 飛行体

Country Status (1)

Country Link
JP (1) JP6455977B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018140704A (ja) * 2017-02-28 2018-09-13 東京電力ホールディングス株式会社 無人飛翔体、飛行制御方法、およびプログラム
JP2019027116A (ja) * 2017-07-28 2019-02-21 株式会社豊田中央研究所 標識システム及び標識方法
CN109823539A (zh) * 2019-03-13 2019-05-31 杨浩 一种自动撑伞无人机系统
JP2019177748A (ja) * 2018-03-30 2019-10-17 株式会社Liberaware 飛行体
JP2019182418A (ja) * 2019-05-27 2019-10-24 株式会社Liberaware 飛行体
JP2019182155A (ja) * 2018-04-09 2019-10-24 株式会社Liberaware 飛行体
WO2020121972A1 (ja) * 2018-12-13 2020-06-18 株式会社小糸製作所 移動体用灯具、灯具システムおよび移動体用提示システム
JP2020535499A (ja) * 2017-08-29 2020-12-03 キッテン プラネット カンパニー、リミテッド. 映像アライメント方法及びその装置
JP2021191674A (ja) * 2019-12-19 2021-12-16 みこらった株式会社 飛行体及び飛行体用プログラム
JP2022040417A (ja) * 2019-11-12 2022-03-10 株式会社Liberaware 飛行体
JP2022173447A (ja) * 2017-08-16 2022-11-18 国立大学法人高知大学 無人航空機の使用方法
KR102670582B1 (ko) * 2023-12-15 2024-05-30 (주)프리뉴 엄폐 기능을 가지는 드론
JP7511943B2 (ja) 2022-01-25 2024-07-08 株式会社Liberaware 飛行体
WO2024157675A1 (ja) * 2023-01-26 2024-08-02 株式会社Jvcケンウッド 制御システム及び制御方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006784A (ja) * 2000-06-20 2002-01-11 Mitsubishi Electric Corp 浮遊型ロボット
JP2003216961A (ja) * 2002-01-23 2003-07-31 Sega Corp 演出画像表示システム
JP2010122754A (ja) * 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 情報処理装置における覗き見防止装置
CN102222492A (zh) * 2010-04-13 2011-10-19 纬创资通股份有限公司 显示装置防窥的方法及其装置
JP2012042716A (ja) * 2010-08-19 2012-03-01 Fujifilm Corp 表示方法および装置
US20130035790A1 (en) * 2011-08-02 2013-02-07 Microsoft Corporation Finding a called party
JP2014032458A (ja) * 2012-08-01 2014-02-20 Toshiba Tec Corp デジタルサイネージ装置およびその制御プログラム、ならびにデジタルサイネージシステム
JP2014115587A (ja) * 2012-12-12 2014-06-26 Canon Marketing Japan Inc 携帯端末、情報処理方法、プログラム
CN203865010U (zh) * 2014-03-20 2014-10-08 南京工业职业技术学院 自动追踪视频识别智能航拍导航飞行器
US8948935B1 (en) * 2013-01-02 2015-02-03 Google Inc. Providing a medical support device via an unmanned aerial vehicle

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006784A (ja) * 2000-06-20 2002-01-11 Mitsubishi Electric Corp 浮遊型ロボット
JP2003216961A (ja) * 2002-01-23 2003-07-31 Sega Corp 演出画像表示システム
JP2010122754A (ja) * 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 情報処理装置における覗き見防止装置
CN102222492A (zh) * 2010-04-13 2011-10-19 纬创资通股份有限公司 显示装置防窥的方法及其装置
JP2012042716A (ja) * 2010-08-19 2012-03-01 Fujifilm Corp 表示方法および装置
US20130035790A1 (en) * 2011-08-02 2013-02-07 Microsoft Corporation Finding a called party
JP2014032458A (ja) * 2012-08-01 2014-02-20 Toshiba Tec Corp デジタルサイネージ装置およびその制御プログラム、ならびにデジタルサイネージシステム
JP2014115587A (ja) * 2012-12-12 2014-06-26 Canon Marketing Japan Inc 携帯端末、情報処理方法、プログラム
US8948935B1 (en) * 2013-01-02 2015-02-03 Google Inc. Providing a medical support device via an unmanned aerial vehicle
CN203865010U (zh) * 2014-03-20 2014-10-08 南京工业职业技术学院 自动追踪视频识别智能航拍导航飞行器

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018140704A (ja) * 2017-02-28 2018-09-13 東京電力ホールディングス株式会社 無人飛翔体、飛行制御方法、およびプログラム
JP2019027116A (ja) * 2017-07-28 2019-02-21 株式会社豊田中央研究所 標識システム及び標識方法
JP2022173447A (ja) * 2017-08-16 2022-11-18 国立大学法人高知大学 無人航空機の使用方法
JP7412030B2 (ja) 2017-08-16 2024-01-12 国立大学法人高知大学 無人航空機の使用方法
JP2020535499A (ja) * 2017-08-29 2020-12-03 キッテン プラネット カンパニー、リミテッド. 映像アライメント方法及びその装置
JP2019177748A (ja) * 2018-03-30 2019-10-17 株式会社Liberaware 飛行体
JP2019182155A (ja) * 2018-04-09 2019-10-24 株式会社Liberaware 飛行体
WO2020121972A1 (ja) * 2018-12-13 2020-06-18 株式会社小糸製作所 移動体用灯具、灯具システムおよび移動体用提示システム
JPWO2020121972A1 (ja) * 2018-12-13 2021-11-11 株式会社小糸製作所 移動体用灯具、灯具システムおよび移動体用提示システム
JP7295885B2 (ja) 2018-12-13 2023-06-21 株式会社小糸製作所 移動体用灯具
CN109823539A (zh) * 2019-03-13 2019-05-31 杨浩 一种自动撑伞无人机系统
JP2019182418A (ja) * 2019-05-27 2019-10-24 株式会社Liberaware 飛行体
JP7049672B2 (ja) 2019-05-27 2022-04-07 株式会社Liberaware 飛行体
JP2022040417A (ja) * 2019-11-12 2022-03-10 株式会社Liberaware 飛行体
JP7296153B2 (ja) 2019-11-12 2023-06-22 株式会社Liberaware 飛行体
JP7126283B2 (ja) 2019-12-19 2022-08-26 みこらった株式会社 飛行体及び飛行体用プログラム
JP2021191674A (ja) * 2019-12-19 2021-12-16 みこらった株式会社 飛行体及び飛行体用プログラム
JP7511943B2 (ja) 2022-01-25 2024-07-08 株式会社Liberaware 飛行体
WO2024157675A1 (ja) * 2023-01-26 2024-08-02 株式会社Jvcケンウッド 制御システム及び制御方法
KR102670582B1 (ko) * 2023-12-15 2024-05-30 (주)프리뉴 엄폐 기능을 가지는 드론

Also Published As

Publication number Publication date
JP6455977B2 (ja) 2019-01-23

Similar Documents

Publication Publication Date Title
JP6455977B2 (ja) 飛行体
CN110011897B (zh) 具有光学窄播的社交媒体
US9917643B2 (en) Receivers for optical narrowcasting
CN104641399B (zh) 用于创建环境并用于共享环境中基于位置的体验的系统和方法
CN110399570B (zh) 地理对象推荐方法、装置及存储介质
JP7414316B2 (ja) 飛行体及び飛行体用プログラム
KR20100025238A (ko) 객체 인식시스템 및 이를 갖는 무선 인터넷 시스템
JP6925049B2 (ja) 飛行体、飛行体用プログラム及び表示情報提供システム
JP6637582B2 (ja) 飛行体
JP7573908B2 (ja) 飛行体及び飛行体用プログラム
CN117010965A (zh) 基于信息流广告的互动方法、装置、设备及介质
CN109672799A (zh) 信息处理装置、系统以及存储媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R150 Certificate of patent or registration of utility model

Ref document number: 6455977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250