JP2004299026A - 受付案内システム - Google Patents
受付案内システム Download PDFInfo
- Publication number
- JP2004299026A JP2004299026A JP2003097706A JP2003097706A JP2004299026A JP 2004299026 A JP2004299026 A JP 2004299026A JP 2003097706 A JP2003097706 A JP 2003097706A JP 2003097706 A JP2003097706 A JP 2003097706A JP 2004299026 A JP2004299026 A JP 2004299026A
- Authority
- JP
- Japan
- Prior art keywords
- visitor
- information
- robot
- guidance
- reception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】ロボットが来訪者を案内中であっても次の来訪者に備えることができ、複数の来訪者に効率的に対応できる受付案内システムを提供する。
【解決手段】受付案内システム１は、ロボット２および案内動作制御手段Ｂから構成される。案内動作制御手段Ｂは、ロボット支援サーバ３、送受信部３６、出入口カメラ４、場内カメラ５および社員出入口カメラ６から構成されている。ロボット２が来訪者を案内中であっても、出入口カメラ４および場内カメラ５が、未案内の来訪者を検出する。
【選択図】 図１
【解決手段】受付案内システム１は、ロボット２および案内動作制御手段Ｂから構成される。案内動作制御手段Ｂは、ロボット支援サーバ３、送受信部３６、出入口カメラ４、場内カメラ５および社員出入口カメラ６から構成されている。ロボット２が来訪者を案内中であっても、出入口カメラ４および場内カメラ５が、未案内の来訪者を検出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、自律的に移動するロボットを用いて来訪者の案内を行う受付案内システムに関する。
【０００２】
【従来の技術】
企業等において業務の効率化や人件費の削減を目的とするため、ロボットを用いて来訪者の案内を行う受付案内システムが開示されている（例えば、特許文献１、特許文献２参照）。
【０００３】
特許文献１に記載されている接客ロボットは、操作者の操作を受けて、登録された一連の動作を行い、来訪者の案内を行う装置である。
【０００４】
しかし、この接客ロボットには、次のような問題点があった。
（１） 接客ロボットの動作開始には、操作者による操作が必要である。すなわち、操作者が来訪者の有無を確認して操作する必要があり、ロボットによる案内の自動化とはいえない。
（２） 接客ロボットは、来訪者の識別を行うことができず、どの来訪者に対しても同一の動作を行う。すなわち、来訪者ごとに異なる案内動作を行うことができない。
（３） 来訪者が来たことを面会者に伝えることができない。
【０００５】
また、特許文献２に記載されている受付・案内ロボットシステムは、主に、ロボット本体および来客検知部から構成されている。
【０００６】
しかし、この受付案内ロボットシステムには、次のような問題点があった。
（１） 来客検知部が来訪者を検知した後、ＬＥＤの点滅等により、来訪者にロボットの存在を知らせながら、所定の位置まで移動するので、案内を行うためには、来訪者が所定位置にいることが必要であり、来訪者の不測の行動に対応できない等、案内に支障をきたすおそれがある。
（２） 来客検知部は来訪者の有無を検知するための機器であり、来訪者の位置情報、ＩＤ情報等を検知するものではない。そのため、ロボットが来訪者を案内中に別の来訪者が来た場合や、未案内の来訪者が複数いる場合には、うまく対応できないおそれがある。
（３） ロボットは走行ラインの磁気テープを検知しながら移動するので、ロボットが案内する環境内に磁気テープを設置する必要があり、また、移動の自由度が磁気テープにより制限され、好適な案内ができないおそれがある。
【０００７】
【特許文献１】
特開平２−２４０６８４号公報（２〜３頁、第５図）
【特許文献２】
特開平７−２９５６３７号公報（［００１１］〜［００１３］、図３、図４、図５）
【０００８】
【発明が解決しようとする課題】
そこで、本発明は、ロボットが来訪者を案内中であっても次の来訪者に備えることができ、複数の来訪者に効率的に対応できる受付案内システムを提供することを課題とする。
【０００９】
【課題を解決するための手段】
前記した課題を解決するために、請求項１に記載の受付案内システムは、自律的に移動するロボットと前記ロボットの案内動作を制御する案内動作制御手段とからなる受付案内システムであって、前記案内動作制御手段は、前記ロボットが移動する環境の地図情報を保持する地図情報データベースと、前記ロボットの位置を特定するロボット位置情報を取得するロボット位置取得手段と、来訪者の位置を特定して来訪者位置情報を取得する来訪者検出手段と、前記地図情報、前記ロボット位置情報および前記来訪者位置情報に基づいて、前記来訪者の案内情報を作成し管理する案内情報管理手段と、前記案内情報に基づいて、前記ロボットに案内動作を指示する案内動作指示手段を備えた構成とした。
【００１０】
請求項１に記載の受付案内システムによれば、自律移動可能なロボットを使用するので、ロボットが移動する環境に磁気テープを設置する必要がない。また、来訪者検出手段は、ロボットとは別に設けられており、来訪者位置情報を検出することができる。したがって、ロボットが来訪者を案内中に別の来訪者が訪れた場合や、未案内の来訪者が複数いる場合であっても、その来訪者位置情報を検出することができ、ロボットに効率のよい案内動作を指示することが可能となる。
【００１１】
また、請求項２に記載の受付案内システムは、請求項１に記載の受付案内システムにおいて、前記ロボットは、案内動作の履歴である案内履歴情報を前記案内情報管理手段に送信し、前記案内情報は、当該案内履歴情報にも基づいて作成される構成とした。
【００１２】
ここでいう案内履歴情報として、ロボットが来訪者を認識し、案内動作を開始する際にその旨を伝える案内開始情報や、案内動作が完了した際にその旨を伝える案内完了情報等が好適に使用できる。請求項２に記載の受付案内システムによれば、案内情報は案内履歴情報にも基づいて作成されるので、来訪者が未案内であるか、案内中であるか、案内完了であるかが識別可能となる。このことにより、ロボットが案内済みの来訪者を再度案内することを防止できる。また、ロボットを複数使用するときに、あるロボットが案内中の来訪者に対し、別のロボットが案内しようとすることを防止できる。
【００１３】
また、請求項３に記載の受付案内システムは、請求項１または請求項２に記載の受付案内システムにおいて、前記案内動作指示手段は、前記来訪者検出手段が前記来訪者位置情報を取得した時刻に基づいて来訪者の案内順序を決める構成とした。
【００１４】
多くの来訪者が来訪した場合には、未案内の来訪者が複数いる状況が生じることがある。請求項３に記載の受付案内システムによれば、来訪時刻順に基づいて来訪者の案内順序を決めるので、未案内の来訪者が複数いる場合にも対応可能である。
【００１５】
また、請求項４に記載の受付案内システムは、請求項１から請求項３のいずれか一項に記載の受付案内システムにおいて、少なくとも来訪者の顔画像と、来訪者ＩＤ情報とを関連付けて記憶した来訪者ＩＤ情報データベースと、前記来訪者ＩＤ情報と来訪者のスケジュール情報とを関連付けて記憶したスケジュール情報データベースとをさらに備え、前記来訪者検出手段は、来訪者の顔画像をも取得した上で、この顔画像を前記案内情報管理手段へ送り、前記案内情報管理手段は、前記顔画像に基づいて前記来訪者ＩＤ情報データベースを参照して来訪者ＩＤ情報を取得するとともに、この来訪者ＩＤ情報に基づいて前記スケジュール情報データベースを参照して、来訪者のスケジュール情報を取得し、これらの来訪者ＩＤ情報およびスケジュール情報に基づいて来訪者の案内順序を決める構成とした。
【００１６】
請求項４に記載の受付案内システムによれば、来訪者検出手段が取得した顔画像と、来訪者ＩＤ情報データベースに格納された顔画像とから、来訪者を特定することができる。すなわち、ロボットが案内動作を開始する前に、来訪者が誰であるかがわかる。したがって、ロボットによる来訪者の特定が簡略化でき、よりスムーズな案内が可能となる。また、未案内の来訪者が複数いる場合には、来訪者を特定し、来訪者ＩＤ情報、スケジュール情報等に基づいて来訪者の案内順序を決めるので、より効率的な案内が可能となる。
【００１７】
【発明の実施の形態】
次に、本発明の実施の形態について適宜図面を参照しながら説明する。以下、二足歩行による自律移動が可能な人間型ロボットを使用し、オフィスビルに設けられたロビーに訪れた来訪者を案内する場合を例にとって説明する。
【００１８】
図１は、本発明における実施形態に係る受付案内システムを示す概略図である。図２は、受付案内システムのロボットを示すブロック図である。図３は、受付案内システムの案内動作制御手段を示すブロック図である。
図１に示すように、受付案内システム１は、ロボット２および案内動作制御手段Ｂから構成される。案内動作制御手段Ｂは、ロボット支援サーバ３、送受信部３６、出入口カメラ４、場内カメラ５および社員出入口カメラ６から構成されている。ロボット支援サーバ３および送受信部３６は、中継器Ｄ、Ｄ´を介して各ＰＣにＬＡＮ接続されている。なお、図１では、ロボット支援サーバ３はロビー内に設置されている構成としたが、別室に設置される構成であってもよい。
【００１９】
まず、ロボット２について説明する。図２に示すように、ロボット２は、二足歩行による自律移動が可能であり、カメラ２１ａ，２１ａ、マイク２２ａ、スピーカ２３ａ、制御部２Ａ、自律移動手段２７および送受信部２８から構成されている。制御部２Ａは、画像認識部２１ｂ、音声認識部２２ｂ、発話生成部２３ｂ、人応答部２４、自己位置推定手段２５、移動制御部２６、シナリオＤＢ２９ａおよび地図情報ＤＢ２９ｂから構成されている。
【００２０】
カメラ２１ａは、ロボット２の周囲の状況や来訪者の顔等の画像情報を撮像して画像認識部２２ａに送るための機器である。ここで、カメラ２１ａは、モノクロまたはカラーカメラであってもよく、単眼または複眼（図２では複眼とした）で構成できる。また、図示しないモータにより、パン（左右方向）およびチルト（上下方向）に駆動され、所望の方向を向くことができるよう構成した。
【００２１】
画像認識部２１ｂは、カメラ２１ａが撮像した画像情報をデジタル化して取り込む。また、動的輪郭モデル（Ｓｎａｋｅｓともいう）等の移動体の自動抽出・追跡機能を有し、来訪者の位置情報を検出することが可能な構成となっている。また、画像認識部２１ｂは、デジタル化した画像情報を人応答部２４およびロボット位置取得手段２５に送る。
【００２２】
マイク２２ａは、周囲の音や、来訪者の発話等の音情報を集め、音声認識部２２ｂに送る。
【００２３】
音声認識部２２ｂは、マイク２２ａが集めた音情報に基づいて、音源を定位する。また、予め登録された語彙を参照して、来訪者の発話内容を認識する。
【００２４】
スピーカ２３ａは、発話生成部２３ｂが生成した音声を出力し、来訪者とのコミュニケーションを行うための機器である。
【００２５】
発話生成部２３ｂは、人応答部２４からシナリオＤＢ２９ａに格納されるコミュニケーションのためのシナリオや、案内動作指示手段３３からの案内動作の指示に基づき、来訪者に伝える内容を音声に合成してスピーカ２３ａに出力する。
【００２６】
人応答部２４は、ロボット支援サーバ３から送られてきた各情報、画像認識部２１ｂから送られた画像情報、マイク２３ａからの来訪者の発話等をもとに、会話を生成したり、ロボットの動作（腕をあげる等）を制御したりする。また、来訪者を認識し、案内動作を開始するときに、案内開始情報を送信部２８からロボット支援サーバ側の送受信部３６に送信する。さらに、来訪者の案内動作が完了したときには、案内完了情報を送受信部２８からロボット支援サーバ３側の送受信部３６に送信する。
【００２７】
自己位置推定手段２５は、画像認識部２１ｂから送られた画像情報および地図情報ＤＢ２９ｂに格納された地図情報を基に、ロボット２の現在位置を推定する。
【００２８】
移動制御部２６は、ロボットの現在位置、地図情報ＤＢ２９ｂに格納される地図情報およびロボット支援サーバ３から送られる案内動作をもとに自律移動手段２７の動作を制御する。
【００２９】
自律移動手段２７は、ロボット２が自律的に移動するための機器であり、本実施形態ではロボット２の足に相当する部分である。
【００３０】
送受信部２８は、ロボット支援サーバ３との無線による送受信を行うための機器である。
【００３１】
シナリオＤＢ２９ａは、来訪者とのコミュニケーションを支援するデータベースである。「どちら様ですか？」、「○○様でいらっしゃいますか？」等の、来訪者との間で行われる会話に用いられる文例等が格納されている。
【００３２】
地図情報ＤＢ２９ｂは、ロボット２が移動可能な区域の地図情報を格納するデータベースである。この地図情報は、ロボット支援サーバ３の地図情報ＤＢ３５ａ（図３参照）に格納されている地図情報と同一のものであり、ロボット支援サーバ３との送受信により情報の更新が可能である。
【００３３】
次に、図３を参照して、案内動作制御手段Ｂについて説明する。案内動作制御手段Ｂは、ロボット支援サーバ３、送受信部３６、出入口カメラ４、場内カメラ５および社員出入口カメラ６から構成される。ロボット支援サーバ３は、画像認識部３１、案内情報管理手段３２、案内動作指示手段３３、ロボット位置取得手段３４、地図情報ＤＢ３５ａ、来訪者ＩＤ情報ＤＢ３５ｂおよびスケジュール情報ＤＢ３５ｃから構成され、送受信部３６を通じて、ロボット２と送受信可能となっている。
【００３４】
画像認識部３１は、出入口カメラ４、場内カメラ５および社員出入口カメラ６が撮像した画像情報をデジタル化して取り込む。また、動的輪郭モデル等の移動体自動抽出・追跡機能を有し、来訪者の位置情報を検出することが可能に構成されている。
【００３５】
ここで、各カメラ４〜６について説明する。出入口カメラ４は、出入口付近の画像情報を撮像し、画像認識部３１に送るカメラである。場内カメラ５は、ロビー内全体の画像情報を撮像し、画像認識部３１に送るカメラである。社員出入口カメラ６は、社員出入口付近の画像情報を撮像し、画像認識部３１に送るカメラである。
【００３６】
ちなみに、出入口カメラ４、場内カメラ５および画像認識部３１が請求項１における来訪者検出手段に該当する。
【００３７】
出入口カメラ４、場内カメラ５および社員出入口カメラ６が撮像した画像情報は、画像認識部３１に送られる。これらの各カメラの中で、出入口カメラ４で撮像し画像情報から画像認識部３１が認識した移動体を来訪者であると認識する。そして、この来訪者をはじめに認識した時刻が、来訪時刻として案内情報管理手段３２に送られる。
一方、社員出入口カメラ６で撮像した画像をもとに検出された移動体は、社員であると認識される。
このようにすることで、ロビー内に存在する移動体が来訪者であるか社員であるかを判断可能となる。
そして、場内カメラ５が撮像した画像情報をもとに、画像認識部３１は、該来訪者および該社員の位置を計算してこれらの位置情報を取得する。
【００３８】
地図情報ＤＢ３５ａは、ロボット２が移動可能な領域の地図情報を格納している。例えば、会議室の場所、階段の場所、ロビー内の観葉植物、ソファ等の障害物等が地図情報として格納されている。この地図情報は、ＰＣからの入力により、情報の更新が可能な構成となっている。したがって、会議室の名称の変更や、テーブル、ソファ等のレイアウトの変更にも対応できる。
【００３９】
来訪者ＩＤ情報ＤＢ３５ｂは、来訪者ＩＤ情報と顔画像とを関連付けて格納している。来訪者ＩＤ情報は、来訪者のＩＤ番号・所属会社名・肩書き・氏名等を含んでいる。これらの来訪者ＩＤ情報のうち、少なくとも一つの情報が、スケジュール情報を検索する際のキーとなる。例えば、前記したＩＤ番号がキーとして利用できる。
なお、顔画像は、主にロボット２が撮像し、来訪者の承諾を得て登録したものである。
【００４０】
スケジュール情報ＤＢ３５ｃは、予定された来訪者に関するスケジュール情報と来訪者ＩＤ情報（例えば、ＩＤ番号）を関連付けて格納している。スケジュール情報は、例えば、来訪する日付・時刻、来訪者の所属会社名・肩書き・氏名、面会予定者、案内先等であり、これらの情報は、サーバと接続されたパソコンや携帯端末から入力、更新可能である。
【００４１】
案内情報管理手段３２は、地図情報ＤＢ３５ａ、来訪者ＩＤ情報ＤＢ３５ｂおよびスケジュール情報ＤＢ３５ｃに格納される各情報、ならびに画像認識部３１から送られる画像情報をもとに来訪者の案内情報を作成し管理する。
【００４２】
案内情報の作成例について説明する。画像認識部３１は、来訪者の来訪時刻、顔画像および位置情報を案内情報管理手段に送る。そして、案内情報管理手段３２は、この顔画像をキーとして来訪者ＩＤ情報ＤＢ３５ｂを参照し、来訪者ＩＤ情報を取得する。そして、来訪者ＩＤ情報の一つ、例えばＩＤ番号をキーとして、スケジュール情報ＤＢ３５ｃを参照し、スケジュール情報を取得する。さらに、来訪者ＩＤ情報と、スケジュール情報と、画像認識部３１から取得した来訪者位置情報とをあわせて案内情報を作成する。この案内情報は、案内動作指示手段３３に送られる。
【００４３】
案内動作指示手段３３は、案内情報管理手段３２に管理されている案内情報をもとに案内動作を作成する。ここで、未案内の来訪者が複数いる場合には、各来訪者の案内情報をもとに、案内順序を作成し、この案内順序に基づいて案内する。作成された案内動作は、送受信部３６からロボット２に送信される。
【００４４】
以下案内順序の作成方法について説明する。
（１） 来訪者の来訪時刻が早い順に案内順序を決める。
（２） 来訪者のスケジュール情報（面会時刻、面会の重要度等）により案内順序を決める。
（３） 来訪者ＩＤ情報（肩書き等）により案内順序を決める。
（４） これらの方法を組み合わせて案内順序を決める。
【００４５】
このような案内を好適に行うためには、できるだけ多くの来訪者の来訪者ＩＤ情報を格納していることが望ましい。そのため、顔画像等を格納していない来訪者との面会予定を立てた際に、来訪者の顔写真等を電子メールで送信してもらい、予め格納しておく等の工夫を行うとよい。
【００４６】
ロボット位置取得手段３４は、ロボット２の画像認識部２１ｂ（図２参照）でデジタル化して取得した画像情報と、地図情報ＤＢ３５ａに格納された地図情報をもとに、ロボットの現在位置を特定する。
【００４７】
送受信部３６は、ロボット２の送受信部２８（図２参照）との間で無線による送受信を行う。送受信の具体例としては、案内動作指示手段３３が作成した案内動作をロボット２側に送信する。また、ロボット２の画像認識部２１ｂがデジタル化して取得した画像情報を受信する。また、ロボット２側からの案内開始情報や案内完了情報を受信し、この信号をロボット支援サーバ３に送る。これら案内開始情報および案内完了情報は、案内情報管理手段３２に送られ、前記案内情報に付け加えられる。すなわち、これらが来訪者位置情報と組み合わせられることにより、ロビー内の来訪者が未案内であるか、案内中であるか、案内済みであるかが識別可能となる。また、これらがスケジュール情報と組み合わせられることにより、予定された来訪者が未案内であるか、案内済みであるかが確認可能となる。
【００４８】
また、ロボット支援サーバ３は、複数のＰＣと接続されている。これらＰＣから各情報を入力、表示、更新等の作業を行うことができる。また、サーバから各ＰＣに、来訪者の案内状況等を通知することにより、面会者に知らせることができる。
【００４９】
オペレータ用ＰＣは、各ＤＢ内の情報や案内状況等を入力、表示、更新するための機器である。オペレータは、オペレータ用ＰＣの画面から案内状況を確認したりすることができる。
【００５０】
これらのＰＣだけでなく、携帯端末を使用してロボット支援サーバ３と送受信するよう構成することも可能である。
【００５１】
続いて、本実施形態に係る受付案内システムを用いた来訪者の案内動作について、図４に示すフローチャートを用いて説明する。
【００５２】
（Ｓ１） 来訪者有無判断ステップ
出入口カメラ４が撮像した画像情報をもとに、ロボット支援サーバ３は、来訪者の有無を確認する。
【００５３】
（Ｓ２） 来訪者位置情報検出ステップ
Ｓ１で来訪者の入場を検出した場合には、場内カメラ５が撮像した画像情報をもとに、ロボット支援サーバ３は、来訪者の顔情報および位置情報を検出する。
【００５４】
（Ｓ３） 接近動作指示ステップ
Ｓ２で検出した来訪者位置情報に基づいて、ロボット支援サーバ３は、ロボット２に来訪者に接近するよう指示する。
【００５５】
（Ｓ４） ロボット移動ステップ
ロボット２は、Ｓ３の指示を受け、来訪者に接近する。そして、ロボット２と来訪者との距離が、来訪者とのコミュニケーションを行うのに好適な場所まで移動する。
【００５６】
（Ｓ５） 来訪者認識ステップ
ロボット２は、来訪者を撮像し、来訪者の位置情報および顔画像を取得する。
【００５７】
（Ｓ６） 顔画像登録ステップ
ロボット２は、来訪者に、顔画像を登録してもいいかを確認する。承諾を得た場合には、会社名、氏名等その他の来訪者ＩＤ情報を聞き出し、登録する。
【００５８】
（Ｓ７） 来訪者情報送信ステップ
ロボット２は、来訪者の位置情報、顔情報および案内開始情報をロボット支援サーバ３に送信する。また、顔画像の登録の承諾が得られている場合には、顔画像を含む来訪者ＩＤ情報を来訪者ＩＤ情報ＤＢ３５ｂに格納する。
【００５９】
（Ｓ８） 来訪者確認ステップ
ロボット支援サーバ３は、ロボット２から送信された顔画像および位置情報が、場内カメラ６が撮像した顔画像および位置情報と一致するかを確認する。すなわち、ロボット支援サーバ３が近づくように指示した来訪者と、実際にロボット２が近づいた来訪者が同一であるか否かを確認する。さらに、来訪者ＩＤ情報ＤＢ３５ｂに格納された顔画像のなかに、ロボット２から送られた顔画像と一致するものがあるかを確認する。
【００６０】
（Ｓ９） 案内動作指示ステップ
Ｓ８の結果を受け、ロボット支援サーバ３は、案内動作を作成し、作成した案内動作をロボット２に送信する。
【００６１】
（Ｓ１０） 来訪者案内ステップ
ロボット２は、受信した案内動作にしたがい来訪者を案内する。例えば、コミュニケーションを行い、来訪者を誘導し、面会場所まで同行する。また、来訪者のスケジュール等が不明である場合には、所定の場所（ロビー内のソファ等）に来訪者を誘導し、その旨をオペレータ用ＰＣに表示することで、オペレータに応援をたのむ構成でもよい。
【００６２】
（Ｓ１１） 案内完了ステップ
来訪者の案内動作が完了したら、案内完了情報を、ロボット支援サーバ３に送信する。そして、ロボット２が行った案内動作の履歴がスケジュール情報ＤＢ３５ｃに格納される。また、完了した旨を、面会者のＰＣの画面上に表示して伝える。
【００６３】
（Ｓ１２） 未案内来訪者判断ステップ
未案内の来訪者がいるかどうかを判断する。ここでいう未案内の来訪者は、Ｓ１〜Ｓ１１を実行している間に新たな来訪者が訪れることにより発生する。未案内の来訪者がいる場合には、Ｓ３に戻り、案内動作を繰り返す。ここで、未案内の来訪者が複数いる場合には、各来訪者に付された案内順序にしたがい案内する。いない場合には、ロボット２による案内動作を終了する。
【００６４】
ここでいう案内動作の終了とは、ロボット２が、ホームポジション（例えば、ロビーの受付カウンタ付近）に戻ることをさす。ホームポジションに戻るようにするのは、案内動作が終了した場所で次の来訪者が訪れるのを待つようにすると、次の来訪者の案内動作に移るのに時間がかかるようになり、また、ロボット２が社員等にとって邪魔になるからである。そして一定時間経過後に省電力モードに切り替わり、次の来訪者が検出されるのを待つ。なお、ホームポジションに戻ることにより、ロボット２の充電が開始される構成にすることにより、案内動作中にロボット２のバッテリが切れる事態を防ぐことができる。
【００６５】
かかる構成、動作により、ロボット２が来訪者を案内中であっても、出入口カメラ４および場内カメラ５が来訪者の有無、位置情報、顔画像を検出する。したがって、次の来訪者の案内へスムーズに移行することができる。
【００６６】
続いて、顔画像登録について詳しく説明する。ロボット２は、音声により来訪者とコミュニケーションをとり、来訪者の承諾を得られた場合には、来訪者の顔画像を取得し、ロボット支援サーバ３の来訪者ＩＤ情報ＤＢ３５ｂに保存する。さらに、来訪者のその他のＩＤ情報（会社名、肩書、氏名、生年月日等）を質問し、回答を得た分については、顔画像とともに登録される。次回来訪時には、これら来訪者ＩＤ情報を参照することにより、来訪者が誰であるかを特定することが可能となる。
【００６７】
顔画像を登録する方法として、いくつかの方法を以下に示す。
（１） 案内動作を行うたびに毎回行う。
（２） オペレータや面会者が、ＰＣ等を用いて顔画像登録の実施・不実施を設定可能な構成とする。
（３） 顔画像情報が未登録、あるいは、登録された情報が一定期間過ぎた場合には再登録を行う構成とする。
（４） 前記した各方法を適宜設定可能な構成とする。
また、顔画像登録を案内動作のどの段階で行うかについても適宜設定可能である。例えば、来訪者に接近し、来訪者の氏名等を確認する際に行ってもよいし、来訪者を面会場所へ案内した後に行ってもよい。
【００６８】
顔画像の登録で重要なのは、来訪者の承諾を得た場合にのみ登録を行うことである。これは、来訪者の肖像権等に対する配慮である。
【００６９】
前記した実施形態は、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、場内カメラ５が撮像した画像情報により来訪者を特定した段階で、面会者に通知する構成であってもよい。かかる構成によりロボット２による案内と、面会者の行動開始のタイムラグをより少なくすることが可能となる。
【００７０】
また、来訪者のスケジュール情報が格納されていない場合等には、所定の場所に来訪者を案内後、オペレータに応援をたのむ構成としたが、これに限定されない。例えば、ロボット２が、来訪者と音声によるコミュニケーションを行い、来訪者から面会者、面会場所等を聞き出し、それらの情報をもとに案内を行う構成であってもよい。
【００７１】
また、一台のロボット２を用いて案内動作を行う構成としたが、複数のロボットを有する構成であってもよい。この場合には、さらにロボットごとに異なる役割を与えることが可能となる。例えば、既に顔画像等を登録済みの来訪者を案内するロボットと、未登録の来訪者を案内し、顔画像の登録を行うロボットとを備える構成であってもよい。
【００７２】
また、ロボット２の仕様も適宜設計変更可能である。自律移動手段として、複数の車輪を有する構成であってもよい。また、画像表示部を有し、文字情報や画像情報により来訪者とコミュニケーションを行うことが可能な構成であってもよい。また、タッチパネルを有し、来訪者が来訪の目的等を入力可能な構成であってもよい。
【００７３】
また、来訪者検出手段として、出入口カメラ４および場内カメラ５を各１台ずつ備えた構成としたが、これに限定されない。カメラの台数、各カメラの有する機能、カメラの設置場所等は適宜設計変更可能である。
【００７４】
また、来訪者と社員とを区別するために、出入口カメラ４で最初に検出された移動体を来訪者、社員出入口カメラ６で最初に検出された移動体を社員、であると認識し区別する構成としたが、これに限定されない。例えば、各社員は、社員であることを認識できるような制服や靴を着るようにしたり、社員ＩＤカードを所定に位置に着けたりする構成であってもよい。かかる構成により、場内カメラ５に映った移動体が社員であるか否かを認識可能となる。
【００７５】
【発明の効果】
本発明の請求項１に記載の発明によれば、ロボットが来訪者を案内中であっても、次の来訪者の位置情報を取得することができる受付案内システムを提供することができる。
【００７６】
また、請求項２に記載の発明によれば、来訪者が未案内であるか否かを識別可能な受付案内システムを提供することができる。
【００７７】
また、請求項３に記載の発明によれば、未案内の来訪者が複数いる場合において、これらの来訪者を来訪時刻順に案内することができる受付案内システムを提供することができる。
【００７８】
また、請求項４に記載の受付案内システムによれば、未案内の来訪者が複数いる場合において、来訪者の顔画像や、スケジュール情報をもとにして来訪者の案内順序を決め、その案内順序に基づいた案内動作を行うことができる受付案内システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る受付案内システムを配置したロビーを示す概略図である。
【図２】本発明の実施形態に係る受付案内システムのロボットを示すブロック図である。
【図３】本発明の実施形態に係る受付案内システムの案内動作制御手段を示すブロック図である。
【図４】本発明の実施形態に係る受付案内システムを用いた案内を示すフローチャートである。
【符号の説明】
１ 受付案内システム
２ ロボット
２１ａ カメラ
２１ｂ 画像認識部
２２ａ マイク
２２ｂ 音声認識部
２３ａ スピーカ
２３ｂ 発話生成部
２４ 人応答部
２５ 自己位置推定手段
２６ 移動制御部
２７ 自律移動手段
２８ 送受信部
２９ａ 地図情報ＤＢ
２９ｂ シナリオＤＢ
Ｂ 案内動作制御手段
３ ロボット支援サーバ
３１ 画像認識部
３２ 案内情報管理手段
３３ 案内動作指示手段
３４ ロボット位置取得手段
３５ａ 地図情報ＤＢ
３５ｂ 来訪者ＩＤ情報ＤＢ
３５ｃ スケジュール情報ＤＢ
３６ 送受信部
４ 出入口カメラ
５ 場内カメラ
６ 社員出入口カメラ
【発明の属する技術分野】
本発明は、自律的に移動するロボットを用いて来訪者の案内を行う受付案内システムに関する。
【０００２】
【従来の技術】
企業等において業務の効率化や人件費の削減を目的とするため、ロボットを用いて来訪者の案内を行う受付案内システムが開示されている（例えば、特許文献１、特許文献２参照）。
【０００３】
特許文献１に記載されている接客ロボットは、操作者の操作を受けて、登録された一連の動作を行い、来訪者の案内を行う装置である。
【０００４】
しかし、この接客ロボットには、次のような問題点があった。
（１） 接客ロボットの動作開始には、操作者による操作が必要である。すなわち、操作者が来訪者の有無を確認して操作する必要があり、ロボットによる案内の自動化とはいえない。
（２） 接客ロボットは、来訪者の識別を行うことができず、どの来訪者に対しても同一の動作を行う。すなわち、来訪者ごとに異なる案内動作を行うことができない。
（３） 来訪者が来たことを面会者に伝えることができない。
【０００５】
また、特許文献２に記載されている受付・案内ロボットシステムは、主に、ロボット本体および来客検知部から構成されている。
【０００６】
しかし、この受付案内ロボットシステムには、次のような問題点があった。
（１） 来客検知部が来訪者を検知した後、ＬＥＤの点滅等により、来訪者にロボットの存在を知らせながら、所定の位置まで移動するので、案内を行うためには、来訪者が所定位置にいることが必要であり、来訪者の不測の行動に対応できない等、案内に支障をきたすおそれがある。
（２） 来客検知部は来訪者の有無を検知するための機器であり、来訪者の位置情報、ＩＤ情報等を検知するものではない。そのため、ロボットが来訪者を案内中に別の来訪者が来た場合や、未案内の来訪者が複数いる場合には、うまく対応できないおそれがある。
（３） ロボットは走行ラインの磁気テープを検知しながら移動するので、ロボットが案内する環境内に磁気テープを設置する必要があり、また、移動の自由度が磁気テープにより制限され、好適な案内ができないおそれがある。
【０００７】
【特許文献１】
特開平２−２４０６８４号公報（２〜３頁、第５図）
【特許文献２】
特開平７−２９５６３７号公報（［００１１］〜［００１３］、図３、図４、図５）
【０００８】
【発明が解決しようとする課題】
そこで、本発明は、ロボットが来訪者を案内中であっても次の来訪者に備えることができ、複数の来訪者に効率的に対応できる受付案内システムを提供することを課題とする。
【０００９】
【課題を解決するための手段】
前記した課題を解決するために、請求項１に記載の受付案内システムは、自律的に移動するロボットと前記ロボットの案内動作を制御する案内動作制御手段とからなる受付案内システムであって、前記案内動作制御手段は、前記ロボットが移動する環境の地図情報を保持する地図情報データベースと、前記ロボットの位置を特定するロボット位置情報を取得するロボット位置取得手段と、来訪者の位置を特定して来訪者位置情報を取得する来訪者検出手段と、前記地図情報、前記ロボット位置情報および前記来訪者位置情報に基づいて、前記来訪者の案内情報を作成し管理する案内情報管理手段と、前記案内情報に基づいて、前記ロボットに案内動作を指示する案内動作指示手段を備えた構成とした。
【００１０】
請求項１に記載の受付案内システムによれば、自律移動可能なロボットを使用するので、ロボットが移動する環境に磁気テープを設置する必要がない。また、来訪者検出手段は、ロボットとは別に設けられており、来訪者位置情報を検出することができる。したがって、ロボットが来訪者を案内中に別の来訪者が訪れた場合や、未案内の来訪者が複数いる場合であっても、その来訪者位置情報を検出することができ、ロボットに効率のよい案内動作を指示することが可能となる。
【００１１】
また、請求項２に記載の受付案内システムは、請求項１に記載の受付案内システムにおいて、前記ロボットは、案内動作の履歴である案内履歴情報を前記案内情報管理手段に送信し、前記案内情報は、当該案内履歴情報にも基づいて作成される構成とした。
【００１２】
ここでいう案内履歴情報として、ロボットが来訪者を認識し、案内動作を開始する際にその旨を伝える案内開始情報や、案内動作が完了した際にその旨を伝える案内完了情報等が好適に使用できる。請求項２に記載の受付案内システムによれば、案内情報は案内履歴情報にも基づいて作成されるので、来訪者が未案内であるか、案内中であるか、案内完了であるかが識別可能となる。このことにより、ロボットが案内済みの来訪者を再度案内することを防止できる。また、ロボットを複数使用するときに、あるロボットが案内中の来訪者に対し、別のロボットが案内しようとすることを防止できる。
【００１３】
また、請求項３に記載の受付案内システムは、請求項１または請求項２に記載の受付案内システムにおいて、前記案内動作指示手段は、前記来訪者検出手段が前記来訪者位置情報を取得した時刻に基づいて来訪者の案内順序を決める構成とした。
【００１４】
多くの来訪者が来訪した場合には、未案内の来訪者が複数いる状況が生じることがある。請求項３に記載の受付案内システムによれば、来訪時刻順に基づいて来訪者の案内順序を決めるので、未案内の来訪者が複数いる場合にも対応可能である。
【００１５】
また、請求項４に記載の受付案内システムは、請求項１から請求項３のいずれか一項に記載の受付案内システムにおいて、少なくとも来訪者の顔画像と、来訪者ＩＤ情報とを関連付けて記憶した来訪者ＩＤ情報データベースと、前記来訪者ＩＤ情報と来訪者のスケジュール情報とを関連付けて記憶したスケジュール情報データベースとをさらに備え、前記来訪者検出手段は、来訪者の顔画像をも取得した上で、この顔画像を前記案内情報管理手段へ送り、前記案内情報管理手段は、前記顔画像に基づいて前記来訪者ＩＤ情報データベースを参照して来訪者ＩＤ情報を取得するとともに、この来訪者ＩＤ情報に基づいて前記スケジュール情報データベースを参照して、来訪者のスケジュール情報を取得し、これらの来訪者ＩＤ情報およびスケジュール情報に基づいて来訪者の案内順序を決める構成とした。
【００１６】
請求項４に記載の受付案内システムによれば、来訪者検出手段が取得した顔画像と、来訪者ＩＤ情報データベースに格納された顔画像とから、来訪者を特定することができる。すなわち、ロボットが案内動作を開始する前に、来訪者が誰であるかがわかる。したがって、ロボットによる来訪者の特定が簡略化でき、よりスムーズな案内が可能となる。また、未案内の来訪者が複数いる場合には、来訪者を特定し、来訪者ＩＤ情報、スケジュール情報等に基づいて来訪者の案内順序を決めるので、より効率的な案内が可能となる。
【００１７】
【発明の実施の形態】
次に、本発明の実施の形態について適宜図面を参照しながら説明する。以下、二足歩行による自律移動が可能な人間型ロボットを使用し、オフィスビルに設けられたロビーに訪れた来訪者を案内する場合を例にとって説明する。
【００１８】
図１は、本発明における実施形態に係る受付案内システムを示す概略図である。図２は、受付案内システムのロボットを示すブロック図である。図３は、受付案内システムの案内動作制御手段を示すブロック図である。
図１に示すように、受付案内システム１は、ロボット２および案内動作制御手段Ｂから構成される。案内動作制御手段Ｂは、ロボット支援サーバ３、送受信部３６、出入口カメラ４、場内カメラ５および社員出入口カメラ６から構成されている。ロボット支援サーバ３および送受信部３６は、中継器Ｄ、Ｄ´を介して各ＰＣにＬＡＮ接続されている。なお、図１では、ロボット支援サーバ３はロビー内に設置されている構成としたが、別室に設置される構成であってもよい。
【００１９】
まず、ロボット２について説明する。図２に示すように、ロボット２は、二足歩行による自律移動が可能であり、カメラ２１ａ，２１ａ、マイク２２ａ、スピーカ２３ａ、制御部２Ａ、自律移動手段２７および送受信部２８から構成されている。制御部２Ａは、画像認識部２１ｂ、音声認識部２２ｂ、発話生成部２３ｂ、人応答部２４、自己位置推定手段２５、移動制御部２６、シナリオＤＢ２９ａおよび地図情報ＤＢ２９ｂから構成されている。
【００２０】
カメラ２１ａは、ロボット２の周囲の状況や来訪者の顔等の画像情報を撮像して画像認識部２２ａに送るための機器である。ここで、カメラ２１ａは、モノクロまたはカラーカメラであってもよく、単眼または複眼（図２では複眼とした）で構成できる。また、図示しないモータにより、パン（左右方向）およびチルト（上下方向）に駆動され、所望の方向を向くことができるよう構成した。
【００２１】
画像認識部２１ｂは、カメラ２１ａが撮像した画像情報をデジタル化して取り込む。また、動的輪郭モデル（Ｓｎａｋｅｓともいう）等の移動体の自動抽出・追跡機能を有し、来訪者の位置情報を検出することが可能な構成となっている。また、画像認識部２１ｂは、デジタル化した画像情報を人応答部２４およびロボット位置取得手段２５に送る。
【００２２】
マイク２２ａは、周囲の音や、来訪者の発話等の音情報を集め、音声認識部２２ｂに送る。
【００２３】
音声認識部２２ｂは、マイク２２ａが集めた音情報に基づいて、音源を定位する。また、予め登録された語彙を参照して、来訪者の発話内容を認識する。
【００２４】
スピーカ２３ａは、発話生成部２３ｂが生成した音声を出力し、来訪者とのコミュニケーションを行うための機器である。
【００２５】
発話生成部２３ｂは、人応答部２４からシナリオＤＢ２９ａに格納されるコミュニケーションのためのシナリオや、案内動作指示手段３３からの案内動作の指示に基づき、来訪者に伝える内容を音声に合成してスピーカ２３ａに出力する。
【００２６】
人応答部２４は、ロボット支援サーバ３から送られてきた各情報、画像認識部２１ｂから送られた画像情報、マイク２３ａからの来訪者の発話等をもとに、会話を生成したり、ロボットの動作（腕をあげる等）を制御したりする。また、来訪者を認識し、案内動作を開始するときに、案内開始情報を送信部２８からロボット支援サーバ側の送受信部３６に送信する。さらに、来訪者の案内動作が完了したときには、案内完了情報を送受信部２８からロボット支援サーバ３側の送受信部３６に送信する。
【００２７】
自己位置推定手段２５は、画像認識部２１ｂから送られた画像情報および地図情報ＤＢ２９ｂに格納された地図情報を基に、ロボット２の現在位置を推定する。
【００２８】
移動制御部２６は、ロボットの現在位置、地図情報ＤＢ２９ｂに格納される地図情報およびロボット支援サーバ３から送られる案内動作をもとに自律移動手段２７の動作を制御する。
【００２９】
自律移動手段２７は、ロボット２が自律的に移動するための機器であり、本実施形態ではロボット２の足に相当する部分である。
【００３０】
送受信部２８は、ロボット支援サーバ３との無線による送受信を行うための機器である。
【００３１】
シナリオＤＢ２９ａは、来訪者とのコミュニケーションを支援するデータベースである。「どちら様ですか？」、「○○様でいらっしゃいますか？」等の、来訪者との間で行われる会話に用いられる文例等が格納されている。
【００３２】
地図情報ＤＢ２９ｂは、ロボット２が移動可能な区域の地図情報を格納するデータベースである。この地図情報は、ロボット支援サーバ３の地図情報ＤＢ３５ａ（図３参照）に格納されている地図情報と同一のものであり、ロボット支援サーバ３との送受信により情報の更新が可能である。
【００３３】
次に、図３を参照して、案内動作制御手段Ｂについて説明する。案内動作制御手段Ｂは、ロボット支援サーバ３、送受信部３６、出入口カメラ４、場内カメラ５および社員出入口カメラ６から構成される。ロボット支援サーバ３は、画像認識部３１、案内情報管理手段３２、案内動作指示手段３３、ロボット位置取得手段３４、地図情報ＤＢ３５ａ、来訪者ＩＤ情報ＤＢ３５ｂおよびスケジュール情報ＤＢ３５ｃから構成され、送受信部３６を通じて、ロボット２と送受信可能となっている。
【００３４】
画像認識部３１は、出入口カメラ４、場内カメラ５および社員出入口カメラ６が撮像した画像情報をデジタル化して取り込む。また、動的輪郭モデル等の移動体自動抽出・追跡機能を有し、来訪者の位置情報を検出することが可能に構成されている。
【００３５】
ここで、各カメラ４〜６について説明する。出入口カメラ４は、出入口付近の画像情報を撮像し、画像認識部３１に送るカメラである。場内カメラ５は、ロビー内全体の画像情報を撮像し、画像認識部３１に送るカメラである。社員出入口カメラ６は、社員出入口付近の画像情報を撮像し、画像認識部３１に送るカメラである。
【００３６】
ちなみに、出入口カメラ４、場内カメラ５および画像認識部３１が請求項１における来訪者検出手段に該当する。
【００３７】
出入口カメラ４、場内カメラ５および社員出入口カメラ６が撮像した画像情報は、画像認識部３１に送られる。これらの各カメラの中で、出入口カメラ４で撮像し画像情報から画像認識部３１が認識した移動体を来訪者であると認識する。そして、この来訪者をはじめに認識した時刻が、来訪時刻として案内情報管理手段３２に送られる。
一方、社員出入口カメラ６で撮像した画像をもとに検出された移動体は、社員であると認識される。
このようにすることで、ロビー内に存在する移動体が来訪者であるか社員であるかを判断可能となる。
そして、場内カメラ５が撮像した画像情報をもとに、画像認識部３１は、該来訪者および該社員の位置を計算してこれらの位置情報を取得する。
【００３８】
地図情報ＤＢ３５ａは、ロボット２が移動可能な領域の地図情報を格納している。例えば、会議室の場所、階段の場所、ロビー内の観葉植物、ソファ等の障害物等が地図情報として格納されている。この地図情報は、ＰＣからの入力により、情報の更新が可能な構成となっている。したがって、会議室の名称の変更や、テーブル、ソファ等のレイアウトの変更にも対応できる。
【００３９】
来訪者ＩＤ情報ＤＢ３５ｂは、来訪者ＩＤ情報と顔画像とを関連付けて格納している。来訪者ＩＤ情報は、来訪者のＩＤ番号・所属会社名・肩書き・氏名等を含んでいる。これらの来訪者ＩＤ情報のうち、少なくとも一つの情報が、スケジュール情報を検索する際のキーとなる。例えば、前記したＩＤ番号がキーとして利用できる。
なお、顔画像は、主にロボット２が撮像し、来訪者の承諾を得て登録したものである。
【００４０】
スケジュール情報ＤＢ３５ｃは、予定された来訪者に関するスケジュール情報と来訪者ＩＤ情報（例えば、ＩＤ番号）を関連付けて格納している。スケジュール情報は、例えば、来訪する日付・時刻、来訪者の所属会社名・肩書き・氏名、面会予定者、案内先等であり、これらの情報は、サーバと接続されたパソコンや携帯端末から入力、更新可能である。
【００４１】
案内情報管理手段３２は、地図情報ＤＢ３５ａ、来訪者ＩＤ情報ＤＢ３５ｂおよびスケジュール情報ＤＢ３５ｃに格納される各情報、ならびに画像認識部３１から送られる画像情報をもとに来訪者の案内情報を作成し管理する。
【００４２】
案内情報の作成例について説明する。画像認識部３１は、来訪者の来訪時刻、顔画像および位置情報を案内情報管理手段に送る。そして、案内情報管理手段３２は、この顔画像をキーとして来訪者ＩＤ情報ＤＢ３５ｂを参照し、来訪者ＩＤ情報を取得する。そして、来訪者ＩＤ情報の一つ、例えばＩＤ番号をキーとして、スケジュール情報ＤＢ３５ｃを参照し、スケジュール情報を取得する。さらに、来訪者ＩＤ情報と、スケジュール情報と、画像認識部３１から取得した来訪者位置情報とをあわせて案内情報を作成する。この案内情報は、案内動作指示手段３３に送られる。
【００４３】
案内動作指示手段３３は、案内情報管理手段３２に管理されている案内情報をもとに案内動作を作成する。ここで、未案内の来訪者が複数いる場合には、各来訪者の案内情報をもとに、案内順序を作成し、この案内順序に基づいて案内する。作成された案内動作は、送受信部３６からロボット２に送信される。
【００４４】
以下案内順序の作成方法について説明する。
（１） 来訪者の来訪時刻が早い順に案内順序を決める。
（２） 来訪者のスケジュール情報（面会時刻、面会の重要度等）により案内順序を決める。
（３） 来訪者ＩＤ情報（肩書き等）により案内順序を決める。
（４） これらの方法を組み合わせて案内順序を決める。
【００４５】
このような案内を好適に行うためには、できるだけ多くの来訪者の来訪者ＩＤ情報を格納していることが望ましい。そのため、顔画像等を格納していない来訪者との面会予定を立てた際に、来訪者の顔写真等を電子メールで送信してもらい、予め格納しておく等の工夫を行うとよい。
【００４６】
ロボット位置取得手段３４は、ロボット２の画像認識部２１ｂ（図２参照）でデジタル化して取得した画像情報と、地図情報ＤＢ３５ａに格納された地図情報をもとに、ロボットの現在位置を特定する。
【００４７】
送受信部３６は、ロボット２の送受信部２８（図２参照）との間で無線による送受信を行う。送受信の具体例としては、案内動作指示手段３３が作成した案内動作をロボット２側に送信する。また、ロボット２の画像認識部２１ｂがデジタル化して取得した画像情報を受信する。また、ロボット２側からの案内開始情報や案内完了情報を受信し、この信号をロボット支援サーバ３に送る。これら案内開始情報および案内完了情報は、案内情報管理手段３２に送られ、前記案内情報に付け加えられる。すなわち、これらが来訪者位置情報と組み合わせられることにより、ロビー内の来訪者が未案内であるか、案内中であるか、案内済みであるかが識別可能となる。また、これらがスケジュール情報と組み合わせられることにより、予定された来訪者が未案内であるか、案内済みであるかが確認可能となる。
【００４８】
また、ロボット支援サーバ３は、複数のＰＣと接続されている。これらＰＣから各情報を入力、表示、更新等の作業を行うことができる。また、サーバから各ＰＣに、来訪者の案内状況等を通知することにより、面会者に知らせることができる。
【００４９】
オペレータ用ＰＣは、各ＤＢ内の情報や案内状況等を入力、表示、更新するための機器である。オペレータは、オペレータ用ＰＣの画面から案内状況を確認したりすることができる。
【００５０】
これらのＰＣだけでなく、携帯端末を使用してロボット支援サーバ３と送受信するよう構成することも可能である。
【００５１】
続いて、本実施形態に係る受付案内システムを用いた来訪者の案内動作について、図４に示すフローチャートを用いて説明する。
【００５２】
（Ｓ１） 来訪者有無判断ステップ
出入口カメラ４が撮像した画像情報をもとに、ロボット支援サーバ３は、来訪者の有無を確認する。
【００５３】
（Ｓ２） 来訪者位置情報検出ステップ
Ｓ１で来訪者の入場を検出した場合には、場内カメラ５が撮像した画像情報をもとに、ロボット支援サーバ３は、来訪者の顔情報および位置情報を検出する。
【００５４】
（Ｓ３） 接近動作指示ステップ
Ｓ２で検出した来訪者位置情報に基づいて、ロボット支援サーバ３は、ロボット２に来訪者に接近するよう指示する。
【００５５】
（Ｓ４） ロボット移動ステップ
ロボット２は、Ｓ３の指示を受け、来訪者に接近する。そして、ロボット２と来訪者との距離が、来訪者とのコミュニケーションを行うのに好適な場所まで移動する。
【００５６】
（Ｓ５） 来訪者認識ステップ
ロボット２は、来訪者を撮像し、来訪者の位置情報および顔画像を取得する。
【００５７】
（Ｓ６） 顔画像登録ステップ
ロボット２は、来訪者に、顔画像を登録してもいいかを確認する。承諾を得た場合には、会社名、氏名等その他の来訪者ＩＤ情報を聞き出し、登録する。
【００５８】
（Ｓ７） 来訪者情報送信ステップ
ロボット２は、来訪者の位置情報、顔情報および案内開始情報をロボット支援サーバ３に送信する。また、顔画像の登録の承諾が得られている場合には、顔画像を含む来訪者ＩＤ情報を来訪者ＩＤ情報ＤＢ３５ｂに格納する。
【００５９】
（Ｓ８） 来訪者確認ステップ
ロボット支援サーバ３は、ロボット２から送信された顔画像および位置情報が、場内カメラ６が撮像した顔画像および位置情報と一致するかを確認する。すなわち、ロボット支援サーバ３が近づくように指示した来訪者と、実際にロボット２が近づいた来訪者が同一であるか否かを確認する。さらに、来訪者ＩＤ情報ＤＢ３５ｂに格納された顔画像のなかに、ロボット２から送られた顔画像と一致するものがあるかを確認する。
【００６０】
（Ｓ９） 案内動作指示ステップ
Ｓ８の結果を受け、ロボット支援サーバ３は、案内動作を作成し、作成した案内動作をロボット２に送信する。
【００６１】
（Ｓ１０） 来訪者案内ステップ
ロボット２は、受信した案内動作にしたがい来訪者を案内する。例えば、コミュニケーションを行い、来訪者を誘導し、面会場所まで同行する。また、来訪者のスケジュール等が不明である場合には、所定の場所（ロビー内のソファ等）に来訪者を誘導し、その旨をオペレータ用ＰＣに表示することで、オペレータに応援をたのむ構成でもよい。
【００６２】
（Ｓ１１） 案内完了ステップ
来訪者の案内動作が完了したら、案内完了情報を、ロボット支援サーバ３に送信する。そして、ロボット２が行った案内動作の履歴がスケジュール情報ＤＢ３５ｃに格納される。また、完了した旨を、面会者のＰＣの画面上に表示して伝える。
【００６３】
（Ｓ１２） 未案内来訪者判断ステップ
未案内の来訪者がいるかどうかを判断する。ここでいう未案内の来訪者は、Ｓ１〜Ｓ１１を実行している間に新たな来訪者が訪れることにより発生する。未案内の来訪者がいる場合には、Ｓ３に戻り、案内動作を繰り返す。ここで、未案内の来訪者が複数いる場合には、各来訪者に付された案内順序にしたがい案内する。いない場合には、ロボット２による案内動作を終了する。
【００６４】
ここでいう案内動作の終了とは、ロボット２が、ホームポジション（例えば、ロビーの受付カウンタ付近）に戻ることをさす。ホームポジションに戻るようにするのは、案内動作が終了した場所で次の来訪者が訪れるのを待つようにすると、次の来訪者の案内動作に移るのに時間がかかるようになり、また、ロボット２が社員等にとって邪魔になるからである。そして一定時間経過後に省電力モードに切り替わり、次の来訪者が検出されるのを待つ。なお、ホームポジションに戻ることにより、ロボット２の充電が開始される構成にすることにより、案内動作中にロボット２のバッテリが切れる事態を防ぐことができる。
【００６５】
かかる構成、動作により、ロボット２が来訪者を案内中であっても、出入口カメラ４および場内カメラ５が来訪者の有無、位置情報、顔画像を検出する。したがって、次の来訪者の案内へスムーズに移行することができる。
【００６６】
続いて、顔画像登録について詳しく説明する。ロボット２は、音声により来訪者とコミュニケーションをとり、来訪者の承諾を得られた場合には、来訪者の顔画像を取得し、ロボット支援サーバ３の来訪者ＩＤ情報ＤＢ３５ｂに保存する。さらに、来訪者のその他のＩＤ情報（会社名、肩書、氏名、生年月日等）を質問し、回答を得た分については、顔画像とともに登録される。次回来訪時には、これら来訪者ＩＤ情報を参照することにより、来訪者が誰であるかを特定することが可能となる。
【００６７】
顔画像を登録する方法として、いくつかの方法を以下に示す。
（１） 案内動作を行うたびに毎回行う。
（２） オペレータや面会者が、ＰＣ等を用いて顔画像登録の実施・不実施を設定可能な構成とする。
（３） 顔画像情報が未登録、あるいは、登録された情報が一定期間過ぎた場合には再登録を行う構成とする。
（４） 前記した各方法を適宜設定可能な構成とする。
また、顔画像登録を案内動作のどの段階で行うかについても適宜設定可能である。例えば、来訪者に接近し、来訪者の氏名等を確認する際に行ってもよいし、来訪者を面会場所へ案内した後に行ってもよい。
【００６８】
顔画像の登録で重要なのは、来訪者の承諾を得た場合にのみ登録を行うことである。これは、来訪者の肖像権等に対する配慮である。
【００６９】
前記した実施形態は、本発明の要旨を逸脱しない範囲で適宜設計変更可能である。例えば、場内カメラ５が撮像した画像情報により来訪者を特定した段階で、面会者に通知する構成であってもよい。かかる構成によりロボット２による案内と、面会者の行動開始のタイムラグをより少なくすることが可能となる。
【００７０】
また、来訪者のスケジュール情報が格納されていない場合等には、所定の場所に来訪者を案内後、オペレータに応援をたのむ構成としたが、これに限定されない。例えば、ロボット２が、来訪者と音声によるコミュニケーションを行い、来訪者から面会者、面会場所等を聞き出し、それらの情報をもとに案内を行う構成であってもよい。
【００７１】
また、一台のロボット２を用いて案内動作を行う構成としたが、複数のロボットを有する構成であってもよい。この場合には、さらにロボットごとに異なる役割を与えることが可能となる。例えば、既に顔画像等を登録済みの来訪者を案内するロボットと、未登録の来訪者を案内し、顔画像の登録を行うロボットとを備える構成であってもよい。
【００７２】
また、ロボット２の仕様も適宜設計変更可能である。自律移動手段として、複数の車輪を有する構成であってもよい。また、画像表示部を有し、文字情報や画像情報により来訪者とコミュニケーションを行うことが可能な構成であってもよい。また、タッチパネルを有し、来訪者が来訪の目的等を入力可能な構成であってもよい。
【００７３】
また、来訪者検出手段として、出入口カメラ４および場内カメラ５を各１台ずつ備えた構成としたが、これに限定されない。カメラの台数、各カメラの有する機能、カメラの設置場所等は適宜設計変更可能である。
【００７４】
また、来訪者と社員とを区別するために、出入口カメラ４で最初に検出された移動体を来訪者、社員出入口カメラ６で最初に検出された移動体を社員、であると認識し区別する構成としたが、これに限定されない。例えば、各社員は、社員であることを認識できるような制服や靴を着るようにしたり、社員ＩＤカードを所定に位置に着けたりする構成であってもよい。かかる構成により、場内カメラ５に映った移動体が社員であるか否かを認識可能となる。
【００７５】
【発明の効果】
本発明の請求項１に記載の発明によれば、ロボットが来訪者を案内中であっても、次の来訪者の位置情報を取得することができる受付案内システムを提供することができる。
【００７６】
また、請求項２に記載の発明によれば、来訪者が未案内であるか否かを識別可能な受付案内システムを提供することができる。
【００７７】
また、請求項３に記載の発明によれば、未案内の来訪者が複数いる場合において、これらの来訪者を来訪時刻順に案内することができる受付案内システムを提供することができる。
【００７８】
また、請求項４に記載の受付案内システムによれば、未案内の来訪者が複数いる場合において、来訪者の顔画像や、スケジュール情報をもとにして来訪者の案内順序を決め、その案内順序に基づいた案内動作を行うことができる受付案内システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る受付案内システムを配置したロビーを示す概略図である。
【図２】本発明の実施形態に係る受付案内システムのロボットを示すブロック図である。
【図３】本発明の実施形態に係る受付案内システムの案内動作制御手段を示すブロック図である。
【図４】本発明の実施形態に係る受付案内システムを用いた案内を示すフローチャートである。
【符号の説明】
１ 受付案内システム
２ ロボット
２１ａ カメラ
２１ｂ 画像認識部
２２ａ マイク
２２ｂ 音声認識部
２３ａ スピーカ
２３ｂ 発話生成部
２４ 人応答部
２５ 自己位置推定手段
２６ 移動制御部
２７ 自律移動手段
２８ 送受信部
２９ａ 地図情報ＤＢ
２９ｂ シナリオＤＢ
Ｂ 案内動作制御手段
３ ロボット支援サーバ
３１ 画像認識部
３２ 案内情報管理手段
３３ 案内動作指示手段
３４ ロボット位置取得手段
３５ａ 地図情報ＤＢ
３５ｂ 来訪者ＩＤ情報ＤＢ
３５ｃ スケジュール情報ＤＢ
３６ 送受信部
４ 出入口カメラ
５ 場内カメラ
６ 社員出入口カメラ
Claims (4)
- 自律的に移動するロボットと前記ロボットの案内動作を制御する案内動作制御手段とからなる受付案内システムであって、
前記案内動作制御手段は、
前記ロボットが移動する環境の地図情報を保持する地図情報データベースと、前記ロボットの位置を特定するロボット位置情報を取得するロボット位置取得手段と、
来訪者の位置を特定して来訪者位置情報を取得する来訪者検出手段と、
前記地図情報、前記ロボット位置情報および前記来訪者位置情報に基づいて、前記来訪者の案内情報を作成し管理する案内情報管理手段と、
前記案内情報に基づいて、前記ロボットに案内動作を指示する案内動作指示手段を備えたことを特徴とする受付案内システム。 - 前記ロボットは、案内動作の履歴である案内履歴情報を前記案内情報管理手段に送信し、前記案内情報は、当該案内履歴情報にも基づいて作成されることを特徴とする請求項１に記載の受付案内システム。
- 前記案内動作指示手段は、前記来訪者検出手段が前記来訪者位置情報を取得した時刻に基づいて来訪者の案内順序を決めることを特徴とする請求項１または請求項２に記載の受付案内システム。
- 少なくとも来訪者の顔画像と、来訪者ＩＤ情報とを関連付けて記憶した来訪者ＩＤ情報データベースと、前記来訪者ＩＤ情報と来訪者のスケジュール情報とを関連付けて記憶したスケジュール情報データベースとをさらに備え、
前記来訪者検出手段は、来訪者の顔画像をも取得した上で、この顔画像を前記案内情報管理手段へ送り、
前記案内情報管理手段は、前記顔画像に基づいて前記来訪者ＩＤ情報データベースを参照して来訪者ＩＤ情報を取得するとともに、この来訪者ＩＤ情報に基づいて前記スケジュール情報データベースを参照して、来訪者のスケジュール情報を取得し、これらの来訪者ＩＤ情報およびスケジュール情報に基づいて来訪者の案内順序を決めることを特徴とする請求項１から請求項３のいずれか一項に記載の受付案内システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003097706A JP4355158B2 (ja) | 2003-04-01 | 2003-04-01 | 受付案内システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003097706A JP4355158B2 (ja) | 2003-04-01 | 2003-04-01 | 受付案内システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004299026A true JP2004299026A (ja) | 2004-10-28 |
| JP4355158B2 JP4355158B2 (ja) | 2009-10-28 |
Family
ID=33409423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003097706A Expired - Fee Related JP4355158B2 (ja) | 2003-04-01 | 2003-04-01 | 受付案内システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4355158B2 (ja) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006198730A (ja) * | 2005-01-21 | 2006-08-03 | Yaskawa Electric Corp | 受付案内システム |
| JP2007164381A (ja) * | 2005-12-12 | 2007-06-28 | Honda Motor Co Ltd | 受付システム |
| JP2007190641A (ja) * | 2006-01-19 | 2007-08-02 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
| JP2007222968A (ja) * | 2006-02-21 | 2007-09-06 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
| JP2007276080A (ja) * | 2006-04-11 | 2007-10-25 | Toyota Motor Corp | 案内ロボット |
| JP2008152504A (ja) * | 2006-12-18 | 2008-07-03 | Hitachi Ltd | 案内ロボット装置及び案内システム |
| JP2009248193A (ja) * | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 接客システム及び接客方法 |
| DE102006058553B4 (de) * | 2005-12-12 | 2010-08-26 | Honda Motor Co., Ltd. | Steuerungssystem für einen mobilen Schreitroboter |
| US8090193B2 (en) | 2007-12-06 | 2012-01-03 | Honda Motor Co., Ltd. | Mobile robot |
| WO2012073301A1 (ja) * | 2010-11-29 | 2012-06-07 | 株式会社日立製作所 | ロボットを利用した案内システム |
| JP2016012244A (ja) * | 2014-06-30 | 2016-01-21 | ハッチ株式会社 | 面接スケジュール調整装置、面接スケジュール調整方法、およびプログラム |
| JP2017222021A (ja) * | 2016-06-14 | 2017-12-21 | グローリー株式会社 | 店舗受付システム |
| JP2018079544A (ja) * | 2016-11-17 | 2018-05-24 | 株式会社サテライトオフィス | ロボットまたは音声対応電子回路モジュール制御システム |
| KR20180109455A (ko) * | 2017-03-28 | 2018-10-08 | 엘지전자 주식회사 | 상황인식적으로 맵을 관리하는 방법, 이를 구현하는 장치 |
| JP2018171696A (ja) * | 2017-03-31 | 2018-11-08 | 大日本印刷株式会社 | 案内装置、案内方法、案内システム及びプログラム |
| JP2019018265A (ja) * | 2017-07-13 | 2019-02-07 | 田嶋 雅美 | 接客サービスシステム |
| KR20210046451A (ko) * | 2019-10-18 | 2021-04-28 | 네이버랩스 주식회사 | 로봇과 사용자간의 인터랙션을 위한 방법 및 시스템 |
| KR102284694B1 (ko) * | 2021-02-08 | 2021-08-03 | 주식회사 마루에이치알 | 자율주행로봇을 이용한 안내 서비스 제공 시스템 |
| CN114939880A (zh) * | 2022-06-20 | 2022-08-26 | 武汉虹信技术服务有限责任公司 | 一种园区智能机器人系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000348227A (ja) * | 1999-06-03 | 2000-12-15 | Omron Corp | ゲート装置 |
| JP2001129777A (ja) * | 1999-11-02 | 2001-05-15 | Atr Media Integration & Communications Res Lab | 自律移動ロボット |
| JP2001300876A (ja) * | 2000-04-20 | 2001-10-30 | Yamatake Corp | サービスロボット及びこれを使用する給仕システム |
| JP4072033B2 (ja) * | 2002-09-24 | 2008-04-02 | 本田技研工業株式会社 | 受付案内ロボット装置 |
-
2003
- 2003-04-01 JP JP2003097706A patent/JP4355158B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000348227A (ja) * | 1999-06-03 | 2000-12-15 | Omron Corp | ゲート装置 |
| JP2001129777A (ja) * | 1999-11-02 | 2001-05-15 | Atr Media Integration & Communications Res Lab | 自律移動ロボット |
| JP2001300876A (ja) * | 2000-04-20 | 2001-10-30 | Yamatake Corp | サービスロボット及びこれを使用する給仕システム |
| JP4072033B2 (ja) * | 2002-09-24 | 2008-04-02 | 本田技研工業株式会社 | 受付案内ロボット装置 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006198730A (ja) * | 2005-01-21 | 2006-08-03 | Yaskawa Electric Corp | 受付案内システム |
| DE102006058553B4 (de) * | 2005-12-12 | 2010-08-26 | Honda Motor Co., Ltd. | Steuerungssystem für einen mobilen Schreitroboter |
| JP2007164381A (ja) * | 2005-12-12 | 2007-06-28 | Honda Motor Co Ltd | 受付システム |
| US8019474B2 (en) | 2005-12-12 | 2011-09-13 | Honda Motor Co., Ltd. | Legged mobile robot control system |
| JP4594857B2 (ja) * | 2005-12-12 | 2010-12-08 | 本田技研工業株式会社 | 受付システム |
| US7330774B2 (en) | 2005-12-12 | 2008-02-12 | Honda Motor Co., Ltd. | Reception system |
| DE102006058552B4 (de) * | 2005-12-12 | 2010-09-23 | Honda Motor Co., Ltd. | Empfangssystem |
| JP2007190641A (ja) * | 2006-01-19 | 2007-08-02 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
| JP2007222968A (ja) * | 2006-02-21 | 2007-09-06 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
| JP4599522B2 (ja) * | 2006-02-21 | 2010-12-15 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット |
| JP4539600B2 (ja) * | 2006-04-11 | 2010-09-08 | トヨタ自動車株式会社 | 案内ロボット |
| JP2007276080A (ja) * | 2006-04-11 | 2007-10-25 | Toyota Motor Corp | 案内ロボット |
| JP4528295B2 (ja) * | 2006-12-18 | 2010-08-18 | 株式会社日立製作所 | 案内ロボット装置及び案内システム |
| JP2008152504A (ja) * | 2006-12-18 | 2008-07-03 | Hitachi Ltd | 案内ロボット装置及び案内システム |
| US8090193B2 (en) | 2007-12-06 | 2012-01-03 | Honda Motor Co., Ltd. | Mobile robot |
| JP2009248193A (ja) * | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 接客システム及び接客方法 |
| WO2012073301A1 (ja) * | 2010-11-29 | 2012-06-07 | 株式会社日立製作所 | ロボットを利用した案内システム |
| JP2016012244A (ja) * | 2014-06-30 | 2016-01-21 | ハッチ株式会社 | 面接スケジュール調整装置、面接スケジュール調整方法、およびプログラム |
| JP2017222021A (ja) * | 2016-06-14 | 2017-12-21 | グローリー株式会社 | 店舗受付システム |
| JP2018079544A (ja) * | 2016-11-17 | 2018-05-24 | 株式会社サテライトオフィス | ロボットまたは音声対応電子回路モジュール制御システム |
| KR102310346B1 (ko) * | 2017-03-28 | 2021-10-07 | 엘지전자 주식회사 | 상황인식적으로 맵을 관리하는 방법, 이를 구현하는 장치 |
| KR20180109455A (ko) * | 2017-03-28 | 2018-10-08 | 엘지전자 주식회사 | 상황인식적으로 맵을 관리하는 방법, 이를 구현하는 장치 |
| JP2018171696A (ja) * | 2017-03-31 | 2018-11-08 | 大日本印刷株式会社 | 案内装置、案内方法、案内システム及びプログラム |
| JP7013667B2 (ja) | 2017-03-31 | 2022-02-01 | 大日本印刷株式会社 | 案内装置及び案内システム |
| JP2019018265A (ja) * | 2017-07-13 | 2019-02-07 | 田嶋 雅美 | 接客サービスシステム |
| JP7146373B2 (ja) | 2017-07-13 | 2022-10-04 | 雅美 田嶋 | 接客サービスシステム |
| KR20210046451A (ko) * | 2019-10-18 | 2021-04-28 | 네이버랩스 주식회사 | 로봇과 사용자간의 인터랙션을 위한 방법 및 시스템 |
| KR102412555B1 (ko) | 2019-10-18 | 2022-06-23 | 네이버랩스 주식회사 | 로봇과 사용자간의 인터랙션을 위한 방법 및 시스템 |
| KR102662383B1 (ko) | 2019-10-18 | 2024-04-30 | 네이버랩스 주식회사 | 로봇과 사용자간의 인터랙션을 위한 방법 및 시스템 |
| KR102284694B1 (ko) * | 2021-02-08 | 2021-08-03 | 주식회사 마루에이치알 | 자율주행로봇을 이용한 안내 서비스 제공 시스템 |
| CN114939880A (zh) * | 2022-06-20 | 2022-08-26 | 武汉虹信技术服务有限责任公司 | 一种园区智能机器人系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4355158B2 (ja) | 2009-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4355158B2 (ja) | 受付案内システム | |
| JP4303602B2 (ja) | 顔面像取得システム | |
| US7720685B2 (en) | Receptionist robot system | |
| JP4718987B2 (ja) | インターフェース装置およびそれを備えた移動ロボット | |
| JP4560078B2 (ja) | コミュニケーションロボット | |
| US7014102B2 (en) | Face identification system | |
| JP7243110B2 (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに荷物受け取り支援システム | |
| JP4594857B2 (ja) | 受付システム | |
| JP5405381B2 (ja) | 音声対話装置 | |
| JP4787813B2 (ja) | 検知対象検知システム | |
| JP4886572B2 (ja) | ロボット | |
| US10397750B2 (en) | Method, controller, telepresence robot, and storage medium for controlling communications between first communication device and second communication devices | |
| JP2005103722A (ja) | 協調ロボット装置、システム、およびナビゲーションロボット装置 | |
| JP2011227237A (ja) | コミュニケーションロボット | |
| JP2007152443A (ja) | 片付けロボット | |
| JP4764377B2 (ja) | 移動型ロボット | |
| JP6812325B2 (ja) | ロボット管理システム | |
| JP4701731B2 (ja) | ロボットによる案内方法 | |
| JP2007152444A (ja) | 自走式ロボットおよび情報管理システム | |
| JP7095220B2 (ja) | ロボット制御システム | |
| JP2002179347A (ja) | エレベータ制御装置およびエレベータ制御システム | |
| JP7446858B2 (ja) | 応対制御装置、応対制御方法、及びプログラム | |
| JP7295175B2 (ja) | ロボット制御方法及びシステム | |
| JP2020009201A (ja) | 案内ロボットシステム及びその制御方法 | |
| JP2005065026A (ja) | 情報収集ロボット |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20081211 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081229 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090728 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090731 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4355158 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130807 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140807 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |