JP2010514316A - 自律装置を制御する方法 - Google Patents

自律装置を制御する方法 Download PDF

Info

Publication number
JP2010514316A
JP2010514316A JP2009542299A JP2009542299A JP2010514316A JP 2010514316 A JP2010514316 A JP 2010514316A JP 2009542299 A JP2009542299 A JP 2009542299A JP 2009542299 A JP2009542299 A JP 2009542299A JP 2010514316 A JP2010514316 A JP 2010514316A
Authority
JP
Japan
Prior art keywords
autonomous device
indicator
private area
private
autonomous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009542299A
Other languages
English (en)
Other versions
JP5290991B2 (ja
Inventor
パルランツァス,ゲオルギオス
エフ マルシュナー,イェンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2010514316A publication Critical patent/JP2010514316A/ja
Application granted granted Critical
Publication of JP5290991B2 publication Critical patent/JP5290991B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Alarm Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Burglar Alarm Systems (AREA)
  • Manipulator (AREA)

Abstract

自律装置(1)を制御する方法であって、自律装置は環境データを記録し、記録された環境データを任意に送信する段階と、前記自律装置(1)のユーザについてプライベート領域(P)を非プライベート領域(N)から光学的に識別するようにプライベート領域(P)と非プライベート領域(N)との間の境界(B)にインジケータ(S、S、S、S)を位置付ける段階とを有する方法について開示している。インジケータ(S、S、S、S)は自律装置(1)により検出され、自律装置がプライベート領域(P)にあるか非プライベート領域(N)にあるかを判定するように解釈される。続いて、自律装置(1)がプライベート領域(P)内にある間、環境データの記録又は送信が制限される。本発明はまた、自律装置(1)を制御するシステムについても開示している。また、ユーザ(2)について非プライベート領域からプライベート領域を光学的に識別するように、プライベート領域(P)と非プライベート領域(N)との間の境界に位置付け、複数の電気的に検出可能な構成要素(23,24)を有するインジケータ(S、S)について開示している。

Description

本発明は、自律装置を制御する方法及び自律装置を制御するシステムに関する。本発明はまた、プライベート領域と非プライベート領域との間の境界に位置付けるための自律装置及びインジケータに関する。
消費者の家庭で用いる対話システムの分野における開発は、近未来に家庭での対話システムの広範な使用に繋がると考えられている。家庭用対話システムは、一種の‘ロボット’として、恐らく、人間又は動物の外観又は特徴を有するものとしてさえも実現され、そしてユーザのタスクを実行するように用いられることが可能である。そのようなタスクは床の掃除又は整理整頓等の実用性を有することが可能であり、日常茶飯事においてユーザを支援する役割を果たすことが可能である。家庭用対話システムの実行可能な有用性を高めるように、そのような装置は、それが置かれる環境で自律的に動き回ることが可能になるであろう。そのような自律システム又は自律装置は、それが置かれる環境から‘学習する’識別の能力を利用することが可能であり、音響データ及び映像データを連続して収集して記録することが可能である。例えば、自律装置は、整理整頓される必要があるその自律装置が置かれた環境下での何れかのアイテムが存在するかどうか、又はユーザがフェッチするように送信したアイテムを自律装置が理解することができるかどうかを判定することができるように、処理される映像データを連続して記録することが可能である。音響データはまた、自律装置がアドレスされ、発話されたことを‘理解する’ことができるかどうかを自律装置が判定するように、連続して記録されて分析されることが可能である。
音響データ及び映像データのそのような分析及び処理は、大量である、発話及び画像認識システムのような特定の量の電気的ハードウェアを必要とする。他方、自律装置にそのようなハードウェアを組み込むことは、これを相対的に大きくて扱い難くして、それ相応に高価にする。従って、例えば、十分な処理能力を有するパーソナルコンピュータ(PC)に無線ネットワークにおいて音響データ及び映像データを送信することは容易であるため、そのPCはカメラ及びマイクロフォンを用いてデータを容易に記録するには、及び近くのPCに恐らく圧縮されたフォーマットで分散処理のためにデータを送信するには十分である。PCは、その場合、データを処理し、何れかの関連結果を自律装置に供給する。自律装置は、その場合、より小型に実現されることが可能であり、そのことはまた、特に特定の環境下で2つ以上の自律装置が存在するとき、コストパフォーマンスが高くなる。
音響データ又は映像データの連続的な記録は、複数の理由でユーザにとって理解可能である。例えば、それらの記録が脆弱である可能性が高い安全性の低い媒体に転送されるプライベートな状況下でユーザの画像又は音響記録を有することはあまり許容できるものではない。比較的少ない努力で、悪い意図をもったひとが、無線ネットワークにおいて転送される何らかのデータを利用する及び記録する可能性があり、そのことはユーザの観点から特に好ましくないものである。データはまた、消去された後でさえ、ハードディスクから比較的容易に検索されることが可能である。しかしながら、たとえ自律装置により記録された秘密データが流用されない場合でさえ、自律装置により連続的に‘監視“されている又は’観測”されているという感覚のみであっても、ユーザにとって不快なものである。このことは、自律装置が指定されたタスクを果たす目的で映像データ又は音響データを単に収集している場合でさえ適用可能である。近未来には多くの家庭がそのような自律装置を備えることが予測できるため、この課題は、益々多い数になっていくユーザにより経験されるであろう。この課題に対処する一方法は、ホストコンピュータに自律データを転送することにより自律装置を停止させる発話コマンドをユーザが発することである。しかしながら、ユーザは、自律装置がプライベート領域に入ったことに気が付く必要があり、ユーザはまた、自律装置が送信を再開することを可能にするように後の時間に適切なコマンドを発するように思い出す必要がある。更に、そのようなコマンドは、例えば、ユーザがシャワーを浴びている又は寝入っている場合には、必ずしも実行可能ではない。
従って、本発明の目的は、自律装置のユーザのプライバシーを保証する簡単な方法を提供することである。
このために、本発明は、環境データを記録し、記録された環境データを任意に送信することが可能である自律装置を制御する方法であって、自律装置のユーザのためにプライベート領域を非プライベート領域と光学的に区別するようにプライベート領域と非プライベート領域との間の境界にインジケータを位置付ける段階を有する、方法について開示している。インジケータは、自律装置がプライベート領域にあるか又は非プライベート領域にあるかを判定するように、自律装置により検出されて解釈される。続いて、環境データの記録又は送信は、自律装置がプライベート領域にある間に、制限される。
自律装置は、外部装置への送信のために、その自律装置が置かれている環境、例えば、家の部屋に関する音響データ又は映像データ等のデータを収集して記録することが可能である。‘外部装置’は、送信されたデータを受信することが可能である自立装置に対して外部にある何れかの装置であることが可能である。そのような外部の装置は、例えば、同じ住居内で、自律装置の近くに位置付けられることが可能であり、又は、どこかに、例えば、インターネットの一部としての中央サーバに位置付けられることが可能である。自律装置は、ピアツーピアネットワーク、無線ローカルエリアネットワーク(WLAN)又は何れかの他の適切な種類のネットワークにおいてデータを送信することが可能である。上記のように、これを行うための理由は、PC等の外部装置が、データ分析を実行する、例えば、家庭内を動き回るときに自律装置により収集される映像記録に関する画像分析を実行する、又は自律装置により行われる音響記録に関する発話認識を実行する、より高い処理能力を利用することが可能であることである。
プライベート領域は、住居の中の単独の部屋又は部屋の中の領域のような何れかの領域であることが可能である。同様に、プライベート領域は、階全体のような住居の一部であることが可能である。本発明に従って、ユーザは、外部装置に対して行われる又は送信されるようになっている音響記録又は映像記録を有するようにユーザが望まない何れかの領域に、インジケータにより、‘プライベート’であるとして指定することが可能である。インジケータは、人間が‘読む’ことができる又は視覚的に理解することができる何れかの種類のサイン又はラベルであることが可能である。ユーザは、インジケータを適切な場所に、例えば、壁に容易に位置付け、それにより、プライベート領域と非プライベート領域との間の境界を自動的に生成することができる。インジケータは、この境界を光学的に示すことが可能である。例えば、インジケータは矢印を示すことが可能であり、それ故、その矢印により指し示される領域がプライベート領域である。非プライベート領域は、その場合、デフォルトで、反対側にある領域である。プライベート領域と非プライベート領域との間の境界は、例えば、インジケータがドアの枠のわき柱に位置付けられているが、同様によく仮想的境界であるときに、例えば、視覚的インジケータが玄関の又は踊り場の壁に位置しているときに、明確な可視的な境界であることが可能であり、それ故、可視的インジケータの一方の側の領域が‘プライベート’であり、他方の側が‘非プライベート’であり、それらの領域がインジケータを介して仮想鉛直方向線により分離される。
インジケータにより与えられる‘プライベート’と‘非プライベート’との間の境界は、何れのユーザも明確に認識することができるものである。ユーザは、一瞥して視覚的インジケータの、どちらの側がプライベート領域であるか、及びどちらの側が非プライベート領域であるかを見分けることができる。以下、従って、インジケータを‘視覚的インジケータ’ということにする。ユーザは、自律装置が視覚的インジケータのところを通るときに、どちらの領域をプライベートと自律装置が‘認識’するかに関して何ら疑う必要はない。一旦、自律装置が視覚的インジケータを‘認識’して、プライベート領域に移動すると、その自律装置は、もう一度、そのプライベート領域を出るまで、環境データの記録又は送信を自動的に制限する。例えば、自律装置が、住居を動き回っている間に、画像又は映像データを記録し、PCにこのデータを連続的に送信する場合、自律装置は、プライベート領域として印付けされた部屋内にある間、画像又は映像データを記録することを中止することが可能である。しかしながら、このことは、部屋の掃除等のタスクの実行において自律装置を過度に妨げる可能性があるため、その自律装置自体の使用のために画像及び映像データを記録し続けるが、外部装置にデータを送信することは抑制されることが可能である。
本発明に従った方法の明らかな有利点は、容易で直感的な方法で、‘プライベート’であるとして何れかの領域をユーザが指定することができることである。ユーザは、自律装置がプライベート領域内にある限り、高い感度を有する可能性があるデータであって、そのようなデータは悪いひとに入る又は流用される、データが外部装置に自律装置により送信されないことを確信している。‘プライベート’と‘非プライベート’との間のそのような境界は、いつでも廃止される又はキャンセルされることが可能であり、ユーザの全てが視覚的インジケータを取り除き、そのインジケータの方向を変える必要がある。このことは、自律装置は、特定の領域をプライベートと認識するように、特に予めプログラムされる必要はない。また、自律装置は、割り当てられた何れかのタスクの実行を妨げられることなく、プライベートとして印付けされた領域に入り続けることが可能である。
環境データを記録する及び任意に送信する自律装置を制御する適切なシステムは、自律装置のユーザのためにプライベート領域を非プライベート領域と光学的に区別するようにプライベート領域と非プライベート領域との間の境界に位置付けられるインジケータと、自律装置によるインジケータの検出のための検出器と、を有する。そのシステムは、自律装置がプライベート領域にあるか又は非プライベート領域にあるかを判定するように自律装置によるインジケータの解釈のための解釈ユニットと、自律装置がプライベート領域にある間に、環境データの記録又は送信を制限する制御ユニットと、を更に有する。
本発明に従った方法で用いる自律装置は、好適には、音響データ及び/又は映像データを記録する記録手段と、ホストに記録されたデータを送信する送信器と、を有する。視覚的インジケータを検出するように、自律装置は専用の検出器を有することが可能である。この検出器は、例えば、視覚的インジケータの既知の又は所定の形状を検出するように、簡単なパターン認識を実行する画像分析モジュール、又は下でより詳細に説明する電気的検出器であることが可能である。本発明に従った自律装置はまた、例えば、視覚的インジケータのどちらの側がプライベート領域であるかに関して判定するように、自律装置がプライベート領域にあるか又は非プライベート領域にあるかを判定するように、視覚的インジケータの解釈のための解釈ユニットを有する。外部装置へのデータの記録又は記録されているデータの送信を制限するように、自律装置は、好適にはまた、適切な制御ユニット、例えば、送信を無効にするスイッチ又は送信を禁止するコマンドを有する。
従属請求項及び以下の説明においては、本発明の特に有利な実施形態及び特徴について開示されている。
ユーザが、非プライベート領域又は‘公共’領域からプライベート領域を境界付けすることを望まないとき、そのユーザは、実際に又は仮想に拘わらず、プライベート領域とプライベート領域との間の境界に視覚的インジケータを単純に位置付けることによりこれを行うことが可能である。例えば、ユーザは、自律装置について適切な高さでドアの枠にラベルを貼ることが可能である。そのラベルは、プラスチック又は金属等の何れかの適切な材料から成ることが可能であり、接着剤、吸着パッド、磁石等により壁、ドアの枠又は他の面に貼られることが可能である。本発明に従って、‘視覚的インジケータ’における用語‘視覚的’は、ユーザが視覚的インジケータを見ることができ、そのインジケータの方向を認識することもできることを意味するとして解釈できるようなものである。視覚的インジケータは、好適には、形状及びデザインが単純であり、例えば、そのインジケータは、中央に明確に定められた矢印を有する円形形状を有し、背景及び矢印は、白色の背景及び赤色の矢印のような高コントラストの色を有することが可能である。
本発明の好適な実施形態においては、視覚的インジケータに対するプライベート領域の位置は、視覚的インジケータの方向により定められる。上記の実施例においては、視覚的インジケータにおける矢印は、プライベート領域が矢印が指し示す方の領域であることを意味するとして解釈できる。従って、矢印が右側の方を指し示す壁にユーザが視覚的インジケータを位置付ける必要がある場合、このことは、プライベート領域が視覚的インジケータの右側の領域であるとして解釈されるものである。矢印の代替として、視覚的インジケータは、例えば、半分は緑色であり、他の半分は赤色である2つの異なる着色領域に単純に分割されることが可能である。赤色はしばしば、‘止まれ’又は‘入るな’等の意味に関連するため、赤色の半分の領域は‘プライベート’を意味することが可能である。緑色の半分の領域は、従って、非プライベート領域又は公共領域に関連する。
視覚的インジケータの方向は、本発明に従って、視覚的インジケータの画像に適用される画像分析技術を用いて自律装置により判定されることが可能である。上記のように、自律装置は、住居を通ってナビゲートしている間に、自律装置が置かれている環境の画像を捕捉する1つの又は複数のカメラを有することが可能である。それらの画像は、詳細な高分解能画像又は映像系列である、又はまさに単純な低分解能画像であることが可能である。視覚的インジケータの迅速な認識を容易にするように、自律装置は、遭遇する可能性がある複数の種類の視覚的インジケータについての1つ又はそれ以上のモデルを用いることが可能である。そのようなモデルは、パターン認識技術又はオブジェクト認識技術を用いて、視覚的インジケータの形状及び方向を容易に識別することが可能であるように、十分な記述情報を有することが可能である。モデルは、例えば、エッジ及び角の点に関して左の方を指し示す矢印の記述であることが可能である。自律装置は、その自律装置が生成する画像における関連点及び/又はエッジを位置付けるように画像分析を実行することが可能である。例えば、画像における点又はエッジの収集が矢印のモデルの1つと適合する場合、自律装置は、自律装置が境界において視覚的インジケータを‘認識’していると結論付け、そして、視覚的インジケータに対するプライベート領域の位置は、左側の方を指し示す’矢印のモデルであるか又は‘右側の方を指し示す’矢印のモデルであるかが識別される実際のモデルにより与えられる。この種類の画像分析及びモデル認識については、単純な低解像度階調画像で十分である。代替として、2つの異なる色領域を有する視覚的インジケータが非プライベート領域からプライベート領域を境界付けるように用いられるとき、対応するモデルは、視覚的インジケータの輪郭形状及びそれらの色がどのように解釈されるかを容易に記述することが可能である。自律装置は、その場合、視覚的インジケータの形状及びそれらの色の視覚的インジケータにおける位置を識別するようにカラー画像を用いることが可能である。
しかしながら、画像分析は、ある程度までは、複雑なアルゴリズムを必要とする時間集約的処理である。更に、画像分析の高品質性及び成功性は、照明の品質に、かなりの程度まで依存する。例えば、自律装置は、暗い中では又は低度の照明の下では視覚的インジケータを‘認識する’ことが可能でない。また、視覚装置が画像分析のみによって自律装置により高信頼性を有するように検出されるように、自律装置はその環境を連続的に‘走査する’必要があり、それ故、特に、それらの視覚的インジケータがいつでもユーザにより変更されることが可能であるために、住居内に位置している何れかの視覚的インジケータの検出が確実である。このことは、自律装置により実際に実行されるようになっているタスクを妨げる可能性があり、遅延をもたらす。更に、特に、自律装置のカメラを自由に移動できない場合、視覚的インジケータは、自律装置がそれらのインジケータを‘認識する’ことができるように適切な高さに位置付けられる必要がある。ユーザが、過度に高く又は低く視覚的インジケータを不適切に位置付けている場合、自律装置は視覚的インジケータを検出することができない可能性がある。画像処理への依存についての他の短所は、映像データの記録がプライベート領域に制限される場合、自律装置がプライベート領域をもう一度出たとき、自律装置はもはや視覚的インジケータを検出することが可能でないことである。
従って、本発明の好適な実施形態においては、自律装置は、視覚的インジケータを電気的に検出することができる。例えば、視覚的インジケータは、自律装置が視覚的インジケータのところを通るとき、自律装置に組み込まれている適切なカウンターパートにおいて信号を生成するように誘導性ループを有する。視覚的インジケータの検出の成功は、視覚的インジケータに関する自律装置の方向に、ある程度依存する可能性がある。本発明の特定の好適な実施形態においては、それ故、視覚的インジケータに関するプライベート領域の位置は、視覚的インジケータに組み込まれた少なくとも2つの電気的検出可能構成要素により規定される。例えば、それらの構成要素は、別個の周波数を有する無線周波数識別(RFID)タグであることが可能である。RFIDタグはかなり平坦であるため、それらのタグは、上記の種類の視覚的インジケータに容易に組み込まれることが可能である。自律装置は、好適には、タグにより発せられる信号を捕捉する適切な検出器を備える。その場合、視覚的インジケータの方向は、信号処理技術を用いる自律装置により、例えば、RFIDタグにより発せられる2つの信号間の保存期間を決定するように検出された無線周波数信号に関する周波数分析を実行することにより、決定されることが可能である。例えば、矢印の先端の下又は視覚的インジケータの半分の赤色の領域の下に位置付けられているRFIDタグは、上記の実施例を用いるように、矢印の軸の下又は視覚的インジケータの半分の緑色の領域の下に位置付けられているRFIDタグに比べて高周波数を有することが可能である。本発明の特定の好適な実施形態においては、このような周波数の差は、プライベート領域が見つけられる方向を与えるように自律装置により解釈される。
好適には、視覚的インジケータは、環境データの収集に適用されるようになっている制限の種類についての情報を有する。例えば、会議室において、自律装置は何れかの有効な機密音響データを記録しないことが望まれ、その場合、映像記録はあまり重要でない。このために、視覚的インジケータは、ユーザにとって認識可能であり、自律装置により解釈されることが可能である特定のシンボル又は色を表すことが可能である。例えば、裏抜けを有する赤色の円内の耳のシンボルが、何かを回避する道標の通常の様式で、自律装置が関連する部屋の中で音響記録を無効にすることを指示することが可能である。付加シンボルが、例えば、家庭のプライベートな部屋において映像記録が無効にされるようになっていることを指示することが可能である。他の種類のシンボルは、自律装置がこの部屋の中では音を立てないように指示され、そのことは、オフィスの会議室においてはかなり望ましいことである。更に、何れかのそのような付加情報はまた、電気的に自律装置により検出されることが可能である。情報は、視覚的インジケータにより、例えば、RFIDタグにおいて好適にプログラムされることにより、送信される信号において符号化されることが可能である。
自律装置は、移動するようになっている住居の‘マップ’を作成する又は編集することが可能であり、それ故、その自律装置は、どの部屋がプライベートであるとしてデザインされているかを‘認識している’。そのようなマップは、2つ以上のドアを有する部屋の場合に特に、自律装置を支援する。更に、自律装置が、ある部屋に入るとき、視覚的インジケータを検出したとき、その自律装置は、再びその部屋を出るときにこのインジケータを特別に見つけることが可能である。その自律装置が、視覚的インジケータがもはやそこに存在しないことを‘認識する’場合、自律装置は、それに応じて反応することが可能である。
明らかに、自律装置が視覚的インジケータを識別して、適切に解釈したことをユーザが前提とすることは満足のいくことではない。ある種のフィードバックを伴わない場合、ユーザは、自律装置が尚も、プライベート領域内でデータを記録し、外部装置にデータを送信しているかどうかについては不確実である可能性がある。従って、本発明の特定の好適な実施形態においては、視覚的インジケータは、‘非プライベート’から‘プライベート’に境界を横断することにより、自律装置が通るときを検出する手段を有することが可能である。そのような検出手段は、自律装置において適切なRFIDタグにより発せられた信号を捕捉するように受信器を有することが可能である。自律装置がその境界を横断するとき、このイベントは、視覚的インジケータにより検出され、外部装置に報告されることが可能である。例えば、適切な領域の送信器が視覚的インジケータに組み込まれることが可能であり、この送信器は、自律装置が通り過ぎるときはいつでも、外部装置に信号を送信することが可能である。
境界の確認はまた、自律装置が視覚的インジケータを検出して解釈するときに、自律装置により好適に報告される。この確認は、記録されている環境データをまた、外部装置に自律装置により送信されることが可能であり、その外部装置はまたその記録している環境データを送信することが可能であるが、このことは必ずしもそれ程必要でない。そのような確認はまた、異なる専用装置に送信されることが可能である。しかしながら、簡単化のために、以下においては、外部装置が確認信号及び視覚的インジケータからの境界横断信号を管理することが前提とされる。このようにして、外部装置は、自律装置が、例えば、‘プライベート’領域を移動していることについての情報を与えられる。そのような確認はまた、ユーザの利益のために生成されることが可能であり、例えば、自律装置が視覚的インジケータを認識して、プライベート領域に入っていくときに可聴性‘ビープ音’を発することが可能である。しかしながら、自律装置が視覚的インジケータを認識することに失敗する場合、自律装置が外部装置に何ら確認について送信しないことが後続する。そのような状況において、ユーザは、良好なときにも適切なアクションをとることができるように、情報が与えられる必要がある。従って、更なる好適な実施形態においては、可聴性信号又は可視性信号等の警報が、自律装置がプライベート領域を確認することに失敗したときはいつでも、外部装置によりユーザのために生成される。ユーザは、その場合、例えば、プライベート領域を出る自律装置にとって口頭コマンドによりどのように反応するかを決定することが可能である。
本発明の他の目的及び特徴については、添付図に関連付けて考慮される以下の詳細説明により明らかになる。しかしながら、図は、単に例示目的であって、本発明を限定するものではないことが理解される必要がある。
本発明の実施形態に従った自律装置を示す図である。 プライベート領域と非プライベート領域との間の境界にある自律装置を示す図である。 本発明に従った視覚的インジケータの実施形態を示す図である。 本発明に従った視覚的インジケータの実施形態を示す図である。 本発明に従った視覚的インジケータの実施形態を示す図である。 本発明に従った視覚的インジケータの実施形態を示す図である。 図3a乃至3dの差し障りがないように位置付けられた視覚的インジケータを示す図である。 非プライベート領域及びプライベート領域における本発明の実施形態に従った自律装置のブロック図である。
全体を通して、複数の図において、同様の参照番号は同様のオブジェクトを表す。図中のオブジェクトは必ずしもスケーリングして描かれてはいない。
図1は、人間のような外観を有する‘ロボット’の形に実現された、本発明に従った自律装置1の実施形態を示している。この種類の自律装置1は、例えば、清掃等の特定のタスクを実行するように家庭環境で用いることが可能である。自律装置1がどこに向かって進んでいるかを‘理解する’ように、自律装置1はカメラ10を備え、カメラは、この場合、自律装置1の‘頭部’の‘目’のように見えるように実現されている。その自律装置は、‘耳’のように見えるマイクロフォン11により聴くこともできる。環境の画像及び音声は収集されて、自律装置1により記録される。このように記録された環境データの一部又は全部が、環境データを分析する又は処理する、より大きい処理能力を有するパーソナルコンピュータ16としての外部装置に適切な信号15として送信される。図1においては、記録された環境データ15は、外部装置16に有線信号により表示されているが、一般には、無線で、例えば、WLANにおいて送信される。このために、自律装置1は、外部装置16にデータを送信し、外部装置16から情報を受信するトランシーバインタフェース12を有する。この実施形態においては、自律装置1はまた、RFIDタグからの無線周波数信号を捕捉する無線周波数受信器13を用いる。同様にそれ自体、特定するように、この環境の自律装置1はまた、ハウジング内に又はハウジング上に組み込まれたRFIDタグ14を有する。
自律装置1のユーザは、自律装置1が、それが置かれている環境から画像及び音声を記録できることと、それらの画像及び音声は外部装置16に送信されることとを認識している。プライベートな環境では、このことはユーザには許容できないことである。そのようなデータの記録又は送信は、図2に示しているように、プライベート領域に限定されるようになっていることを自律装置に指示するように、ユーザ2は、視覚的インジケータSが自律装置1により‘認識’される又は検出されるように、視覚的インジケータを位置付け、その自律装置1は、図中に破線で描いているように、プライベート領域と非プライベート領域との間の仮想境界を認識する。下で詳細に説明するように、視覚的インジケータSにおける可視マーキングは、ユーザが視覚的インジケータSを正確に位置付けることを可能にする。この実施例においては、ユーザが立っている部屋は‘プライベート’領域として指定され、この外側の何れの領域も‘非プライベート’である。自律装置1は、‘プライベート’として指定された領域内にある限り、データの収集又は送信を制限する又は遮断するように予めプログラム又は構成されているため、ユーザ2のプライバシーはプライベート領域Pにおいては保証されている。
図3a乃至3dは、視覚的インジケータ又はサイン等の複数の有効な具現化について示している。図3aにおいては、サインSが、最も単純な形で、即ち、ユーザによりはっきりと認識される及びイメージング技術を用いて自律装置により容易に検出される矢印20を有するラベルに示されている。視覚的インジケータS1又はサインは、何れかの適切な手段、例えば、吸着パッド、接着剤、Velcro(登録商標)等により、好適には自律装置による検出のために適切な高さで、ドアの枠又は壁に取り付けられる。この実施例においては、その矢印が指し示す方向がプライベート領域Pを示す。反対方向は、デフォルトで非プライベートNである。仮想境界Bは、視覚的インジケータSの中央を通る不可視的な鉛直方向の線であるとして仮定される。自律装置は、サインSを通るとき、その矢印により指し示されている領域がプライベート領域Pであると結論することができ、それに応じて、ホストコンピュータに映像データ又は音響データの何れかの転送を抑制する又は禁じる。
図3bは、視覚的インジケータの更なる実施形態Sを示し、この場合、2つの着色領域21、22、例えば、左側の緑色領域21及び右側の赤色領域22を有している。異なる着色領域21、22は、異なる明暗により図に示されている。ここでは、‘停止’を直感的に意味する‘赤色’が、プライベート領域Pが見つけられる視覚的インジケータSのその側を示すように用いられる。デフォルトで、非プライベート領域Nは、視覚的インジケータSの他の側にある。
図3cに示す視覚的インジケータSは、ユーザ及び自律装置に対して光学的に方向の情報を与え、また、自律装置により電気的に検出されることが可能である。この実施形態においては、サインSは矢印のような形状にされ、その矢印の先端はプライベート領域Pを示している。デフォルトで、サインSの反対側は非プライベート領域Nを表す。仮想境界Bは、サインSの中央を通るように描かれ、また、そのサインは、2つの別個の周波数にある信号F、Fを送信する2つのRFIDタグ23、24を有する。それらの2つの周波数の解釈が予めなされ、例えば、高い周波数はプライベート領域Pに関連付けられている一方、低い周波数は非プライベート領域Nに関連付けられている。RFIDタグ23、24のそれぞれにより発せられる信号F、Fは、適切な受信器13を用いて自律装置1により捕捉される。それらの信号は、サインSの何れかの画像分析を実行する必要がないように、RFIDタグ23、24に対してプライベート領域Pの位置を迅速に且つ正確に決定するように、適切な装置(図示せず)で分析される。この種類のサインは、それ故、基本的な画像分析能力のみを用いる自律装置で用いるように、又はカメラを全く有さない自律装置のために、適切である。
セキュリティの付加レベルが、図3dに示すように、自律装置を制御するシステム3の一部として視覚的インジケータSにより与えられる。この視覚的インジケータの実施形態は、図3dに模式的に示している自律装置1に取り付けられた又は組み込まれたRFIDタグ14と共に機能する。自律装置1及び視覚的インジケータSの両方は、例えば、無線ネットワークにおいて、ホストコンピュータ16へのアクセスを有する。自律装置1がサインSのところを通るとき、その自律装置は、下で図3cに関連して説明するように、受信器13によりSに組み込まれたRFIDタグ23、24により発せられる信号F、Fを検出する。自律装置1は、プライベート領域P及び非プライベート領域Nの相対的位置を判定する解釈ユニット17においてそれらの信号を分析する。解釈ユニット17は、自律装置1がプライベート領域に入った又はプライベート領域から出たと結論する場合、自律装置1が外部装置16に適切な信号50を送信することによりこのイベントを認め、外部装置16への何れかの環境データの送信を無効にする必要がある。これは、スイッチ18の形で簡略化された制御ユニット18でその図に示されている。スイッチ18が開状態のとき、自律装置1のカメラ10及びマイクロフォン11により収集され、記録された環境データは外部装置16には送信されない。上記のように、確認信号50の受信する装置は、必ずしも、何れかの送信される記録された環境データの受信である外部装置16と同じではない。また、明確化のために、カメラ、マイクロフォン等の、環境データを収集して記録するために用いられる構成要素は、図3dには示していない。
視覚的インジケータSはまた、自律装置1のRFIDタグ14により発せられる無線周波数信号Fadを捕捉することができ、センダ25によりホストコンピュータ16に境界交差信号51としてこのイベントを報告することができる検出器26により、自律装置1の通過を検出する。自律装置1がサインSを認識しなかったイベントにおいては、ホストコンピュータ16は、例えば、自律装置1に対して適切なコマンドを発することにより、又は可聴信号52によりユーザに警告することにより、その状況を調整し始めることが可能である。
ユーザがプライバシーを必要としないとき、そのユーザは視覚的インジケータS、S、S、Sを壁又はドアの枠におけるその位置から取り外す、又はそのユーザは、図4に示すように、‘プライベート’であることを示す領域が天井の方に上がって又は床の方に下がって指し示すように、当たり障りのない位置に視覚的インジケータS、S、S、Sを容易に回転させることが可能である。自律装置が、当たり障りのない位置においてサインS、S、S、Sを‘認識’するとき、その自律装置は、ユーザがプライバシーについて特に望みをもっていないと結論し、通常通り、外部装置にデータを送信する、代替として、ユーザは、自律装置1により検出されないように、視覚的インジケータS、S、S、Sを壁の高いところに位置付けることが可能である。
図5は、非プライベート領域N及びプライベート領域Pにおける挙動を示す自律装置1についてのブロック図である。明確にするように、関連構成要素のみが示されている。図の左側においては、自律装置1は非プライベート領域にあり、図1に示すカメラ10及びマイクロフォン11のようなセンサにより収集される何れのデータも、外部装置16に自律装置1の送信インタフェース12を用いて送信され、外部装置は、例えば、発話コマンドに応答して自律装置1がとる必要がある何れかの動作を決定するように、環境データ15を処理することが可能である。自律装置1は、非プライベート領域Nにあることを‘認識’しているため、解釈ユニット17は、記録された環境データがスイッチ18のところを通ることを可能にし、そして外部装置16に送信されることを可能にするように、適切な制御信号19を発する。この実施形態においては、カメラ10により捕捉された何れかの画像が、自律装置1が視覚的インジケータを‘見ている’かどうかを判定するように、解釈ユニットにおいて分析される。解釈装置17は、視覚的インジケータ(図示せず)の存在を検出し、自律装置1が境界Bを横断していることを演繹し、それ故、図の右側に示しているように、現在は、その自律装置はプライベート領域Pにある。その結果、解釈ユニットは、スイッチを効果的に開状態にするようにスイッチ18に制御信号を発し、記録された映像データ及び音響データが外部装置16に送信されないようにする。
本発明については、以上、好適な実施形態の形で、その多様性について開示しているが、本発明の範囲から逸脱することなく、多くの修正及び変形が可能であることが理解できるであろう。例えば、自律装置は、環境データをもはや記録しない視認性をユーザに与えることが可能である。例えば、自律装置が境界に位置付けられた視覚的インジケータのところを通り、その自律装置がプライベート領域にあると結論付けるとき、自律装置は、発光される発光ダイオード(LED)を備えることが可能である。明確化のために、また、この明細書及び特許請求の範囲を通して、単数表現は複数の存在を排除するものではなく、用語“を有する”は他のステップ又は要素の存在を排除するものではない。また、“ユニット”又は“モジュール”は、単独のエンティティとして明確に記載されていない場合、複数のブロック又は装置を有することが可能である。

Claims (12)

  1. 環境データを記録し、該記録された環境データを任意に送信する自律装置を制御する方法であって:
    前記自律装置のユーザについてプライベート領域を非プライベート領域から光学的に識別するように前記プライベート領域と前記非プライベート領域との間の境界にインジケータを位置付ける段階;
    前記自律装置により前記インジケータを検出する段階;
    前記自律装置がプライベート領域にあるか又は非プライベート領域にあるかを判定するように前記自律装置により前記インジケータを解釈する段階;及び
    前記自律装置が前記プライベート領域内にある間に、環境データの記録又は送信を制限する段階;
    を有する方法。
  2. 請求項1に記載の方法であって、前記インジケータに関連する前記プライベート領域の位置が前記インジケータの方向により定められている、方法。
  3. 請求項2に記載の方法であって、前記インジケータの前記方向は、前記インジケータの画像に適用される画像分析技術を用いて前記自律装置により決定される、方法。
  4. 請求項1又は2に記載の方法であって、前記インジケータは前記自律装置により電気的に検出される、方法。
  5. 請求項4に記載の方法であって、前記インジケータに関連する前記プライベート領域の前記位置は、前記インジケータに組み込まれている少なくとも2つの電気的に検出可能な構成要素の特徴により定められている、方法。
  6. 請求項4又は5に記載の方法であって、前記インジケータの前記方向は、前記インジケータの前記電気的に検出可能な構成要素により発せられる信号において信号処理技術を用いて前記自律装置により決定される、方法。
  7. 請求項1乃至6の何れか一項に記載の方法であって、前記自律装置による前記境界の横断が前記インジケータの検出器により検出され、外部装置に報告される、方法。
  8. 請求項1乃至7の何れか一項に記載の方法であって、前記境界の確認が、前記自律装置により前記インジケータの検出時に前記自律装置により前記外部装置に報告される、方法。
  9. 請求項7又は8に記載の方法であって、前記インジケータの前記検出器が前記自律装置により前記境界の横断について報告して、前記自律装置が前記外部装置に前記境界の確認を報告しないとき、警告が前記外部装置により発せられる、方法。
  10. 環境データを記録し、該記録された環境データを任意に送信する自律装置を制御するシステムであって:
    前記自律装置のユーザについてプライベート領域を非プライベート領域から光学的に識別するように前記プライベート領域と前記非プライベート領域との間の境界を位置付けるインジケータ;
    前記自律装置により前記インジケータを検出するための検出器;
    前記自律装置がプライベート領域にあるか又は非プライベート領域にあるかを判定するように前記自律装置により前記インジケータを解釈する解釈ユニット;及び
    前記自律装置が前記プライベート領域内にある間に、環境データの記録又は送信を制限する制御ユニット;
    を有するシステム。
  11. 自律装置であって:
    音響データ及び/又は映像データを記録する記録手段;
    外部装置に記録されているデータを送信する送信器;
    前記プライベート領域と前記非プライベート領域との間の境界を位置付けるインジケータの検出のための検出器であって、前記インジケータは前記自律装置のユーザについて非プライベート領域からプライベート領域を光学的に識別する、検出器;
    前記自律装置がプライベート領域にあるか又は非プライベート領域にあるかを判定するように前記インジケータを解釈するための解釈ユニット;及び
    前記自律装置が前記プライベート領域内にある間に、環境データの記録又は送信を制限する制御ユニット;
    を有する自律装置。
  12. ユーザについてプライベート領域を非プライベート領域から光学的に識別するように、プライベート領域と非プライベート領域との間の境界に位置付けるインジケータであって、前記インジケータは複数の電気的に検出可能な構成要素を有する、インジケータ。
JP2009542299A 2006-12-19 2007-12-12 自律装置を制御する方法 Expired - Fee Related JP5290991B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06126544 2006-12-19
EP06126544.3 2006-12-19
PCT/IB2007/055052 WO2008075257A2 (en) 2006-12-19 2007-12-12 Method of controlling an autonomous device

Publications (2)

Publication Number Publication Date
JP2010514316A true JP2010514316A (ja) 2010-04-30
JP5290991B2 JP5290991B2 (ja) 2013-09-18

Family

ID=39456419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009542299A Expired - Fee Related JP5290991B2 (ja) 2006-12-19 2007-12-12 自律装置を制御する方法

Country Status (6)

Country Link
US (1) US8311675B2 (ja)
EP (1) EP2097226A2 (ja)
JP (1) JP5290991B2 (ja)
KR (1) KR20090106531A (ja)
CN (1) CN101563193B (ja)
WO (1) WO2008075257A2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442661B1 (en) 2008-11-25 2013-05-14 Anybots 2.0, Inc. Remotely controlled self-balancing robot including a stabilized laser pointer
JP4743305B2 (ja) * 2009-01-06 2011-08-10 ソニー株式会社 境界定義による機能制御方法、境界定義による機能制御システム、境界定義による機能制御サーバ及びプログラム
US8892222B2 (en) * 2009-07-17 2014-11-18 Diversitech Equipment And Sales (1984) Ltd. Fume extraction system with automatic fume hood positioning
US8306664B1 (en) * 2010-05-17 2012-11-06 Anybots 2.0, Inc. Self-balancing robot having a shaft-mounted head
US8903548B2 (en) * 2010-12-16 2014-12-02 Pepperl + Fuchs Gmbh Position finding system
US9146559B2 (en) * 2011-03-18 2015-09-29 The Raymond Corporation System and method for gathering video data related to operation of an autonomous industrial vehicle
JP2012236244A (ja) * 2011-05-10 2012-12-06 Sony Corp ロボット装置、ロボット装置の制御方法、並びにロボット装置制御用プログラム
CA2957057A1 (en) * 2014-08-04 2016-02-11 Avery Dennison Corporation Time-temperature tracking label
US10845817B1 (en) * 2016-08-11 2020-11-24 Ali Ebrahimi Afrouzi System and method for confining robotic devices
KR20240028120A (ko) * 2022-08-24 2024-03-05 삼성전자주식회사 프라이버시 존에 기초하여 이동 경로를 식별하는 로봇 장치 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184364A (ja) * 1998-12-18 2000-06-30 Fujitsu General Ltd 監視カメラ装置
JP2002218310A (ja) * 2001-01-17 2002-08-02 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP2003291084A (ja) * 2002-03-28 2003-10-14 Toshiba Corp ロボット並びにロボットの視野制御装置及び方法
US20050064856A1 (en) * 2003-09-18 2005-03-24 International Business Machines Corporation Method and apparatus for managing functions in a camera phone
JP2005103680A (ja) * 2003-09-29 2005-04-21 Toshiba Corp 監視システムおよび監視ロボット
JP2006191274A (ja) * 2005-01-05 2006-07-20 Nec Corp 携帯通信端末システム、該システムに用いられる携帯通信端末、機能制限方法及び機能制限制御プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6197711A (ja) * 1984-10-18 1986-05-16 Casio Comput Co Ltd 赤外線追尾ロボツトシステム
JP2921936B2 (ja) * 1990-07-13 1999-07-19 株式会社東芝 画像監視装置
US7832137B2 (en) * 1997-12-08 2010-11-16 Horus Vision, Llc Apparatus and method for calculating aiming point information
GB2371907A (en) 2001-02-03 2002-08-07 Hewlett Packard Co Controlling the use of portable cameras
DE60301148T2 (de) * 2002-01-24 2006-06-01 Irobot Corp., Burlington Verfahren und System zur Roboterlokalisierung und Beschränkung des Arbeitsbereichs
JP3733924B2 (ja) * 2002-04-30 2006-01-11 オムロン株式会社 撮像装置、撮像システム、撮像装置の制御方法
FI20035109A (fi) 2003-06-27 2004-12-28 Nokia Corp Menetelmä ja laitteisto toiminnon estämiseksi
GB0315156D0 (en) * 2003-06-28 2003-08-06 Ibm Identification system and method
JP4508753B2 (ja) 2003-07-12 2010-07-21 エルジー エレクトロニクス インコーポレイティド 携帯端末機のカメラ撮影制限システム及びその方法
KR100640330B1 (ko) * 2004-02-26 2006-10-30 삼성전자주식회사 카메라 촬영 기능을 제어할 수 있는 이동 전화 단말기 및방법
JP2005279830A (ja) 2004-03-29 2005-10-13 Victor Co Of Japan Ltd ロボットおよびロボットを用いた情報管理方法
JP4345596B2 (ja) * 2004-04-22 2009-10-14 セイコーエプソン株式会社 無線通信ネットワークシステムにおける接続認証
JP2006014054A (ja) 2004-06-28 2006-01-12 Nec Access Technica Ltd カメラ付携帯電子機器による接写防止方法及びカメラ付携帯電子機器
WO2006067840A1 (ja) * 2004-12-22 2006-06-29 Fujitsu Limited 携帯通信機器の制御方法
EP2281667B1 (en) * 2005-09-30 2013-04-17 iRobot Corporation Companion robot for personal interaction
US7729489B2 (en) * 2006-04-12 2010-06-01 Cisco Technology, Inc. Transferring a communications exchange
US9007212B2 (en) * 2006-10-18 2015-04-14 International Business Machines Corporation Using a RFID paging infrastructure

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184364A (ja) * 1998-12-18 2000-06-30 Fujitsu General Ltd 監視カメラ装置
JP2002218310A (ja) * 2001-01-17 2002-08-02 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP2003291084A (ja) * 2002-03-28 2003-10-14 Toshiba Corp ロボット並びにロボットの視野制御装置及び方法
US20050064856A1 (en) * 2003-09-18 2005-03-24 International Business Machines Corporation Method and apparatus for managing functions in a camera phone
JP2005103680A (ja) * 2003-09-29 2005-04-21 Toshiba Corp 監視システムおよび監視ロボット
JP2006191274A (ja) * 2005-01-05 2006-07-20 Nec Corp 携帯通信端末システム、該システムに用いられる携帯通信端末、機能制限方法及び機能制限制御プログラム

Also Published As

Publication number Publication date
WO2008075257A2 (en) 2008-06-26
EP2097226A2 (en) 2009-09-09
CN101563193A (zh) 2009-10-21
JP5290991B2 (ja) 2013-09-18
US20100030379A1 (en) 2010-02-04
US8311675B2 (en) 2012-11-13
KR20090106531A (ko) 2009-10-09
WO2008075257A3 (en) 2008-08-21
CN101563193B (zh) 2012-02-29

Similar Documents

Publication Publication Date Title
JP5290991B2 (ja) 自律装置を制御する方法
US11532219B2 (en) Parcel theft deterrence for A/V recording and communication devices
US10854060B2 (en) Floodlight controllers with wireless audio/video recording and communication features
US10984641B2 (en) Parcel theft deterrence for A/V recording and communication devices
US20210339399A1 (en) Mobile robot for elevator interactions
US11537749B2 (en) Privacy protection in mobile robot
US10782657B2 (en) Systems and methods of gestural interaction in a pervasive computing environment
US20080198225A1 (en) TVMS- a total view monitoring system
JP2020523717A (ja) サーマルイメージングシステムにおける位置判断の装置および方法
US10957174B2 (en) Communication-linked floodlight controllers with audio/video recording and communication features
US9704361B1 (en) Projecting content within an environment
US11806862B2 (en) Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers
EP3051810B1 (en) Surveillance
US11200786B1 (en) Canine assisted home monitoring
CN105844209B (zh) 基于红外辐射探测的访客识别
KR100760209B1 (ko) 바닥센서부를 이용한 방범시스템
CN111815898A (zh) 一种幼儿行为监控报警系统及方法
US11375275B2 (en) Method and system for using lip sequences to control operations of a device
KR100689287B1 (ko) 바닥센서부를 이용한 강사추적카메라시스템
JP2022031206A (ja) 防犯管理システム、および防犯管理方法
JP2013073590A (ja) 物体位置推定システム、物体位置推定方法、及び、物体位置推定プログラム
TR201706630A2 (tr) İşi̇tme engelli̇ler i̇çi̇n ortam sesi̇ i̇zleme ve görselleşti̇rme si̇stemi̇
JP2017046229A (ja) 動的追跡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121022

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130410

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130606

R150 Certificate of patent or registration of utility model

Ref document number: 5290991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees