JP2003150569A - 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置 - Google Patents

情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置

Info

Publication number
JP2003150569A
JP2003150569A JP2001343980A JP2001343980A JP2003150569A JP 2003150569 A JP2003150569 A JP 2003150569A JP 2001343980 A JP2001343980 A JP 2001343980A JP 2001343980 A JP2001343980 A JP 2001343980A JP 2003150569 A JP2003150569 A JP 2003150569A
Authority
JP
Japan
Prior art keywords
unit
image data
information
information processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001343980A
Other languages
English (en)
Other versions
JP4032410B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001343980A priority Critical patent/JP4032410B2/ja
Priority to US10/494,598 priority patent/US8255462B2/en
Priority to EP02770237A priority patent/EP1443416A4/en
Priority to PCT/JP2002/010979 priority patent/WO2003040940A1/ja
Publication of JP2003150569A publication Critical patent/JP2003150569A/ja
Application granted granted Critical
Publication of JP4032410B2 publication Critical patent/JP4032410B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Control By Computers (AREA)

Abstract

(57)【要約】 【課題】 システムを高機能化する。 【解決手段】 操作部１００３1乃至１００３K、アクチ
ュエータ１００５1乃至１００５M、センサ１００７1乃
至１００７Nそれぞれどうしの間で、合成／統合部１０
０２、駆動制御部１００４、および信号処理部１００６
を経由し、ネットワーク１００１を介して、各種の信号
が、必要に応じてやりとりされる。そして、ＳＨＡＲＮ
(Sensor, Human, Actuator, Real, Network)システムで
は、アクチュエータ１００５1乃至１００５Mやセンサ１
００７1乃至１００７Nが協調して処理を分担することに
より、各アクチュエータ１００５mや各センサ１００７n
の機能が向上する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、情報処理システム
および情報処理方法、プログラムおよび記録媒体、並び
に情報処理装置に関し、特に、例えば、複数のユーザの
操作に応じて作動する複数の作動手段、またはその複数
の作動手段が作用する現実世界を検知する複数の検知手
段が協調して処理を分担することにより、高機能な処理
を行うことができるようにする情報処理システムおよび
情報処理方法、プログラムおよび記録媒体、並びに情報
処理装置に関する。
【０００２】
【従来の技術】例えば、複数のプロセッサ（ここでは、
何らかの処理を行う物であるとする）によれば、ある処
理を、並列に分担して行うことにより、１つのプロセッ
サで処理を行う場合に比較して、単純には、処理速度
を、その複数のプロセッサの個数倍にすることができ
る。
【０００３】
【発明が解決しようとする課題】ところで、１つのプロ
セッサだけで処理を行う場合であっても、また、複数の
プロセッサで処理を分担して行う場合であっても、得ら
れる処理結果は変わらない。さらに、複数のプロセッサ
で処理を分担して行う場合における各プロセッサの機能
は、１つのプロセッサだけで処理を行う場合と変わらな
い。
【０００４】即ち、従来においては、プロセッサがいく
つ集まっても、全体としての処理速度が、プロセッサの
数に応じて向上するだけであり、各プロセッサの機能は
変化しない。
【０００５】ところで、人間が複数集まって作業を行う
場合には、個人個人が互いに協力しあう（協調する）こ
とによって、各個人が、普段の能力を越える働きをする
ことが経験的に認められる。
【０００６】従って、プロセッサが複数集まった場合
に、各プロセッサが協調して処理を分担すれば、各プロ
セッサの機能が高機能化し、全体としては、プロセッサ
の個数倍を越える処理能力を発揮し、さらに、全体とし
ての処理結果としても、付加価値をつけたものが得られ
ると考えられる。
【０００７】また、人間が複数集まって作業を行う場合
には、同じような性格や、考え方、感性等の属性を有す
る人間が集まるよりも、異なる属性を有する人間が集ま
った方が、互いの刺激が強く、より自己啓発が進むと考
えられる。
【０００８】従って、プロセッサについても、同一機能
を有するプロセッサを複数集めるよりは、異なる機能を
有するプロセッサを複数集めて、各プロセッサに協調し
て処理を分担させた方が、各プロセッサの機能がより高
機能化すると考えられる。
【０００９】本発明は、このような状況に鑑みてなされ
たものであり、多数が協調しながら処理を分担すること
により、各個の機能を向上させることができるようにす
るものである。
【００１０】
【課題を解決するための手段】本発明の情報処理システ
ムは、複数のユーザの操作に応じて作動する複数の作動
手段と、複数の作動手段が作用する現実世界を検知する
複数の検知手段と、複数の作動手段または複数の検知手
段との間で情報を送受信するための通信手段とを備え、
複数の作動手段または複数の検知手段が協調して処理を
分担することにより、高機能化することを特徴とする。
【００１１】本発明の第１の情報処理方法は、複数の作
動手段または複数の検知手段に協調して処理を分担させ
ることにより、情報処理システムを高機能化する処理を
行う処理ステップを備えることを特徴とする。
【００１２】本発明の第１のプログラムは、複数の作動
手段または複数の検知手段に協調して処理を分担させる
ことにより、情報処理システムを高機能化する処理を行
う処理ステップを備えることを特徴とする。
【００１３】本発明の第１の記録媒体は、複数の作動手
段または複数の検知手段に協調して処理を分担させるこ
とにより、情報処理システムを高機能化する処理を行う
処理ステップを備えるコンピュータが読み取り可能なプ
ログラムが記録されていることを特徴とする。
【００１４】本発明の情報処理装置は、ユーザの操作に
応じて作動する作動手段と、作動手段が作用する現実世
界を検知する検知手段と、他の情報処理装置との間で情
報を送受信するための通信手段とを備え、作動手段また
は検知手段が他の情報処理装置と協調して処理を分担す
ることにより、高機能化することを特徴とする。
【００１５】本発明の第２の情報処理方法は、作動手段
または検知手段に他の情報処理装置と協調して処理を分
担させることにより、情報処理装置を高機能化する処理
を行う処理ステップを備えることを特徴とする。
【００１６】本発明の第２のプログラムは、作動手段ま
たは検知手段に他の情報処理装置と協調して処理を分担
させることにより、情報処理装置を高機能化する処理を
行う処理ステップを備えることを特徴とする。
【００１７】本発明の第２の記録媒体は、作動手段また
は検知手段に他の情報処理装置と協調して処理を分担さ
せることにより、情報処理装置を高機能化する処理を行
う処理ステップを備えるコンピュータが読み取り可能な
プログラムが記録されていることを特徴とする。
【００１８】本発明の情報処理システムおよび第１の情
報処理方法、並びに第１のプログラムおよび第１の記録
媒体においては、複数の作動手段または複数の検知手段
に協調して処理を分担させることにより、情報処理シス
テムが高機能化される。
【００１９】本発明の情報処理装置および第２の情報処
理方法、並びに第２のプログラムおよび第２の記録媒体
においては、作動手段または検知手段に他の情報処理装
置と協調して処理を分担させることにより、情報処理装
置が高機能化される。
【００２０】
【発明の実施の形態】図１は、本発明を適用したＳＨＡ
ＲＮシステムの一実施の形態の構成例を示している。
【００２１】ここで、ＳＨＡＲＮシステムの「ＳＨＡＲ
Ｎ」は、センサ(Sensor)、人間(Human)、アクチュエー
タ(Actuator)、現実世界（自然）(Real)、ネットワーク
(Network)それぞれの頭文字を表している。
【００２２】図１において、ネットワーク１００１は、
合成／統合部１００２、駆動制御部１００４、および信
号処理部１００６を相互に接続している広帯域のネット
ワークで、このネットワーク１００１を介することによ
って、合成／統合部１００２、駆動制御部１００４、お
よび信号処理部１００６それぞれの間で、信号（情報）
のやりとりが行われる。なお、ネットワーク１００１
は、有線のものであっても、無線のものであっても、さ
らには、有線と無線の混合のネットワークであってもか
まわない。また、このネットワーク１００１が、「ＳＨ
ＡＲＮ」のＮが表すネットワーク(Network)に対応す
る。
【００２３】合成／統合部１００２は、操作部１００３
1乃至１００３Kそれぞれが出力する操作信号を受信し、
それらを合成または統合して、ネットワーク１００１に
送信する。ここで、合成とは、複数の操作信号を、例え
ば、重み付け加算すること等によって、各操作信号を分
離することができない状態にすることを意味する。ま
た、統合は、例えば、複数の操作信号を多重化すること
等によって、各操作信号の分離が可能な状態で１つの信
号にまとめることを意味する。
【００２４】操作部１００３k（ｋ＝１，２，・・・，
Ｋ）は、ユーザＵkによって操作され、その操作に対応
した操作信号を、合成／統合部１００２に供給する。な
お、図１の実施の形態では（後述する図２においても同
様）、複数であるＫ個の操作部１００３1乃至１００３K
が設けられている。また、この操作部１００３kを操作
するユーザＵkが、「ＳＨＡＲＮ」のＨが表す人間(Huma
n)に対応する。
【００２５】駆動制御部１００４は、ネットワーク１０
０１を介して供給される信号を受信し、その信号に基づ
いて、アクチュエータ１００５1乃至１００５Mそれぞれ
を駆動制御する。
【００２６】アクチュエータ１００５m（ｍ＝１，２，
・・・，Ｍ）は、駆動制御部１００４からの制御にした
がって作動し、これにより、現実世界にある物体に、所
定の作用を与える。なお、図１の実施の形態では（後述
する図２においても同様）、複数であるＭ個のアクチュ
エータ１００５1乃至１００５Mが設けられている。ま
た、このアクチュエータ１００５mが、「ＳＨＡＲＮ」
のＡが表すアクチュエータ(actuator)に対応し、さら
に、アクチュエータ１００５mが作用する現実世界が、
「ＳＨＡＲＮ」のＲが表す現実世界(Real)に対応する。
【００２７】信号処理部１００６は、センサ１００７1
乃至１００７Nそれぞれからの検知信号を受信し、必要
な信号処理を施して、ネットワーク１００１に送信す
る。
【００２８】センサ１００７n（ｎ＝１，２，・・・，
Ｎ）は、アクチュエータ１００５mが作用する現実世界
の状態を検知し、その検知した状態を表す検知信号を、
信号処理部１００６に供給する。なお、図１の実施の形
態では（後述する図２においても同様）、複数であるＮ
個のセンサ１００７1乃至１００７Nが設けられている。
また、このセンサ１００７mが、「ＳＨＡＲＮ」のＳが
表すセンサ(Sensor)に対応し、さらに、センサ１００７
mが状態を検知する現実世界が、「ＳＨＡＲＮ」のＲが
表す現実世界(Real)に対応する。
【００２９】ここで、以下、適宜、特に、操作部１００
３1乃至１００３Kを区別する必要がない限り、操作部１
００３と記述する。同様に、アクチュエータ１００５1
乃至１００５Mについても、アクチュエータ１００５と
記述し、センサ１００７1乃至１００７Nについても、セ
ンサ１００７と記述する。
【００３０】次に、図２は、本発明を適用したＳＨＡＲ
Ｎシステムの他の一実施の形態の構成例を示している。
なお、図中、図１における場合と対応する部分について
は、同一の符号を付してあり、以下では、その説明は、
適宜省略する。
【００３１】即ち、図１の実施の形態では、操作部１０
０３は、合成／統合部１００２を介して、アクチュエー
タ１００５は、駆動制御部１００４を介して、センサ１
００７は、信号処理部１００６を介して、それぞれネッ
トワーク１００１に接続されていたが、図２の実施の形
態では、操作部１００３、アクチュエータ１００５、お
よびセンサ１００７が、ネットワーク１００１に直接接
続されている。
【００３２】従って、図２の実施の形態では、操作部１
００３が出力する操作信号は、ネットワーク１００１を
介して、合成／統合部１００２に供給される。また、駆
動制御部１００４が出力する、アクチュエータ１００５
を駆動制御するための信号は、ネットワーク１００１を
介して、アクチュエータ１００５に供給され、センサ１
００７が出力する検知信号は、ネットワーク１００１を
介して、信号処理部１００６に供給される。
【００３３】以上のように構成されるＳＨＡＲＮシステ
ムでは、操作部１００３、アクチュエータ１００５、セ
ンサ１００７それぞれどうしの間で、合成／統合部１０
０２、駆動制御部１００４、および信号処理部１００６
を経由し、ネットワーク１００１を介して、各種の信号
（情報）が、必要に応じてやりとりされる。さらに、操
作部１００３1乃至１００３K相互間では合成統合部１０
０２を、アクチュエータ１００５1乃至１００５M相互間
では駆動制御部１００４を、センサ１００７相互間では
信号処理部１００６を、それぞれ経由し、ネットワーク
１００１を介して、各種の信号がやりとりされる。そし
て、ＳＨＡＲＮシステムでは、アクチュエータ１００５
やセンサ１００７が協調して処理を分担することによ
り、各アクチュエータ１００５mや各センサ１００７nの
機能が向上する。さらに、各アクチュエータ１００５m
や各センサ１００７nの機能が向上する結果、システム
全体の処理結果として、付加価値を付けたものが得られ
る。
【００３４】なお、図１および図２の実施の形態におい
て、操作部１００３の数であるＫ、アクチュエータ１０
０５の数であるＭ、およびセンサ１００７の数であるＮ
は、同一の値であっても良いし、異なる値であっても良
い。
【００３５】次に、図３は、ＳＨＡＲＮシステムを適用
した手術システムとしてのＳＨＡＲＮ手術システムの構
成例を示している。
【００３６】このＳＨＡＲＮ手術システムは、手術用の
マニピュレータシステムであり、スレーブマニピュレー
タ６１、マスタマニピュレータ６２1乃至６２K、ネット
ワーク６３、およびスーパドクタデータベース部６４か
ら構成されている。
【００３７】スレーブマニピュレータ６１は、ネットワ
ーク６３を介して供給される信号に基づいて作動し、手
術の対象である、例えば、犬等の動物に対して、径皮的
手術等を行う。なお、ここでは、スレーブマニピュレー
タ６１が、動物に対して、径皮的手術を行うものとして
いるが、その他、スレーブマニピュレータ６１は、動物
に対して、例えばトリミング等を行うものとすることが
可能である。
【００３８】マスタマニピュレータ６２kは、例えば獣
医であるユーザＵkの操作と、スーパドクタデータベー
ス部６４からネットワーク６３を介して供給される情報
とに応じて作動する。また、マスタマニピュレータ６２
kは、その作動の状態を検知し、その検知結果を、ネッ
トワーク６３を介して、スーパドクタデータベース部６
４に送信する。
【００３９】なお、図３の実施の形態では、Ｋ個のマス
タマニピュレータ６２1乃至６２Kが設けられているが、
以下、適宜、これらを特に区別する必要がない限り、マ
スタマニピュレータ６２と記載する。
【００４０】ネットワーク６３は、スレーブマニピュレ
ータ６１、マスタマニピュレータ６２1乃至６２K、スー
パドクタデータベース部６４それぞれの間での通信を可
能とする。
【００４１】スーパドクタデータベース部６４は、ネッ
トワーク６３を介して供給されるマスタマニピュレータ
６２の作動の状態を受信し、その状態に基づいて、手術
に関する情報を生成する。さらに、スーパドクタデータ
ベース部６４は、その手術に関する情報と、マスタマニ
ピュレータ６２の状態に基づき、制御信号を生成し、ネ
ットワーク６３を経由して、スレーブマニピュレータ６
１に供給することによって、スレーブマニピュレータ６
１を制御する。
【００４２】なお、図３の実施の形態においては、マス
タマニピュレータ６２が、図１（および図２）の操作部
１００３、アクチュエータ１００５、およびセンサ１０
０７に対応し、ネットワーク６３が、図１のネットワー
ク１００１に対応し、スーパドクタデータベース部６４
が、図１の合成／統合部１００２、駆動制御部１００
４、および信号処理部１００６に対応する。
【００４３】次に、図４は、図３のスレーブマニピュレ
ータ６１とマスタマニピュレータ６２の外観構成例を示
している。
【００４４】即ち、図４（Ａ）は、スレーブマニピュレ
ータ６１の外観構成例を、図４（Ｂ）は、マスタマニピ
ュレータ６２の外観構成例を、それぞれ示している。
【００４５】図４（Ａ）のスレーブマニピュレータ６１
において、手術台１は、長方形状をしており、そこに
は、手術の対象となっている患者（図４の例では、犬）
が寝かされる。また、手術台１には、スレーブマニピュ
レータ部３Ｌおよびスレーブマニピュレータ部３Ｒが取
り付けられている。
【００４６】スレーブマニピュレータ部３Ｌおよびスレ
ーブマニピュレータ部３Ｒ（以下、個々に区別する必要
がない場合、これらをまとめて、スレーブマニピュレー
タ部３と称する）は、後述するマスタマニピュレータ部
８Ｌおよびマスタマニピュレータ部８Ｒのそれぞれによ
り遠隔操作され、手術台１に寝かされている患者に対す
る径皮的手術を行う。
【００４７】スレーブマニピュレータ部３Ｌは、手術台
１の左側（手術台１を上から見た場合の左側）に設置さ
れ、その先端には、把持鉗子、メス、縫合器、または注
射器等の処置具で構成される先端部４Ｌが取り付けられ
ている。
【００４８】スレーブマニピュレータ部３Ｒは、手術台
１の右側に設置され、その先端には、把持鉗子、メス、
縫合器、または注射器等の処置具で構成される先端部４
Ｒが取り付けられている。
【００４９】スレーブマニピュレータ部３は、複数のア
ームからなる関節構造を有している。さらに、スレーブ
マニピュレータ部３の各関節部分には、アクチュエータ
（図４においては図示せず）が配設されており、このア
クチュエータが作動することによって、アームが所定の
自由度をもって動き、これにより、スレーブマニピュレ
ータ部３は、各種の姿勢をとることができるようになっ
ている。
【００５０】また、スレーブマニピュレータ部３の関節
部分やアームの必要な部分には、先端部４Ｌや４Ｒその
他の部分が外部から受ける力やトルク（いずれも、大き
さおよび方向を含む）を検出し、さらには、スレーブマ
ニピュレータ部３の姿勢を検出するセンサ（図４におい
ては図示せず）が取り付けられている。
【００５１】なお、スレーブマニピュレータ３に取り付
けられているセンサとアクチュエータは、後述する図７
において、センサ７５とアクチュエータ７６として、そ
れぞれ図示してある。
【００５２】手術台１には、さらに、患者の腹腔内の様
子その他を撮像するＣＣＤ(ChargeCoupled Device)カメ
ラ６が先端に取り付けられたカメラ部５が設置されてい
る。また、手術台１には、その四隅に、音を集音するた
めのマイク２1乃至２4が取り付けられている。
【００５３】なお、図４（Ａ）においては、図が煩雑に
なるのを避けるため、１つのカメラ部５しか図示してい
ないが、カメラ部５は、患部の状態や、スレーブマニピ
ュレータ部３等を、様々な方向から観察することができ
るように、複数取り付けられている。
【００５４】また、カメラ部５は、複数のアームからな
る関節構造を有しており、さらに、その各関節部分に
は、図示せぬアクチュエータが配設されている。そし
て、このアクチュエータが作動することによって、アー
ムが所定の自由度をもって動き、これにより、カメラ部
５に取り付けられたＣＣＤカメラ６が各種の視点から撮
影（撮像）を行うことができるようになっている。
【００５５】一方、図４（Ｂ）のマスタマニピュレータ
６２において、操作台７には、ユーザＵにより操作され
る、マスタマニピュレータ部８Ｌ，８Ｒ（以下、適宜、
両方含めて、マスタマニピュレータ部８という）がそれ
ぞれ設置されている。
【００５６】マスタマニピュレータ部８Ｌは、操作台７
の左側（操作台７を背にした場合の左側）に設置され、
その先端には、ユーザＵの左手により保持されて操作さ
れる操作部９Ｌが取り付けられている。
【００５７】マスタマニピュレータ部８Ｒは、操作台７
の右側に設置され、その先端には、ユーザＵの右手によ
り保持されて操作される操作部９Ｒが取り付けられてい
る。
【００５８】ここで、操作部９Ｌおよび９Ｒ（以下、適
宜、両方まとめた、操作部９という）が、図１の操作部
１００３に対応する。
【００５９】マスタマニピュレータ部８は、スレーブマ
ニピュレータ部３と同様に、複数のアームからなる関節
構造を有しており、所定の自由度をもって動くようにな
っている。これにより、マスタマニピュレータ部８Ｌの
操作部９Ｌは、ユーザＵの左手による操作によって３次
元的に移動し、また、マスタマニピュレータ部８Ｒの操
作部９Ｒも、ユーザＵの右手による操作によって３次元
的に移動する。
【００６０】なお、マスタマニピュレータ部８の各関節
部分には、アクチュエータ（図４においては図示せず）
が配設されており、このアクチュエータが作動すること
によって、アームが所定の自由度をもって動き、これに
より、マスタマニピュレータ部８は、ユーザＵに対し
て、所定の反力、あるいは付勢力を与える。ここで、こ
の関節部分に設けられたアクチュエータが、図１のアク
チュエータ１００５に対応する。
【００６１】また、マスタマニピュレータ部８の関節部
分やアームの必要な部分には、操作部９Ｌや９Ｒその他
の部分が外部から受ける力やトルク、さらには、マスタ
マニピュレータ部８の姿勢を検出（検知）するセンサ
（図４においては図示せず）が取り付けられている。こ
こで、このセンサが、図１のセンサ１００７に対応す
る。
【００６２】なお、マスタマニピュレータ６２に取り付
けられているセンサとアクチュエータは、後述する図８
において、センサ８５とアクチュエータ８６として、そ
れぞれ図示してある。
【００６３】操作台７の前方（ユーザＵがマスタマニピ
ュレータ部８を操作するために、操作台７の前に立った
場合の、ユーザＵの正面方向）には、ユーザＵが、マス
タマニピュレータ部８を操作しながら、そこに表示され
る画像を見ることができるように、モニタ１０が設けら
れている。モニタ１０には、カメラ部５のＣＣＤカメラ
６により撮像された画像が表示される。
【００６４】モニタ１０の周辺には、スピーカ１１が設
けられており、このスピーカ１１からは、スレーブマニ
ピュレータ６１の手術台１に取り付けられたマイク２1
乃至２4で集音された音が出力される。
【００６５】さらに、モニタ１０の周辺には、操作パネ
ル１２が設けられている。操作パネル１２には、各種の
スイッチやボタン等が取り付けられており、ユーザによ
って、必要に応じて操作される。なお、操作パネル１２
におけるスイッチ等としては、電源スイッチや、モニタ
１０に表示される画像を切り換えるスイッチ等がある。
【００６６】以上のように構成されるマスタマニピュレ
ータ６２を操作するユーザＵは、操作台７を背にして操
作台７とモニタ１０の間に立ち、モニタ１０に映し出さ
れるスレーブマニピュレータ部３の先端部４の様子を見
ながら、左手で、マスタマニピュレータ部８Ｌの操作部
９Ｌを３次元的に移動するように操作し、また右手で、
マスタマニピュレータ部８Ｒの操作部９Ｒを３次元的に
移動するように操作する。
【００６７】この場合、ユーザＵによるマスタマニピュ
レータ部８の操作に対応する操作信号が、ネットワーク
６３を介して、スーパドクタデータベース部６４に供給
され、スーパドクタデータベース部６４は、その操作信
号を処理し、スレーブマニピュレータ６１を制御する制
御信号を生成する。この制御信号は、ネットワーク６３
を介して、スーパドクタデータベース部６４からスレー
ブマニピュレータ６１に供給される。スレーブマニピュ
レータ６１では、スーパドクタデータベース部６４から
の制御信号にしたがい、スレーブマニピュレータ部３が
作動する。これにより、スレーブマニピュレータ部３Ｌ
の先端部４Ｌが、マスタマニピュレータ部８Ｌの操作部
９Ｌの動きに同期して動くとともに、スレーブマニピュ
レータ部３Ｒの先端部４Ｒが、マスタマニピュレータ部
８Ｒの操作部９Ｒの動きに同期して動き、患者に対する
径皮的手術が行われる。
【００６８】ここで、あるユーザＵkが、マスタマニピ
ュレータ部８の操作部９を、所定の状態としての、例え
ば、それぞれ所定の角度のロール（roll）回転、ピッチ
（pitch）回転、およびヨー（yaw）回転した状態で、操
作部９の作用点が所定の位置としての座標（ｘ，ｙ，
ｚ）で特定される位置を経由するように操作しようとし
ても、実際の操作と目標とする操作に、ずれが生じる場
合がある。
【００６９】なお、ヨー回転とは、図５に示すように、
Ｘ軸およびＹ軸の、Ｚ軸を回転中心とする回転であり、
その回転角度は、図中、θyで示されている。ピッチ回
転とは、Ｚ軸、およびθyだけヨー回転したＸ軸（図
中、Ｘ’で示す）の、ヨー回転したＹ軸（図中、Ｙ’で
示す）を回転中心とする回転であり、その回転角度は、
図中、θpで示されている。ロール回転とは、θyだけヨ
ー回転したＹ軸（図中、Ｙ’で示す）、およびθpだけ
ピッチ回転したＺ軸（図中、Ｚ’で示す）の、θyだけ
ヨー回転した後さらにθpだけピッチ回転したＸ軸（図
中、ｘ軸で示す）を回転中心とする回転であり、その回
転角度は、図中、θrで示されている。
【００７０】例えば、図６（Ａ）に示すような、所定の
位置Ａから、一定のふくらみをもって位置Ｂに至る軌跡
（目標軌跡）を描くように、スレーブマニピュレータ部
３の先端部４を移動させたい場合、ユーザＵ1乃至ＵKそ
れぞれは、目標軌跡に対応した軌跡（スレーブマニピュ
レータ部３およびマスタマニピュレータ部８の大きさ
等、その構造の違いにもよるが、ここでは、簡単のため
に同じ軌跡）を描くように、マスタマニピュレータ部８
の操作部９を移動させようとする。しかしながら、実際
には、ユーザＵ1乃至ＵKのマスタマニピュレータ部８
（操作部９）に対する操作技術のレベルにもよるが、図
６（Ｂ）の実線で示すように、図６（Ｂ）の点線で示さ
れる目標軌跡からずれた軌跡（操作軌跡）を描くよう
に、操作部９を移動させてしまうことがある。
【００７１】ところで、通常、操作軌跡と目標軌跡との
ずれは、無作為に発生するため（一定の傾向をもって発
生するものではないため）、複数の操作軌跡（ユーザＵ
1乃至ＵKそれぞれの操作軌跡（図６（Ｂ）））を平均す
ることにより、目標軌跡により近い軌跡を得ることがで
きる。
【００７２】そこで、スーパドクタデータベース部６４
は、マスタマニピュレータ６２1乃至６２Kにおける操作
内容を合成し（例えば、平均し）、その合成した（平均
した）操作内容に基づいて、スレーブマニピュレータ６
１（スレーブマニピュレータ部３）を遠隔操作する。こ
れにより、スレーブマニピュレータ６１において、図６
（Ｃ）に示すように、目標軌跡に近い軌跡を描くように
スレーブマニピュレータ部３の先端部４を移動させるこ
とができるようになっている。
【００７３】なお、図６（Ａ）中、点線の矢印は、軌跡
の方向を示し、図６（Ｂ）中の点線の矢印は、操作部９
の移動方向を示し、図６（Ｃ）中の点線の矢印は、先端
部４の移動方向を示している。
【００７４】また、スーパドクタデータベース部６４
は、世界の名医による過去の手術の技術的な情報である
手術技術情報を、例えば、症状別に記憶しており、その
手術技術情報に基づいて、マスタマニピュレータ６２1
乃至６２Kにおける操作内容を修正する。即ち、スーパ
ドクタデータベース部６４は、マスタマニピュレータ６
２ 1乃至６２Kにおける操作内容の他、記憶している手術
技術情報にも基づいて、スレーブマニピュレータ６１を
制御する。
【００７５】従って、ＳＨＡＲＮ手術システムでは、世
界各地に分散した獣医としてのユーザＵ1乃至ＵKそれぞ
れがマスタマニピュレータ６２1乃至６２Kを操作するこ
とによる合同手術が、手術技術情報を参照しながら行わ
れることから、最高レベルの手術の実現が可能となる。
【００７６】次に、図７は、図３のスレーブマニピュレ
ータ６１の電気的構成例を示している。
【００７７】スレーブマニピュレータ制御装置５１は、
ネットワーク６３に接続されており、スレーブマニピュ
レータ部３を制御する。
【００７８】即ち、スレーブマニピュレータ制御装置５
１は、制御部７１、姿勢遷移機構部７２、制御機構部７
３、および通信部７４で構成されている。
【００７９】制御部７１は、通信部７４を介して受信し
た、スーパドクタデータベース部６４によってネットワ
ーク６３上に送出された制御信号としての姿勢パラメー
タを、姿勢遷移機構部７２に供給するとともに、制御機
構部７３を介して供給される、スレーブマニピュレータ
部３のセンサ７５の出力に基づいて、スレーブマニピュ
レータ部３の先端部４の姿勢パラメータを算出し、通信
部７４を介して、ネットワーク６３に送出する。
【００８０】ここで、スレーブマニピュレータ部３の先
端部４の姿勢パラメータは、例えば、先端部４（作用
点）の位置を特定する、Ｘ軸の値、Ｙ軸の値、およびＺ
軸の値からなる座標と、先端部４の角度を特定するヨー
角θy、ピッチ角θp、およびロール角θr等から構成さ
れる。先端部４の位置は、先端部４が移動可能な空間上
の所定の位置を原点として定義されたＸＹＺ直交座標系
上の座標であり、また、先端部４の角度は、例えば、先
端部４について定義したＸＹＺ直交座標系を基準とし
て、図５に示したように定義されるものである。なお、
以下、適宜、これらの位置と角度とを両方含めて、姿勢
という。
【００８１】制御部７１は、また、制御機構部７３を介
して供給される、スレーブマニピュレータ部３のセンサ
７５の出力に基づいて、スレーブマニピュレータ部３の
先端部４が外部から受けた力Ｆ1やトルクＴ1を算出し、
通信部７４を介して、ネットワーク６３上に送出する。
【００８２】姿勢遷移機構部７２は、スレーブマニピュ
レータ部３の先端部４の姿勢を、現在の姿勢から、制御
部７１から供給された姿勢パラメータに対応する姿勢に
遷移させるための姿勢遷移情報を生成し、これを制御機
構部７３に送出する。
【００８３】制御機構部７３は、姿勢遷移機構部７２か
らの姿勢遷移情報に従って、制御信号を生成し、これ
を、スレーブマニピュレータ部３に供給する。スレーブ
マニピュレータ３のアクチュエータ７６は、制御機構部
７３から供給された制御信号に従って駆動し、これによ
り、先端部４は、スーパドクタデータベース部６４から
送信されてきた姿勢パラメータに対応する姿勢をとる。
【００８４】制御機構部７３は、また、スレーブマニピ
ュレータ部３のセンサ７５の出力を取得し、制御部７１
に供給する。
【００８５】通信部７４は、ネットワーク６３を介して
の通信制御を行い、これにより、ネットワーク６３から
送信されてくる情報を受信して、制御部７１に供給する
とともに、制御部７１から供給される情報を、ネットワ
ーク６３に送信する。
【００８６】入出力制御装置５２は、ネットワーク６３
に接続されており、マイク２1乃至２4それぞれで集音さ
れた音声データ、およびカメラ６1乃至６5それぞれで撮
像された画像データを、ネットワーク６３を介して送信
する。
【００８７】ここで、カメラ６1乃至６5は、図４のカメ
ラ６に対応するものである。また、カメラ６1乃至６5の
うち、カメラ６1乃至６4は、患者の患部等を、所定の視
点方向から撮像する小型のＣＣＤカメラとなっており、
カメラ６5は、スレーブマニピュレータ部４の周囲全体
の撮像が可能な全方位カメラとなっている。なお、全方
位カメラの詳細については、後述する。
【００８８】次に、図８は、図３のマスタマニピュレー
タ６２の電気的構成例を示している。
【００８９】マスタマニピュレータ制御装置５３は、ネ
ットワーク６３に接続されており、マスタマニピュレー
タ部８を制御する。
【００９０】即ち、マスタマニピュレータ制御装置５３
は、制御部８１、姿勢遷移機構部８２、制御機構部８
３、および通信部８４で構成されている。
【００９１】制御部８１は、また、通信部８４を介して
取得した、後述する基準姿勢パラメータと、力Ｆ1およ
びトルクＴ1（スレーブマニピュレータ部３の先端部４
が外部から受けた力およびトルク）に基づいて、後述す
る力ＦoおよびトルクＴoを算出し、制御機構部８３に供
給する。
【００９２】さらに、制御部８１は、制御機構部８３を
介して供給される、マスタマニピュレータ部８のセンサ
８５の出力に基づいて、マスタマニピュレータ部８の操
作部９の姿勢パラメータを算出し、通信部８４を介し
て、ネットワーク６３に送信する。
【００９３】ここで、マスタマニピュレータ部８の操作
部９の姿勢パラメータは、スレーブマニピュレータ部３
の先端部４の姿勢パラメータと同様に、操作部９（作用
点）の位置を特定する、Ｘ軸の値、Ｙ軸の値、およびＺ
軸の値からなる座標と、操作部９の角度を特定するヨー
角θy、ピッチ角θp、およびロール角θr等から構成さ
れている。操作部９の位置は、操作部９が移動可能な空
間上の所定の位置を原点として定義されたＸＹＺ直交座
標系上の座標であり、また、先端部４の角度は、例え
ば、操作部９について定義したＸＹＺ直交座標系を基準
として、図５に示したように定義されるものである。
【００９４】なお、マスタマニピュレータ部８の操作部
９の姿勢パラメータと、上述のスレーブマニピュレータ
部３の先端部４の姿勢パラメータとは、同一のＸＹＺ直
交座標系において定義しても良いし、異なるＸＹＺ直交
座標系において定義しても良い。但し、先端部４と操作
部９の姿勢パラメータを、異なるＸＹＺ直交座標系にお
いて定義する場合には、スーパドクタデータベース部６
４が、その異なるＸＹＺ直交座標系どうしの対応関係を
認識している必要がある。
【００９５】制御機構部８３は、制御部８１から供給さ
れた力Ｆ0とトルクＴ0に従って、制御信号を生成し、こ
れを、マスタマニピュレータ部８に送出する。マスタマ
ニピュレータ部８のアクチュエータ８６は、この制御信
号に従って駆動し、これにより、マスタマニピュレータ
部８の操作部９は、制御部８１により算出された力Ｆ 0
とトルクＴ0を、その操作部９を操作しているユーザＵ
に与える。
【００９６】制御機構部８３は、また、マスタマニピュ
レータ部８のセンサ８５の出力を、制御部８１に供給す
る。
【００９７】通信部８４は、ネットワーク６３を介して
の通信制御を行い、ネットワーク６３から送信されてく
る情報を受信して、制御部８１に供給するとともに、制
御部８１から供給される情報を、ネットワーク６３に送
信する。
【００９８】入出力制御装置５４は、ネットワーク６３
に接続されており、ネットワーク６３から送信されてく
る画像データと音声データを受信し、モニタ１０とスピ
ーカ１１にそれぞれ供給する。これにより、モニタ１０
では、スレーブマニピュレータ６１のカメラ６1乃至６5
で撮像された画像が表示され、スピーカ１１では、スレ
ーブマニピュレータ６１のマイク２1乃至２4で集音され
た音声が出力される。
【００９９】また、入出力制御装置５４は、操作パネル
１２が、ユーザＵによって操作されることにより出力す
る操作信号を受信し、その操作信号に応じて、モニタ１
０に表示する画像や、スピーカ１１から出力する音声を
切り換える。さらに、入出力制御装置５４は、操作パネ
ル１２からの操作信号を、必要に応じて、ネットワーク
６３に送信する。
【０１００】次に、図９は、図３のスーパドクタデータ
ベース部６４の構成例を示している。
【０１０１】入出力制御装置２１は、ネットワーク６３
に接続されており、ネットワーク６３を介しての通信制
御を行うことにより、ネットワーク６３から送信されて
くる情報を受信して、姿勢パラメータ登録部２２や姿勢
パラメータ制御部２８に供給するとともに、姿勢パラメ
ータ制御部２８から供給される情報を、ネットワーク６
３に送信する。
【０１０２】ここで、入出力制御装置２１がネットワー
ク６３から受信する情報としては、例えば、スレーブマ
ニピュレータ６１が送信する先端部４の姿勢パラメータ
や、マスタマニピュレータ６２が送信する操作部９の姿
勢パラメータ等がある。
【０１０３】姿勢パラメータ登録部２２は、入出力制御
装置２１から供給される、マスタマニピュレータ６２が
送信する操作部９の姿勢パラメータに基づき、マスタマ
ニピュレータ６２が、どのような手術内容の操作をしよ
うとしたのかを認識し、その認識した手術内容と姿勢パ
ラメータとを、手術情報として、手術情報データベース
２５に登録する。
【０１０４】手術経過情報データベース２３は、例え
ば、ＳＨＡＲＮ手術システムにおける手術を含め、世界
各国で行われた手術について、その手術後の患者の状態
に関する情報である手術経過情報を、例えば手術別に記
憶する。
【０１０５】手術経過情報登録部２４は、手術経過情報
を、各手術別に、手術経過情報データベース２３に登録
する。なお、手術経過情報登録部２４は、例えば、世界
各国の病院（ＳＨＡＲＮ手術システムを含む）における
カルテ等の内容が記憶されたデータベースから、ネット
ワーク６３を介して、手術経過情報を収集し、手術経過
情報データベース２３に登録する。また、手術経過情報
登録部２４には、所定の操作者が操作を行うことによっ
て、手術経過情報を、直接入力することもでき、この場
合、手術経過情報登録部２４は、その直接入力された手
術経過情報を、手術経過情報データベース２３に登録す
る。
【０１０６】手術情報データベース２５は、姿勢パラメ
ータ登録部２２から供給される手術情報を記憶する。
【０１０７】更新部２６は、手術情報データベース２５
に記憶された手術情報が表す手術内容による手術が、成
功したかどうかを、手術経過情報データベース２３の手
術経過情報を参照することによって判定し、成功した手
術については、その手術情報に基づいて、手術技術情報
データベース２７を更新する。
【０１０８】手術技術情報データベース２７は、更新部
２６や手術技術情報登録部３０から供給される、手術の
技術的な情報である手術技術情報を記憶する。即ち、手
術技術情報データベース２７は、各手術について、症状
別に、その手術を行うのに最適な操作部９の操作方法
や、操作部９の操作として制限すべき操作内容等を、手
術技術情報として記憶する。
【０１０９】姿勢パラメータ制御部２８は、入出力制御
装置２１で受信された、マスタマニピュレータ６２の操
作部９の姿勢パラメータを受信し、必要に応じて、検索
部２９を介して、手術技術情報を参照しながら、その受
信した姿勢パラメータを修正等し、基準姿勢パラメータ
として、入出力制御装置２１に供給する。
【０１１０】検索部２９は、姿勢パラメータ制御部２８
の制御に従って、手術技術情報データベース２７に記憶
された手術技術情報を検索し、その検索結果を、姿勢パ
ラメータ制御部２８に供給する。
【０１１１】手術技術情報登録部３０は、例えば、所定
の操作者によって操作され、その操作に対応する手術技
術情報を、手術技術情報データベース２７に登録する。
【０１１２】次に、図１０のフローチャートを参照し
て、図７のスレーブマニピュレータ６１の処理について
説明する。
【０１１３】ステップＳ１において、入出力制御装置５
２は、マイク２1乃至２4、およびカメラ６1乃至６5を動
作状態にし、マイク２1乃至２4それぞれで集音された音
声データ、およびカメラ６1乃至６5それぞれで撮像され
た画像データの送信を開始する。
【０１１４】即ち、入出力制御装置５２は、マイク２1
乃至２4それぞれで集音された音声データ、およびカメ
ラ６1乃至６5それぞれで撮像された画像データを受信
し、ネットワーク６３を介して、スーパドクタデータベ
ース部６４に送信する。なお、この画像データと音声デ
ータの送信は、その後、例えば、マスタマニピュレータ
６２（図８）の操作パネル１２が、その送信を停止する
ように操作されるまで続行される。
【０１１５】さらに、ステップＳ１では、スレーブマニ
ピュレータ制御装置５１が、スレーブマニピュレータ部
３の先端部４の姿勢パラメータを、スーパドクタデータ
ベース部６４に送信する。
【０１１６】即ち、スレーブマニピュレータ制御装置５
１において、制御機構部７３は、スレーブマニピュレー
タ部３のセンサ７５を動作状態にし、その出力を受信し
て、制御部７１に供給する。制御部７１は、制御機構部
７３から供給されるセンサ７５の出力に基づいて、スレ
ーブマニピュレータ部３の先端部４の姿勢パラメータを
求め、通信部７４に供給する。通信部７４は、制御部７
１からの姿勢パラメータを、ネットワーク６３を介し
て、スーパドクタデータベース部６４に送信する。
【０１１７】その後、後述するように、スーパドクタデ
ータベース部６４から、ネットワーク６３を介して、姿
勢パラメータが送信されてくるので、スレーブマニピュ
レータ制御装置５１の通信部７４は、スーパドクタデー
タベース部６４から姿勢パラメータが送信されてくるの
を待って、ステップＳ２に進み、その姿勢パラメータを
受信する。
【０１１８】この姿勢パラメータは、通信部７４から制
御部７１に供給され、制御部７１は、ステップＳ３にお
いて、スレーブマニピュレータ部３の先端部４が、その
姿勢パラメータに対応する姿勢をとるように、スレーブ
マニピュレータ部３を制御する。
【０１１９】具体的には、スレーブマニピュレータ制御
装置５１の制御部７１は、通信部７４からの姿勢パラメ
ータを、姿勢遷移機構部７２に供給する。姿勢遷移機構
部７２は、スレーブマニピュレータ部３の先端部４の姿
勢を、現在の姿勢から、制御部７１から供給された姿勢
パラメータに対応する姿勢に遷移させるための姿勢遷移
情報を生成し、制御機構部７３に供給する。
【０１２０】制御機構部７３は、姿勢遷移機構部７２か
らの姿勢遷移情報に従って制御信号を生成し、これを、
スレーブマニピュレータ部３に送出する。スレーブマニ
ピュレータ部３では、アクチュエータ７６が、制御機構
部７３からの制御信号に従って駆動し、これにより、先
端部４は、その姿勢を変化させ、通信部７４で受信され
た姿勢パラメータ、即ち、スーパドクタデータベース部
６４から送信されてきた姿勢パラメータに対応する姿勢
をとる。
【０１２１】そして、ステップＳ４に進み、スレーブマ
ニピュレータ制御装置５１は、ステップＳ３での制御
で、スレーブマニピュレータ部３の先端部４が姿勢を変
化させることで、先端部４が外部（患者の腹腔内）から
受けた力Ｆ1とトルクＴ1を、その先端部４の姿勢パラメ
ータとともに、ネットワーク６３を介して、スーパドク
タデータベース部６４に送信する。
【０１２２】即ち、スレーブマニピュレータ制御装置５
１において、制御機構部７３は、センサ７５の出力を、
制御部７１に供給し、制御部７１は、そのセンサ７５の
出力から、先端部４が外部から受けた力Ｆ1とトルクＴ
1、および先端部４の姿勢パラメータを算出する。さら
に、制御部７１は、この力Ｆ1とトルクＴ1、および姿勢
パラメータを、通信部７４に供給し、通信部７４は、そ
の力Ｆ1とトルクＴ1、および姿勢パラメータを、ネット
ワーク６３を介して、スーパドクタデータベース部６４
に送信する。
【０１２３】その後は、ステップＳ２に戻り、以下、同
様の処理が繰り返される。
【０１２４】従って、スレーブマニピュレータ６１にお
いては、スレーブマニピュレータ部３の先端部４が、ス
ーパドクタデータベース部６４から送信されてくる姿勢
パラメータに対応する姿勢に変化していくことによっ
て、患者に対する手術が行われる。
【０１２５】次に、図１１のフローチャートを参照し
て、図８のマスタマニピュレータ６２の処理について説
明する。
【０１２６】後述するように、スーパドクタデータベー
ス部６４は、スレーブマニピュレータ６１から送信され
てくる画像データと音声データを、ネットワーク６３を
介して、マスタマニピュレータ６２に送信してくるの
で、ステップＳ２１では、その画像データと音声データ
の受信が開始される。
【０１２７】即ち、ステップＳ２１では、入出力制御装
置５４は、ネットワーク６３を介して、スーパドクタデ
ータベース部６４から送信されてくる画像データと音声
データを受信し、画像データを、モニタ１０に供給する
とともに、音声データをスピーカ１１に供給する。これ
により、モニタ１０には、スレーブマニピュレータ６１
（図７）のカメラ６1乃至６5で撮像された画像が表示さ
れ、また、スピーカ１１からは、スレーブマニピュレー
タ６１のマイク２1乃至２4で集音された音が出力され
る。
【０１２８】さらに、後述するように、スーパドクタデ
ータベース部６４は、スレーブマニピュレータ６１から
送信されてくる、先端部４の姿勢パラメータを、ネット
ワーク６３を介して、マスタマニピュレータ６２に送信
してくるので、ステップＳ２１では、マスタマニピュレ
ータ制御装置５３は、その姿勢パラメータを受信し、そ
の姿勢パラメータに基づいて、マスタマニピュレータ部
８の操作部９の姿勢を制御する。
【０１２９】即ち、マスタマニピュレータ制御装置５３
において、通信部８４は、ネットワーク６３を介して、
スーパドクタデータベース部６４から送信されてくる、
スレーブマニピュレータ部３の先端部４の姿勢パラメー
タを受信し、制御部８１に供給する。制御部８１は、通
信部８４からの姿勢パラメータを受信し、姿勢遷移機構
部８２に供給する。姿勢遷移機構部８２は、マスタマニ
ピュレータ部８の操作部９の姿勢を、現在の姿勢から、
制御部８１から供給された姿勢パラメータに対応する姿
勢に遷移させるための姿勢遷移情報を生成し、制御機構
部８３に供給する。制御機構部８３は、姿勢遷移機構部
８２からの姿勢遷移情報に従って制御信号を生成し、こ
れを、マスタマニピュレータ部８に送出する。マスタマ
ニピュレータ部８のアクチュエータ８６は、この制御信
号に従って駆動し、これにより、操作部９は、その姿勢
を変化させ、スレーブマニピュレータ部３の先端部４の
姿勢と同一の姿勢をとる。
【０１３０】その後、ステップＳ２２において、マスタ
マニピュレータ部８の操作部９の姿勢パラメータが、ネ
ットワーク６３を介して、スーパドクタデータベース部
６４に送信される。
【０１３１】具体的には、マスタマニピュレータ制御装
置５３において、制御機構部８３は、マスタマニピュレ
ータ部８のセンサ８５の出力を受信し、制御部８１に供
給する。制御部８１は、センサ８５の出力から、マスタ
マニピュレータ部８の操作部９の姿勢パラメータを算出
し、通信部８４に供給する。通信部８４は、制御部８１
からの操作部９の姿勢パラメータを、ネットワーク６３
を介して、スーパドクタデータベース部６４に送信す
る。
【０１３２】ここで、このステップＳ２２の処理によっ
て、ユーザＵがマスタマニピュレータ部８の操作部９を
操作することにより所定の姿勢にされた操作部９につい
て、その姿勢を表す姿勢パラメータが、スーパドクタデ
ータベース部６４に送信される。
【０１３３】そして、ステップＳ２３に進み、マスタマ
ニピュレータ制御装置５３の通信部８４は、ネットワー
ク６３を介してスーパドクタデータベース部６４から送
信されてくる、スレーブマニピュレータ部３の先端部４
の姿勢パラメータを、基準姿勢パラメータとして受信
し、ステップＳ２４に進む。ステップＳ２４では、マス
タマニピュレータ制御装置５３の通信部８４は、スーパ
ドクタデータベース部６４から、先端部４の姿勢パラメ
ータとともに送信されてくる、先端部４が外部から受け
た力Ｆ1とトルクＴ1を受信する。この先端部４について
の姿勢パラメータ、および力Ｆ1とトルクＴ1は、通信部
８４から制御部８１に供給され、ステップＳ２４からＳ
２５に進む。
【０１３４】ステップＳ２５では、制御部８１は、ステ
ップＳ２２で取得した操作部９の姿勢パラメータと、ス
テップＳ２３で取得した基準姿勢パラメータの差を算出
し、ステップＳ２６に進む。
【０１３５】ステップＳ２６では、制御部８１は、ステ
ップＳ２５で算出した、操作部９の姿勢パラメータと基
準姿勢パラメータとの差（ずれ）の大きさに比例した大
きさで、ずれの方向とは逆方向の力Ｆ2とトルクＴ2を算
出し、ステップＳ２７に進む。
【０１３６】ステップＳ２７では、制御部８１は、ステ
ップＳ２６で算出した力Ｆ2とトルクＴ2のそれぞれに、
ステップＳ２４で取得した力Ｆ1およびトルクＴ1に比例
する力とトルクを加算し、操作部９を操作するユーザＵ
に知覚させる力ＦoおよびトルクＴoを算出する。すなわ
ち、制御部８１は、例えば、式（１）に従って、力Ｆo
およびトルクＴoを算出する。
【０１３７】
【数１】 ・・・（１）
【０１３８】なお、例えば、マスタマニピュレータ部８
の操作部９を動かすのに、スレーブマニピュレータ部３
の先端部４を直接動かす場合に比べ、より大きな力が必
要なとき（いわゆる重いとき）、αおよびβは、１より
大きい値となり、また、操作部９を動かすのに、先端部
４を動かす場合に比べ、小さな力でよい場合（いわゆる
軽いとき）、αおよびβは、１より小さい値となる。ま
た、同じ力でそれらを動かす場合、αおよびβは、１と
なる。
【０１３９】その後、ステップＳ２８において、マスタ
マニピュレータ部８の操作部９を操作するユーザＵに、
ステップＳ２７で算出された力ＦoとトルクＴoを知覚さ
せるように、マスタマニピュレータ部８が制御される。
【０１４０】即ち、制御部８１は、ステップＳ２３で得
た基準姿勢パラメータと、ステップＳ２６で得た力Ｆo
およびトルクＴoを、姿勢遷移機構部８２に供給する。
姿勢遷移機構部８２は、マスタマニピュレータ部８の操
作部９の姿勢を、現在の姿勢から、制御部８１から供給
された基準姿勢パラメータに対応する姿勢に遷移させる
ための姿勢遷移情報であって、さらに、力Ｆoおよびト
ルクＴoをユーザに知覚させることのできる加速度（角
加速度を含む）の情報を含むものを生成し、制御機構部
８３に供給する。制御機構部８３は、姿勢遷移機構部８
２からの姿勢遷移情報に従って制御信号を生成し、これ
を、マスタマニピュレータ部８に送出する。マスタマニ
ピュレータ部８のアクチュエータ８６は、この制御信号
に従って駆動し、これにより、操作部９は、その姿勢
を、所定の加速度で変化させ、ユーザＵに力Ｆoおよび
トルクＴoを知覚させながら、スレーブマニピュレータ
部３の先端部４の姿勢と同一の姿勢をとる。
【０１４１】その後は、ステップＳ２２に戻り、以下、
同様の処理が繰り返される。
【０１４２】以上のように、ユーザＵに知覚させる力Ｆ
oおよびトルクＴoを、ステップＳ２５で算出されたずれ
の大きさに比例した大きさで、ずれの方向とは逆方向の
力Ｆ2およびトルクＴ2と、スレーブマニピュレータ部３
の先端部４が受けたに力Ｆ1とトルクＴ1に比例する力お
よびトルクとが加算されたものとしたので、ユーザＵ
に、操作部９の姿勢パラメータと基準姿勢パラメータと
のずれ、およびスレーブマニピュレータ部３の先端部４
が受ける反力を意識させることができる。
【０１４３】従って、ユーザＵは、マスタマニピュレー
タ部８の操作部９を、基準姿勢パラメータに対応する姿
勢と異なる姿勢にするように操作した場合には、その姿
勢の異なり具合が大きいほど、大きな反力を受けるの
で、自身の操作が、スレーブマニピュレータ部３の先端
部４が実際にとった姿勢とどの程度異なるかを、いわば
感覚的に認識することができる。
【０１４４】なお、ユーザＵには、例えば、力Ｆ2とト
ルクＴ2のみを知覚させるようにすることもできる。
【０１４５】次に、図１２のフローチャートを参照し
て、図９のスーパドクタデータベース部６４の処理につ
いて説明する。
【０１４６】まず最初に、ステップＳ４１において、入
出力制御装置２１は、スレーブマニピュレータ６１から
の画像データおよび音声データの受信と、その画像デー
タおよび音声データのマスタマニピュレータ６２への送
信を開始する。
【０１４７】即ち、図１０で説明したように、ステップ
Ｓ１において、スレーブマニピュレータ６１（図７）
は、カメラ６1乃至６5で撮像された画像データと、マイ
ク２1乃至２4で集音された音声データの、スーパドクタ
データベース部６４への送信を開始するので、スーパド
クタデータベース部６４の入出力制御装置２１は、その
ようにしてスレーブマニピュレータ６１からネットワー
ク６３を介して送信されてくる画像データと音声データ
の受信を開始する。
【０１４８】さらに、入出力制御装置２１は、スレーブ
マニピュレータ６１から受信した画像データと音声デー
タの、マスタマニピュレータ６２への送信を開始する。
ここで、マスタマニピュレータ６２では、このようにし
て、入出力制御装置２１から送信される画像データと音
声データの受信が、上述の図１１のステップＳ２１で開
始される。
【０１４９】また、ステップＳ４１では、入出力制御装
置２１は、図１０のステップＳ１においてスレーブマニ
ピュレータ６１から送信されてくる姿勢パラメータ（ス
レーブマニピュレータ部３の先端部４の姿勢パラメー
タ）を受信し、その姿勢パラメータを、基準姿勢パラメ
ータとして、マスタマニピュレータ６２に送信する。こ
こで、この基準姿勢パラメータは、マスタマニピュレー
タ６２において、上述の図１１のステップＳ２１で受信
され、これにより、操作部９（マスタマニピュレータ部
８の操作部９）は、その基準パラメータに対応する姿
勢、即ち、スレーブマニピュレータ部３の先端部４の姿
勢と同一の姿勢をとる。
【０１５０】その後、ステップＳ４２に進み、入出力制
御装置２１は、スレーブマニピュレータ６１から、その
先端部４についての姿勢パラメータと、力Ｆ1およびト
ルクＴ1が、図１０のステップＳ４で送信されてくるの
を待って受信し、その姿勢パラメータを基準姿勢パラメ
ータとして、力Ｆ1およびトルクＴ1とともに、マスタマ
ニピュレータ６２に送信する。ここで、マスタマニピュ
レータ６２では、先端部４について姿勢パラメータは、
図１１のステップＳ２３で受信され、先端部４について
の力Ｆ1およびトルクＴ1は、図１１のステップＳ２４で
受信される。
【０１５１】そして、ステップＳ４３に進み、入出力制
御装置２１は、マスタマニピュレータ６２1乃至６２Kそ
れぞれが図１１のステップＳ２２で送信してくる操作部
９の姿勢パラメータを受信し、姿勢パラメータ登録部２
２および姿勢パラメータ制御部２８に供給して、ステッ
プＳ４４に進む。
【０１５２】ステップＳ４４では、姿勢パラメータ登録
部２２は、マスタマニピュレータ６２1乃至６２Kそれぞ
れの姿勢パラメータに基づいて、ユーザＵ1乃至ＵKが行
おうとしている手術内容を認識する。さらに、姿勢パラ
メータ登録部２２は、その手術内容と対応する姿勢パラ
メータを、手術情報データベース２５に供給して登録
し、ステップＳ４５に進む。
【０１５３】ステップＳ４５では、姿勢パラメータ制御
部２８が、マスタマニピュレータ６２1乃至６２Kそれぞ
れからの操作部９の姿勢パラメータについて分散を計算
し、その分散が所定の閾値以上であるかどうかを判定す
る。
【０１５４】ステップＳ４５において、マスタマニピュ
レータ６２1乃至６２Kそれぞれからの操作部９の姿勢パ
ラメータの分散が所定の閾値以上でないと判定された場
合、即ち、マスタマニピュレータ６２1乃至６２Kそれぞ
れのユーザＵ1乃至ＵKが、ほぼ同じような操作をした場
合、ステップＳ４６に進み、姿勢パラメータ制御部２８
は、マスタマニピュレータ６２1乃至６２Kそれぞれから
の姿勢パラメータの、例えば平均値等の重み付け加算値
を求め、ステップＳ４７に進む。
【０１５５】ここで、複数の姿勢パラメータの重み付け
加算値としては、その複数の姿勢パラメータそれぞれに
対する重みを同一にした平均値を計算する他、複数の姿
勢パラメータそれぞれに対する重みを異なる値にしたも
のを計算することも可能である。即ち、姿勢パラメータ
に対する重みは、例えば、その姿勢パラメータを送信し
てきたマスタマニピュレータ６２kを操作するユーザＵk
の熟練度等に基づいて設定することが可能である。な
お、熟練度等に基づく重みは、例えば、マスタマニピュ
レータ６２（図８）の操作パネル１２を操作すること等
によって設定することが可能である。
【０１５６】ステップＳ４７では、姿勢パラメータ制御
部２８は、検索部２９に手術技術情報データベース２７
を検索させることにより、ステップＳ４６で求められた
重み付け加算値としての姿勢パラメータによる手術を制
限するような手術技術情報が、手術技術情報データベー
ス２７に登録されているかどうかを判定する。
【０１５７】ステップＳ４７において、重み付け加算値
である姿勢パラメータによる手術を制限するような手術
技術情報が、手術技術情報データベース２７に登録され
ていないと判定された場合、ステップＳ４８をスキップ
して、ステップＳ４９に進み、姿勢パラメータ制御部２
８は、重み付け加算値である姿勢パラメータを、入出力
制御装置２１に供給し、入出力制御装置２１は、姿勢パ
ラメータ制御部２８からの姿勢パラメータを、スレーブ
マニピュレータ６１に送信する。その後、ステップＳ４
２に戻り、以下、同様の処理が繰り返される。
【０１５８】従って、この場合、スレーブマニピュレー
タ６１の先端部４の動きは、マスタマニピュレータ６２
1乃至６２KのユーザＵ1乃至ＵKそれぞれによる操作を平
均化したものに従うことなる。
【０１５９】また、ステップＳ４７において、重み付け
加算値である姿勢パラメータによる手術を制限する手術
技術情報が、手術技術データベース２７に登録されてい
ると判定された場合、即ち、重み付け加算値である姿勢
パラメータによる手術の内容が、例えば、過去に前例の
ないものである場合や、あるいは、過去に、良い手術経
過が得られなかったものである場合、ステップＳ４８に
進み、姿勢パラメータ制御部２８は、重み付け加算値で
ある姿勢パラメータを、その姿勢パラメータによる手術
を制限する手術技術情報に基づいて修正し、その手術技
術情報による制限の範囲内のものとする。そして、ステ
ップＳ４９に進み、姿勢パラメータ制御部２８は、修正
後の姿勢パラメータを、入出力制御装置２１を介して、
スレーブマニピュレータ６１に送信して、ステップＳ４
２に戻り、以下、同様の処理を繰り返す。
【０１６０】従って、この場合、スレーブマニピュレー
タ６１の先端部４の動きは、マスタマニピュレータ６２
1乃至６２KのユーザＵ1乃至ＵKそれぞれによる操作を平
均化したものを手術技術情報に基づいて修正したものに
従うことなる。
【０１６１】一方、ステップＳ４５において、マスタマ
ニピュレータ６２1乃至６２Kそれぞれからの操作部９の
姿勢パラメータの分散が所定の閾値以上であると判定さ
れた場合、即ち、マスタマニピュレータ６２1乃至６２K
それぞれのユーザＵ1乃至ＵKのうちの１以上が、他のユ
ーザと同じとはいえない程度の異なる操作をした場合、
ステップＳ５０に進み、姿勢パラメータ制御部２８は、
マスタマニピュレータ６２1乃至６２Kそれぞれからの操
作部９の姿勢パラメータの中から、他の姿勢パラメータ
と異なる姿勢パラメータ（分散を大きくしている原因と
なっている姿勢パラメータ）（以下、適宜、特異パラメ
ータという）を検出する。
【０１６２】なお、ここでは、説明を簡単にするため
に、特異パラメータとなる姿勢パラメータは１つとす
る。
【０１６３】ステップＳ５０において特異パラメータが
検出されると、ステップＳ５１に進み、姿勢パラメータ
制御部２８は、更新部２６を制御することにより、手術
情報データベース２５に記憶された、特異パラメータに
対応する手術情報が表す手術内容による手術が、過去に
成功したことがあるかどうかを、手術経過情報データベ
ース２３の手術経過情報を参照させることによって判定
させる。
【０１６４】ステップＳ５１において、特異パラメータ
に対応する手術情報が表す手術内容による手術が、過去
に成功したことがないと判定された場合、ステップＳ５
２に進み、姿勢パラメータ制御部２８は、その特異パラ
メータが、操作部９の誤操作等によるものであるとし
て、マスタマニピュレータ６２1乃至６２Kそれぞれから
の操作部９の姿勢パラメータのうちの、特異パラメータ
を除いたものの、例えば平均値等の重み付け加算値を求
め、ステップＳ４７に進む。
【０１６５】その後、ステップＳ４７乃至Ｓ４９におい
て、マスタマニピュレータ６２1乃至６２Kそれぞれから
の操作部９の姿勢パラメータのうちの、特異パラメータ
を除いたものの重み付け加算値を対象に、上述した場合
と同様の処理が行われ、ステップＳ４２に戻る。
【０１６６】従って、この場合、スレーブマニピュレー
タ６１の先端部４の動きは、マスタマニピュレータ６２
1乃至６２KのユーザＵ1乃至ＵKそれぞれによる操作のう
ち、特に他の操作と異なった操作を除いたものを平均化
したもの（あるいは、その平均化した操作を手術技術情
報に基づいて修正したもの）に従うことなる。
【０１６７】一方、ステップＳ５１において、特異パラ
メータに対応する手術情報が表す手術内容による手術
が、過去に成功したことがあると判定された場合、ステ
ップＳ５３に進み、姿勢パラメータ制御部２８は、更新
部２６を制御することにより、手術技術情報データベー
ス２７を更新させる。
【０１６８】即ち、この場合、更新部２６は、特異パラ
メータに対応する手術情報が表す手術内容に基づいて、
その手術を行うのに最適な操作部９の操作方法（手順）
や、操作部９の操作として制限すべき操作内容等を、手
術技術情報として生成し、手術技術情報データベース２
７に供給して記憶させることにより、手術技術情報デー
タベース２７を更新する。
【０１６９】そして、ステップＳ５４に進み、姿勢パラ
メータ制御部２８は、入出力制御装置２１を制御するこ
とにより、特異パラメータである姿勢パラメータを、ス
レーブマニピュレータ６１に送信し、ステップＳ４２に
戻り、以下、同様の処理を繰り返す。
【０１７０】従って、この場合、スレーブマニピュレー
タ６１の先端部４の動きは、マスタマニピュレータ６２
1乃至６２KのユーザＵ1乃至ＵKそれぞれによる操作のう
ち、特に他の操作と異なった操作に従うことになる。
【０１７１】即ち、マスタマニピュレータ６２1乃至６
２KのユーザＵ1乃至ＵKのうちの一人のユーザが、他の
ユーザとは異なる操作（ここでは、同一の操作と見なす
ことができない程度の異なる操作）を行ったが、そのよ
うな操作による手術が成功した前例がある場合には、ス
レーブマニピュレータ６１の先端部４の動きは、他のユ
ーザとは異なる操作を行った一人のユーザによる操作に
従うことになる。
【０１７２】その結果、例えば、ユーザＵ1乃至ＵKのう
ちの一人のユーザが、他のユーザに比較して、手術技術
の熟練した、いわば名医である場合において、その名医
であるユーザが、最新の手術技術に基づき、他のユーザ
と異なる操作をしたときには、スレーブマニピュレータ
６１の先端部４は、その名医のユーザの操作に対応して
動くことになる。
【０１７３】従って、図３のＳＨＡＲＮ手術システムで
は、マスタマニピュレータ６２1乃至６２Kそれぞれの操
作に基づく姿勢パラメータによって、スーパドクタデー
タベース部６４における手術技術情報データベース２７
の手術技術情報が、より良いものに更新されていく。さ
らに、スーパドクタデータベース部６４では、マスタマ
ニピュレータ６２1乃至６２Kそれぞれの操作に基づく姿
勢パラメータと、手術技術情報から、スレーブマニピュ
レータ６１に提供する姿勢パラメータ（基準姿勢パラメ
ータ）が生成され、スレーブマニピュレータ６１では、
その基準姿勢パラメータにしたがって先端部４の姿勢が
制御されることによって、患者の手術が行われる一方、
マスタマニピュレータ６２1乃至６２Kでは、それぞれの
操作と、基準姿勢パラメータとのずれを、いわば矯正す
るように、操作部９を操作するユーザＵ1乃至ＵKに負荷
がかけられる。
【０１７４】その結果、スレーブマニピュレータ６１で
は、多数のユーザとしての医者による技術と、過去の手
術によって構築され、さらに更新されていく手術技術情
報とに基づく、いわば最高レベルの手術が行われること
になる。
【０１７５】また、マスタマニピュレータ６２では、ユ
ーザである獣医の操作が、実際の手術としての先端部４
の動きに一致するように矯正されるので、ユーザである
獣医の手術技術の向上を、短時間で図ることができる。
【０１７６】即ち、図３のＳＨＡＲＮ手術システムで
は、図１３に示すように、マスタマニピュレータ６２1
乃至６２Kそれぞれの操作に基づいて、スーパドクタデ
ータベース部６４の手術技術情報が、より良いものに更
新されていき、さらに、マスタマニピュレータ６２1乃
至６２Kにおいては、手術技術情報の、いわばフィード
バックを受け、ユーザの操作が、手術技術情報に適合す
るように矯正される。
【０１７７】従って、マスタマニピュレータ６２1乃至
６２Kそれぞれにおいては、それ単独の場合ではできな
かった、ユーザである医者の技術を短時間で向上させる
という高機能が実現されているということができるが、
これは、マスタマニピュレータ６２1乃至６２Kと、スー
パドクタデータベース部６４とが、図１３において点線
で囲むように、まるで１つの装置であるかのようになっ
て、マスタマニピュレータ６２1乃至６２Kそれぞれの操
作に基づいて、スーパドクタデータベース部６４の手術
技術情報が、より良いものに更新されることにより、結
果として、マスタマニピュレータ６２1乃至６２Kそれぞ
れが、手術技術情報を、より良いものに更新するという
処理を、互いに協調しながら分担することとなっている
からである。
【０１７８】これに対して、スーパドクタデータベース
部６４が、単に、マスタマニピュレータ６２1乃至６２K
それぞれの操作内容を記憶し、マスタマニピュレータ６
２1乃至６２Kそれぞれにフィードバックするというだけ
では、マスタマニピュレータ６２1乃至６２Kそれぞれ
が、ユーザによる操作内容を、スーパドクタデータベー
ス部６４に供給するという処理を、単に分担しているだ
けとなり、マスタマニピュレータ６２1乃至６２Kそれぞ
れにおいて、ユーザである獣医の技術を向上させるとい
う高機能を実現することはできない。
【０１７９】次に、図１４は、ＳＨＡＲＮシステムを適
用したデザインシステムとしてのＳＨＡＲＮデザインシ
ステムの構成例を示している。
【０１８０】このＳＨＡＲＮデザインシステムは、デザ
イン用のマニピュレータシステムであり、擬似スレーブ
マニピュレータ４１、マスタマニピュレータ４２1乃至
４２K、ネットワーク４３、およびスーパデザイナデー
タベース部４４から構成されている。
【０１８１】擬似スレーブマニピュレータ４１は、ネッ
トワーク４３を介して供給される信号に基づいて作動
し、デザインの対象に対して、所定のデザインを施す。
なお、ここでは、例えば、ＰＤＡ(Personal Digital As
sistant)を、デザインの対象とする。但し、デザインの
対象は、ＰＤＡに限定されるものではない。
【０１８２】マスタマニピュレータ４２kは、ユーザＵk
の操作と、スーパデザイナデータベース部４４からネッ
トワーク４３を介して供給される情報とに応じて作動す
る。また、マスタマニピュレータ４２kは、その作動の
状態を検知し、その検知結果を、ネットワーク４３を介
して、スーパデザイナデータベース部４４に送信する。
【０１８３】なお、図１４の実施の形態では、Ｋ個のマ
スタマニピュレータ４２1乃至４２Kが設けられている
が、以下、適宜、これらを特に区別する必要がない限
り、マスタマニピュレータ４２と記載する。
【０１８４】ネットワーク４３は、擬似スレーブマニピ
ュレータ４１、マスタマニピュレータ４２1乃至４２K、
スーパデザイナデータベース部４４それぞれの間での通
信を可能とする。
【０１８５】スーパデザイナデータベース部４４は、ネ
ットワーク４３を介して供給されるマスタマニピュレー
タ４２の作動の状態を受信し、その状態に基づいて、デ
ザインに関する情報を生成する。さらに、スーパデザイ
ナデータベース部４４は、そのデザインに関する情報
と、マスタマニピュレータ４２の状態に基づき、制御信
号を生成し、ネットワーク４３を経由して、擬似スレー
ブマニピュレータ４１に供給することによって、擬似ス
レーブマニピュレータ４１を制御する。
【０１８６】なお、図１４の実施の形態においては、マ
スタマニピュレータ４２が、図１（および図２）の操作
部１００３、アクチュエータ１００５、およびセンサ１
００７に対応し、ネットワーク４３が、図１のネットワ
ーク１００１に対応し、スーパデザイナデータベース部
４４が、図１の合成／統合部１００２、駆動制御部１０
０４、および信号処理部１００６に対応する。
【０１８７】また、図１４の実施の形態においては、擬
似スレーブマニピュレータ４１は、実際の作業を行うマ
ニピュレータではなく、マスタマニピュレータ４２にし
たがって、仮想的に作業を行うマニピュレータとなって
いる。但し、擬似スレーブマニピュレータ４１は、実際
の作業を行うマニピュレータとして構成することも可能
である。
【０１８８】次に、図１５は、図１４の擬似スレーブマ
ニピュレータ４１の電気的構成例を示している。なお、
図中、図７のスレーブマニピュレータ６１における場合
と対応する部分については、同一の符号を付してあり、
以下では、その説明は、適宜省略する。
【０１８９】擬似スレーブマニピュレータ部７７は、図
７のスレーブマニピュレータ部３と擬似的に同一の機能
を有するもので、例えば、ＣＰＵがプログラムを実行す
ることにより実現される。そして、擬似スレーブマニピ
ュレータ部７７は、スレーブマニピュレータ制御装置５
１の制御にしたがい、デザインの対象に対して、各種の
作用を仮想的に施す。
【０１９０】即ち、擬似スレーブマニピュレータ部７７
は、デザイン情報データベース７８に記憶されている、
ＰＤＡのデザイン用のデータから特定される仮想的なＰ
ＤＡに対して、スレーブマニピュレータ制御装置５１の
制御にしたがい、仮想的な先端部（図４（Ａ）のスレー
ブマニピュレータ６１における先端部４Ｌと４Ｒに相当
する）によって各種の処理を施す。
【０１９１】また、擬似スレーブマニピュレータ部７７
は、図７のスレーブマニピュレータ部３と同様に、仮想
的なＰＤＡに対し、仮想的な先端部によって操作を施す
ことにより、その仮想的な先端部が、仮想的なＰＤＡか
ら受ける力Ｆ1やトルクＴ1等に対応する信号、即ち、図
７のスレーブマニピュレータ部３のセンサ７５の出力に
対応する信号を計算し、制御機構部７３に供給する。
【０１９２】デザイン情報データベース７８は、仮想的
なＰＤＡの外観構成を特定するためのデータとしてのデ
ザイン情報を記憶する。即ち、デザイン情報データベー
ス７８は、マスタマニピュレータ４２1乃至４２Kのユー
ザＵ1乃至ＵKそれぞれが、マスタマニピュレータ４２1
乃至４２Kを操作することによってデザインしたＰＤＡ
のデザイン情報を記憶する。
【０１９３】画像生成部７９は、擬似スレーブマニピュ
レータ部７７の内部データに基づいて、仮想的な先端部
等の状態を表す画像データを生成する。さらに、画像生
成部７９は、デザイン情報データベース７８に記憶され
たデザイン情報から、仮想的なＰＤＡの画像データを生
成する。そして、画像生成部７９は、仮想的な先端部等
の画像データと、仮想的なＰＤＡの画像データとを合成
し、これにより、擬似スレーブマニピュレータ部７７が
実際のマニピュレータであり、実際のＰＤＡに対して作
業を行っていれば、図７のスレーブマニピュレータ６１
のカメラ６1乃至６5によって撮像されたであろう画像の
画像データを生成する。この画像データは、画像生成部
７９から入出力制御装置８０に供給される。
【０１９４】入出力制御装置８０は、ネットワーク４３
に接続されており、画像生成部７９から供給される画像
データを、ネットワーク４３を介して、スーパデザイナ
データベース部４４に送信する。また、入出力制御装置
８０は、デザイン情報データベース７８に記憶された、
ユーザＵ1乃至ＵKそれぞれがデザインしたＰＤＡについ
てのデザイン情報を、ネットワーク４３を介して、スー
パデザイナデータベース部４４に送信する。
【０１９５】次に、図１６は、図１４のマスタマニピュ
レータ４２の電気的構成例を示している。なお、図中、
図８のマスタマニピュレータ６２と対応する部分につい
ては、同一の符号を付してあり、以下では、その説明
は、適宜省略する。即ち、図１４のマスタマニピュレー
タ４２は、スピーカ１１が設けられていない他は、図８
のマスタマニピュレータ６２と同様に構成されている。
従って、図示しないが、マスタマニピュレータ４２の外
観構成も、図４（Ｂ）に示したマスタマニピュレータ６
２の外観構成と基本的に同一である。
【０１９６】次に、図１７は、図１４のスーパデザイナ
データベース部４４の構成例を示している。なお、図
中、図９のスーパドクタデータベース部６４における場
合と対応する部分については、同一の符号を付してあ
り、以下では、その説明は、適宜省略する。
【０１９７】デザイン情報登録部９１は、図１５の擬似
スレーブマニピュレータ４１の入出力制御装置８０がネ
ットワーク４３を介して送信してくる、デザイン情報デ
ータベース７８に記憶された、ユーザＵ1乃至ＵKそれぞ
れがデザインしたＰＤＡについてのデザイン情報を受信
し、デザイン情報データベース９２に供給して登録す
る。なお、ユーザＵkがデザインしたＰＤＡについての
デザイン情報の、擬似スレーブマニピュレータ４１から
スーパデザイナデータベース部４４への転送は、例え
ば、ユーザＵkが、自身のＰＤＡのデザインを登録する
ように、マスタマニピュレータ４２の操作部１２を操作
することによって行われる。
【０１９８】デザイン情報データベース９２は、デザイ
ン情報登録部９１からのデザイン情報を記憶する。
【０１９９】デザイン評価部９３は、デザイン情報デー
タベース９２に記憶されたデザイン情報によって特定さ
れるＰＤＡのデザインを評価する。
【０２００】即ち、デザイン評価部９３は、例えば、デ
ザイン情報データベース９２に記憶されたデザイン情報
によって特定されるＰＤＡの外観構成を、例えば、イン
ターネット上のＷｅｂページに公開して、人気投票を行
い、その投票結果に基づいて、ＰＤＡのデザインを評価
する。あるいは、また、デザイン評価部９３は、例え
ば、デザイン情報データベース９２に記憶されたデザイ
ン情報によって特定されるＰＤＡが、既に商品化されて
販売されている場合には、ネットワーク４３を介して、
そのＰＤＡの販売個数を収集し、その販売個数に基づい
て、ＰＤＡのデザインを評価する。
【０２０１】特異デザイン情報データベース９４は、姿
勢パラメータ登録部２２から供給される特異デザイン情
報を記憶し、流行デザイン情報データベース９５は、更
新部２６から供給される流行デザイン情報を記憶する。
【０２０２】ここで、流行デザイン情報とは、デザイン
情報データベース９２に記憶されたデザイン情報のう
ち、デザイン評価部９３による評価が高いものを意味
し、特異デザイン情報とは、流行デザイン情報から、い
わばはずれたデザイン（以下、適宜、特異デザインとい
う）のデザイン情報を意味する。
【０２０３】次に、図１８は、図１５のデザイン情報デ
ータベース７８、図１７のデザイン情報データベース９
２、特異デザイン情報データベース９４、流行デザイン
情報データベース９５に記憶されるＰＤＡのデザイン情
報を示している。
【０２０４】ＰＤＡのデザイン情報としては、図１８
（Ａ）に示すように、ＰＤＡの横の長さｐ１、縦の長さ
ｐ２、ＰＤＡの表示部としてのＬＣＤの横の長さｐ３、
その縦の長さｐ４、ＰＤＡの重心の位置ｐ６、ＰＤＡに
設けられたボタンの位置ｐ７，ｐ８等を採用することが
できる。
【０２０５】また、例えば、図１８（Ｂ）に示すよう
に、ＰＤＡが円弧状の丸みを有する場合には、その円弧
の半径ｐ９，ｐ１０，ｐ１１，ｐ１２等を、ＰＤＡのデ
ザイン情報として採用することができる。
【０２０６】次に、図１９のフローチャートを参照し
て、図１５の擬似スレーブマニピュレータ４１の処理に
ついて説明する。
【０２０７】ステップＳ６１において、入出力制御装置
８０は、画像生成部７９で生成された画像データの送信
を開始する。
【０２０８】即ち、マスタマニピュレータ４２k（図１
６）のユーザＵkが、デザインを開始するように、操作
パネル１２を操作すると、その操作に対応する操作信号
（以下、適宜、開始信号という）が、入出力制御装置５
４から、ネットワーク４３を介して、擬似スレーブマニ
ピュレータ４１とスーパデザイナデータベース部４４に
送信される。
【０２０９】マスタマニピュレータ４２kからの開始信
号は、擬似スレーブマニピュレータ４１の入出力制御装
置８０で受信され、この場合、入出力制御装置８０は、
ユーザＵk用の画像データを生成するように、画像生成
部７９に供給する。これにより、画像生成部７９は、ユ
ーザＵk用に、画像データの生成を開始し、入出力制御
装置８０は、そのユーザＵk用に生成された画像データ
（以下、適宜、ユーザＵk用の画像データという）の送
信を開始する。なお、この画像データの送信は、その
後、例えば、マスタマニピュレータ４２k（図１６）の
操作パネル１２が、その送信を停止するように操作され
るまで続行される。
【０２１０】さらに、ステップＳ６１では、スレーブマ
ニピュレータ制御装置５１が、擬似スレーブマニピュレ
ータ部７７の仮想的な先端部の姿勢パラメータを、スー
パデザイナデータベース部４４に送信する。
【０２１１】即ち、スレーブマニピュレータ制御装置５
１において、制御機構部７３は、擬似スレーブマニピュ
レータ部７７が出力する仮想的な先端部等の状態に関す
る信号（以下、適宜、状態信号という）を受信して、制
御部７１に供給する。制御部７１は、制御機構部７３か
ら供給される状態信号に基づいて、擬似スレーブマニピ
ュレータ部７７の仮想的な先端部の姿勢パラメータを求
め、通信部７４に供給する。通信部７４は、制御部７１
からの姿勢パラメータを、ネットワーク４３を介して、
スーパデザイナデータベース部４４に送信する。
【０２１２】その後、後述するように、スーパデザイナ
データベース部４４から、ネットワーク４３を介して、
姿勢パラメータが送信されてくるので、スレーブマニピ
ュレータ制御装置５１の通信部７４は、スーパドクタデ
ータベース部６４から姿勢パラメータが送信されてくる
のを待って、ステップＳ６２に進み、その姿勢パラメー
タを受信する。
【０２１３】この姿勢パラメータは、通信部７４から制
御部７１に供給され、制御部７１は、ステップＳ６３に
おいて、擬似スレーブマニピュレータ部７７の仮想的な
先端部が、その姿勢パラメータに対応する姿勢をとるよ
うに、擬似スレーブマニピュレータ部７７を制御する。
【０２１４】具体的には、スレーブマニピュレータ制御
装置５１の制御部７１は、通信部７４からの姿勢パラメ
ータを、姿勢遷移機構部７２に供給する。姿勢遷移機構
部７２は、擬似スレーブマニピュレータ部７７の仮想的
な先端部の姿勢を、現在の姿勢から、制御部７１から供
給された姿勢パラメータに対応する姿勢に遷移させるた
めの姿勢遷移情報を生成し、制御機構部７３に供給す
る。
【０２１５】制御機構部７３は、姿勢遷移機構部７２か
らの姿勢遷移情報に従って制御信号を生成し、これを、
擬似スレーブマニピュレータ部７７に送出する。擬似ス
レーブマニピュレータ部７７は、制御機構部７３からの
制御信号に従って、仮想的な先端部の姿勢を変化させ、
通信部７４で受信された姿勢パラメータに対応する姿勢
をとらせる。
【０２１６】そして、ステップＳ６４に進み、スレーブ
マニピュレータ制御装置５１は、ステップＳ６３での制
御で、擬似スレーブマニピュレータ部７７の仮想的な先
端部が姿勢を変化させることで、仮想的な先端部が外部
（デザインの対象である仮想的なＰＤＡ）から受けた力
Ｆ1とトルクＴ1を、その仮想的な先端部の姿勢パラメー
タとともに、ネットワーク４３を介して、スーパデザイ
ナデータベース部４４に送信する。
【０２１７】即ち、スレーブマニピュレータ制御装置５
１において、制御機構部７３は、擬似スレーブマニピュ
レータ部７７が出力する状態信号を、制御部７１に供給
し、制御部７１は、その状態信号から、仮想的な先端部
が外部から受けた力Ｆ1とトルクＴ1、および仮想的な先
端部の姿勢パラメータを算出する。さらに、制御部７１
は、この力Ｆ1とトルクＴ1、および姿勢パラメータを、
通信部７４に供給し、通信部７４は、その力Ｆ1とトル
クＴ1、および姿勢パラメータを、ネットワーク４３を
介して、スーパデザイナデータベース部４４に送信す
る。
【０２１８】その後は、ステップＳ６２に戻り、以下、
同様の処理が繰り返される。
【０２１９】従って、擬似スレーブマニピュレータ４１
においては、擬似スレーブマニピュレータ部７７の仮想
的な先端部が、スーパデザイナデータベース部４４から
送信されてくる姿勢パラメータに対応する姿勢に変化し
ていくことによって、ＰＤＡに対してデザインが施され
る。
【０２２０】なお、ステップＳ６４においては、例え
ば、ＰＤＡが、模型用の材料として用いられる発泡プラ
スチックやＡＢＳ(Acrylonitrile Butadiene Styrene)
樹脂等で構成されているとして、力Ｆ1とトルクＴ1を計
算するようにすることができる。
【０２２１】次に、図２０のフローチャートを参照し
て、図１６のマスタマニピュレータ４２の処理について
説明する。
【０２２２】後述するように、スーパデザイナデータベ
ース部４４は、擬似スレーブマニピュレータ４１から送
信されてくる画像データを、ネットワーク４３を介し
て、マスタマニピュレータ４２に送信してくるので、ス
テップＳ７１では、その画像データの受信が開始され
る。
【０２２３】即ち、ステップＳ７１では、入出力制御装
置５４は、ネットワーク４３を介して、スーパデザイナ
データベース部４４から送信されてくる画像データを受
信し、画像データを、モニタ１０に供給する。これによ
り、モニタ１０には、擬似スレーブマニピュレータ部７
７（図１５）がＰＤＡに対して処理を施している様子を
表す画像が表示される。
【０２２４】さらに、後述するように、スーパデザイナ
データベース部４４は、擬似スレーブマニピュレータ４
１から送信されてくる、仮想的な先端部の姿勢パラメー
タを、ネットワーク４３を介して、マスタマニピュレー
タ４２に送信してくるので、ステップＳ７１では、マス
タマニピュレータ制御装置５３は、その姿勢パラメータ
を受信し、その姿勢パラメータに基づいて、マスタマニ
ピュレータ部８の操作部９の姿勢を制御する。
【０２２５】即ち、マスタマニピュレータ制御装置５３
において、通信部８４は、ネットワーク４３を介して、
スーパデザイナデータベース部４４から送信されてく
る、擬似スレーブマニピュレータ部７７の仮想的な先端
部の姿勢パラメータを受信し、制御部８１に供給する。
制御部８１は、通信部８４からの姿勢パラメータを受信
し、姿勢遷移機構部８２に供給する。姿勢遷移機構部８
２は、マスタマニピュレータ部８の操作部９の姿勢を、
現在の姿勢から、制御部８１から供給された姿勢パラメ
ータに対応する姿勢に遷移させるための姿勢遷移情報を
生成し、制御機構部８３に供給する。制御機構部８３
は、姿勢遷移機構部８２からの姿勢遷移情報に従って制
御信号を生成し、これを、マスタマニピュレータ部８に
送出する。マスタマニピュレータ部８のアクチュエータ
８６は、この制御信号に従って駆動し、これにより、操
作部９は、その姿勢を変化させ、擬似スレーブマニピュ
レータ部７７の仮想的な先端部の姿勢と同一の姿勢をと
る。
【０２２６】その後、ステップＳ７２において、マスタ
マニピュレータ部８の操作部９の姿勢パラメータが、ネ
ットワーク４３を介して、スーパデザイナデータベース
部４４に送信される。
【０２２７】具体的には、マスタマニピュレータ制御装
置５３において、制御機構部８３は、マスタマニピュレ
ータ部８のセンサ８５の出力を受信し、制御部８１に供
給する。制御部８１は、センサ８５の出力から、マスタ
マニピュレータ部８の操作部９の姿勢パラメータを算出
し、通信部８４に供給する。通信部８４は、制御部８１
からの操作部９の姿勢パラメータを、ネットワーク４３
を介して、スーパデザイナデータベース部４４に送信す
る。
【０２２８】このステップＳ７２の処理によって、ユー
ザの操作によって変化したマスタマニピュレータ部８の
操作部９の姿勢を表す姿勢パラメータが、スーパデザイ
ナデータベース部４４に送信される。
【０２２９】そして、ステップＳ７３に進み、マスタマ
ニピュレータ制御装置５３の通信部８４は、ネットワー
ク４３を介してスーパデザイナデータベース部４４から
送信されてくる、擬似スレーブマニピュレータ部７７の
仮想的な先端部の姿勢パラメータを、基準姿勢パラメー
タとして受信し、ステップＳ７４に進む。ステップＳ７
４では、マスタマニピュレータ制御装置５３の通信部８
４は、スーパデザイナデータベース部４４から、仮想的
な先端部の姿勢パラメータとともに送信されてくる、仮
想的な先端部が外部から受けた力Ｆ1とトルクＴ1を受信
する。この仮想的な先端部についての姿勢パラメータ、
および力Ｆ1とトルクＴ1は、通信部８４から制御部８１
に供給され、ステップＳ７４からＳ７５に進む。
【０２３０】ステップＳ７５では、制御部８１は、ステ
ップＳ７２で取得した操作部９の姿勢パラメータと、ス
テップＳ７３で取得した基準姿勢パラメータの差を算出
し、ステップＳ７６に進む。
【０２３１】ステップＳ７６では、制御部８１は、ステ
ップＳ７５で算出した、操作部９の姿勢パラメータと基
準姿勢パラメータとの差（ずれ）の大きさに比例した大
きさで、ずれの方向とは逆方向の力Ｆ2とトルクＴ2を算
出し、ステップＳ７７に進む。
【０２３２】ステップＳ７７では、制御部８１は、ステ
ップＳ７６で算出した力Ｆ2とトルクＴ2のそれぞれに、
ステップＳ７４で取得した力Ｆ1およびトルクＴ1に比例
する力とトルクを加算し、操作部９を操作するユーザＵ
に知覚させる力ＦoおよびトルクＴoを算出する。すなわ
ち、制御部８１は、例えば、上述の式（１）に従って、
力ＦoおよびトルクＴoを算出する。
【０２３３】その後、ステップＳ７８において、マスタ
マニピュレータ部８の操作部９を操作するユーザＵ
kに、ステップＳ７７で算出された力ＦoとトルクＴoを
知覚させるように、マスタマニピュレータ部８が制御さ
れる。
【０２３４】即ち、制御部８１は、ステップＳ７３で得
た基準姿勢パラメータと、ステップＳ７６で得た力Ｆo
およびトルクＴoを、姿勢遷移機構部８２に供給する。
姿勢遷移機構部８２は、マスタマニピュレータ部８の操
作部９の姿勢を、現在の姿勢から、制御部８１から供給
された基準姿勢パラメータに対応する姿勢に遷移させる
ための姿勢遷移情報であって、さらに、力Ｆoおよびト
ルクＴoをユーザに知覚させることのできる加速度（上
述したように、角加速度を含む）の情報を含むものを生
成し、制御機構部８３に供給する。制御機構部８３は、
姿勢遷移機構部８２からの姿勢遷移情報に従って制御信
号を生成し、これを、マスタマニピュレータ部８に送出
する。マスタマニピュレータ部８のアクチュエータ８６
は、この制御信号に従って駆動し、これにより、操作部
９は、その姿勢を、所定の加速度で変化させ、ユーザＵ
に力ＦoおよびトルクＴoを知覚させながら、擬似スレー
ブマニピュレータ部７７の仮想的な先端部の姿勢と同一
の姿勢をとる。
【０２３５】その後は、ステップＳ７２に戻り、以下、
同様の処理が繰り返される。
【０２３６】以上のように、ユーザＵに知覚させる力Ｆ
oおよびトルクＴoを、ステップＳ７５で算出されたずれ
の大きさに比例した大きさで、ずれの方向とは逆方向の
力Ｆ2とトルクＴ2と、擬似スレーブマニピュレータ部７
７の仮想的な先端部が受けたに力Ｆ1とトルクＴ1に比例
する力とトルクとが加算されたものとしたので、ユーザ
Ｕに、操作部９の姿勢パラメータと基準姿勢パラメータ
とのずれ、および擬似スレーブマニピュレータ部７７の
仮想的な先端部が受ける反力を意識させることができ
る。
【０２３７】従って、ユーザＵkは、マスタマニピュレ
ータ部８の操作部９を、基準姿勢パラメータに対応する
姿勢と異なる姿勢にするように操作した場合には、その
姿勢の異なり具合が大きいほど、大きな反力を受けるの
で、自身の操作が、擬似スレーブマニピュレータ部７７
の仮想的な先端部が実際にとった姿勢とどの程度異なる
かを、いわば感覚的に認識することができる。
【０２３８】次に、図２１のフローチャートを参照し
て、図１７のスーパデザイナデータベース部４４の処理
について説明する。なお、スーパデザイナデータベース
部４４は、開始信号を送信してきたマスタマニピュレー
タ４２kごとに、そのマスタマニピュレータ４２kと擬似
スレーブマニピュレータ４１を制御する処理として、図
１７のフローチャートに従った処理（以下、適宜、制御
処理という）を行う。従って、擬似スレーブマニピュレ
ータ４１でも、開始信号を送信したマスタマニピュレー
タ４２kごとに対して、上述の処理が行われる。
【０２３９】まず最初に、ステップＳ９１において、入
出力制御装置２１は、擬似スレーブマニピュレータ４１
からの画像データの受信と、その画像データのマスタマ
ニピュレータ４２kへの送信を開始する。
【０２４０】即ち、図１９で説明したように、ステップ
Ｓ６１において、擬似スレーブマニピュレータ４１（図
１５）は、画像データの、スーパデザイナデータベース
部４４への送信を開始するので、スーパデザイナデータ
ベース部４４の入出力制御装置２１は、そのようにして
擬似スレーブマニピュレータ４１からネットワーク４３
を介して送信されてくる画像データの受信を開始する。
【０２４１】さらに、入出力制御装置２１は、擬似スレ
ーブマニピュレータ４１から受信した画像データの、マ
スタマニピュレータ４２kへの送信を開始する。ここ
で、マスタマニピュレータ４２では、このようにして、
入出力制御装置２１から送信される画像データの受信
が、上述の図２０のステップＳ７１で開始される。
【０２４２】また、ステップＳ９１では、入出力制御装
置２１は、図１９のステップＳ６１において擬似スレー
ブマニピュレータ４１から送信されてくる姿勢パラメー
タ（擬似スレーブマニピュレータ部７７の仮想的な先端
部の姿勢パラメータ）を受信し、その姿勢パラメータ
を、基準姿勢パラメータとして、マスタマニピュレータ
４２kに送信する。ここで、この基準姿勢パラメータ
は、マスタマニピュレータ４２kにおいて、上述の図２
０のステップＳ７１で受信され、これにより、操作部９
（マスタマニピュレータ部８の操作部９）は、その基準
パラメータに対応する姿勢、即ち、擬似スレーブマニピ
ュレータ部７７の仮想的な先端部の姿勢と同一の姿勢を
とる。
【０２４３】その後、ステップＳ９２に進み、入出力制
御装置２１は、擬似スレーブマニピュレータ４１から、
その仮想的な先端部についての姿勢パラメータと、力Ｆ
1およびトルクＴ1が、図１９のステップＳ６４で送信さ
れてくるのを待って受信し、その姿勢パラメータを基準
姿勢パラメータとして、力Ｆ1およびトルクＴ1ととも
に、マスタマニピュレータ４２kに送信する。ここで、
マスタマニピュレータ４２kでは、仮想的な先端部につ
いて姿勢パラメータは、図２０のステップＳ７３で受信
され、仮想的な先端部についての力Ｆ1およびトルクＴ1
は、図２０のステップＳ７４で受信される。
【０２４４】そして、ステップＳ９３に進み、入出力制
御装置２１は、マスタマニピュレータ４２kが図２０の
ステップＳ７２で送信してくる操作部９の姿勢パラメー
タを受信し、姿勢パラメータ制御部２８に供給して、ス
テップＳ９４に進む。
【０２４５】ステップＳ９４では、姿勢パラメータ制御
部２８は、検索部２９に流行デザイン情報データベース
９５を検索させることにより、ステップＳ９３でマスタ
マニピュレータ４２kから受信した姿勢パラメータによ
るデザインを制限するような流行デザイン情報が、流行
デザイン情報データベース９５に登録されているかどう
かを判定する。
【０２４６】ステップＳ９４において、マスタマニピュ
レータ４２kからの姿勢パラメータによるデザインを制
限するような流行デザイン情報が、流行デザイン情報デ
ータベース９５に登録されていないと判定された場合、
即ち、姿勢パラメータによるデザインが、流行デザイン
情報が表す、流行しているデザインから、それほどはず
れるもの（特異デザイン）ではない場合、ステップＳ９
９に進み、姿勢パラメータ制御部２８は、マスタマニピ
ュレータ４２kからの姿勢パラメータを、入出力制御装
置２１に供給し、入出力制御装置２１は、姿勢パラメー
タ制御部２８からの姿勢パラメータを、擬似スレーブマ
ニピュレータ４１に送信する。その後、ステップＳ９２
に戻り、以下、同様の処理が繰り返される。
【０２４７】従って、この場合、擬似スレーブマニピュ
レータ４１の仮想的な先端部の動きは、マスタマニピュ
レータ４２kのユーザＵkによる操作に従うことなる。
【０２４８】一方、ステップＳ９４において、マスタマ
ニピュレータ４２kからの姿勢パラメータによるデザイ
ンを制限するような流行デザイン情報が、流行デザイン
情報データベース９５に登録されていると判定された場
合、即ち、姿勢パラメータによるデザインが、流行デザ
イン情報が表す、流行しているデザインからはずれるも
の（特異デザイン）である場合（現在の流行からすれ
ば、突飛なデザインである場合）、ステップＳ９５に進
み、姿勢パラメータ制御部２８は、姿勢パラメータ登録
部２２を制御することにより、マスタマニピュレータ４
２kからの姿勢パラメータによる特異デザインを表す特
異デザイン情報を、特異デザイン情報データベース９４
に登録させ、ステップＳ９６に進む。
【０２４９】ステップＳ９６では、更新部２６が、直前
のステップＳ９５で特異デザイン情報データベース９４
に登録された特異デザイン情報（以下、適宜、直前特異
デザイン情報という）の頻度が所定の閾値より大である
かどうかを判定する。
【０２５０】ステップＳ９６において、直前特異デザイ
ン情報の頻度が所定の閾値より大でないと判定された場
合、即ち、直前特異デザイン情報が表す特異デザインを
施すような操作が、１以上のユーザによってそれほど行
われていない場合、ステップＳ９７に進み、姿勢パラメ
ータ制御部２８は、マスタマニピュレータ４２kからの
姿勢パラメータを、その姿勢パラメータによるデザイン
を制限する流行デザイン情報に基づいて修正し、その流
行デザイン情報による制限の範囲内のものとする。そし
て、ステップＳ９９に進み、姿勢パラメータ制御部２８
は、修正後の姿勢パラメータを、入出力制御装置２１を
介して、擬似スレーブマニピュレータ４１に送信して、
ステップＳ９２に戻り、以下、同様の処理を繰り返す。
【０２５１】従って、この場合、擬似スレーブマニピュ
レータ４１の仮想的な先端部の動きは、マスタマニピュ
レータ４２kのユーザＵkによる操作を流行デザイン情報
に基づいて修正したもの、つまり、ユーザが行おうとし
た突飛なデザイン（特異デザイン）を、流行のデザイン
からあまりかけ離れたものとならないように修正したも
のに従うことなる。
【０２５２】一方、ステップＳ９６において、直前特異
デザイン情報の頻度が大であると判定された場合、即
ち、直前特異デザイン情報が表す特異デザインを施すよ
うな操作が、１以上のユーザによって多数行われ、その
結果、現在の流行が、直前特異デザイン情報が表すデザ
インに変化してきたと推測される場合、ステップＳ９８
に進み、更新部２６は、直前特異デザイン情報を、特異
デザイン情報データベース９４から読み出し、流行デザ
イン情報として、流行デザイン情報データベース９５に
転送して追加記憶させる。
【０２５３】その後は、ステップＳ９９に進み、姿勢パ
ラメータ制御部２８は、マスタマニピュレータ４２kか
らの姿勢パラメータを、入出力制御装置２１に供給し、
入出力制御装置２１は、姿勢パラメータ制御部２８から
の姿勢パラメータを、擬似スレーブマニピュレータ４１
に送信する。その後、ステップＳ９２に戻り、以下、同
様の処理が繰り返される。
【０２５４】従って、この場合、擬似スレーブマニピュ
レータ４１の仮想的な先端部の動きは、マスタマニピュ
レータ４２kのユーザＵkによる操作に従うことなる。
【０２５５】即ち、マスタマニピュレータ４２kからの
姿勢パラメータによるデザインが、流行デザイン情報が
表す、流行しているデザインからはずれる特異デザイン
である場合（現在の流行からすれば、突飛なデザインで
ある場合）、最初のうちは、そのような特異デザインを
行おうとする操作は、流行デザイン情報に基づいて修正
される。しかしながら、最初は、特異デザインであって
も、その特異デザインを施すような操作が多数行われた
場合には、特異デザインが多数に受け入れられ、現在の
流行が、その特異デザインに変化したと推測される。そ
こで、この場合には、流行デザイン情報データベース９
５に、その特異デザイン情報が、流行デザイン情報とし
て追加記憶され、さらに、そのような特異デザインを施
そうとするユーザの操作も、流行デザイン情報によって
制限（修正）されないようになる。
【０２５６】その結果、擬似スレーブマニピュレータ４
１の仮想的な先端部は、最初は、特異デザインを施すよ
うな操作に従わなかったのが、その特異デザインが多数
に認知されてくると、その特異デザインを施す操作に従
って動くようになる。即ち、例えば、図１８（Ａ）に示
したようなＰＤＡのデザインが流行している場合におい
て、図１８（Ｂ）に示したようなＰＤＡのデザインを施
すように、マスタマニピュレータ４２を操作しても、最
初のうちは、その操作が制限されるが、そのような操作
が多数行われていくうちに、その制限がされなくなり、
図１８（Ｂ）のＰＤＡのデザインを施すことが可能にな
っていく。
【０２５７】以上のように、図１４のＳＨＡＲＮデザイ
ンシステムでは、マスタマニピュレータ４２1乃至４２K
を操作するユーザＵ1乃至ＵKそれぞれによって行われる
デザインに基づいて、流行デザイン情報データベース９
５の更新（上述の場合には、特異デザイン情報の追加記
憶）が行われるが、さらに、このＳＨＡＲＮデザインシ
ステムでは、他の一般ユーザによる評価にも基づいて、
流行デザイン情報データベース９５の更新が行われるよ
うになっている。
【０２５８】そこで、図２２のフローチャートを参照し
て、他の一般ユーザによる評価に基づく、流行デザイン
情報データベース９５の更新処理について説明する。
【０２５９】まず最初に、ステップＳ１１１において、
デザイン評価部９３は、デザイン情報登録部９１によっ
てデザイン情報データベース９２に登録されたデザイン
情報によるデザインを評価する評価情報を収集する。
【０２６０】即ち、デザイン評価部９３は、例えば、デ
ザイン情報データベース９２に記憶されたデザイン情報
を公開しているＷｅｂページについて、一般ユーザが行
ったデザイン情報の人気投票結果を、評価情報として、
ネットワーク４３を介して収集する。また、デザイン評
価部９３は、デザイン情報データベース９２に記憶され
たデザイン情報によって特定されるＰＤＡの販売個数
を、評価情報として、ネットワーク４３を介して収集す
る。
【０２６１】そして、ステップＳ１１２に進み、デザイ
ン評価部９３は、デザイン情報データベース９２に記憶
されているデザイン情報それぞれに対し、ステップＳ１
１１で収集した評価情報に基づき、評価値を計算し、そ
の評価値によって、デザイン情報データベース９２を更
新する。
【０２６２】即ち、デザイン情報データベース９２に
は、デザイン情報が、前回の更新処理で得られた評価値
（以下、適宜、前回の評価値という）と対応付けられて
記憶されており、ステップＳ１１２では、デザイン情報
について新たに計算された評価値（以下、適宜、今回の
評価値という）によって、各デザイン情報に対応付けら
れている評価値（前回の評価値）が更新される。
【０２６３】ここで、評価値は、０以上の値で、その値
が大きいほど、評価の程度が高いものとする。
【０２６４】その後、ステップＳ１１３に進み、更新部
２６は、評価値が所定の閾値ε1以上で、かつ評価値の
変化の割合が閾値＋ε2以上のデザイン情報が、デザイ
ン情報データベース９２に登録されているかどうかを判
定する。
【０２６５】ステップＳ１１３において、評価値が所定
の閾値ε1以上で、かつ評価値の変化の割合が＋ε2以上
のデザイン情報が、デザイン情報データベース９２に登
録されていると判定された場合、即ち、評価値自体が大
きく、さらに、評価値の変化（伸び）も大きいデザイン
情報（以下、適宜、人気デザイン情報という）が存在す
る場合、ステップＳ１１４に進み、更新部２６は、その
人気デザイン情報が、流行デザイン情報として、流行デ
ザイン情報データベース９５に既に登録されているかど
うかを判定する。
【０２６６】ステップＳ１１４において、人気デザイン
情報が、流行デザイン情報として、流行デザイン情報デ
ータベース９５に既に登録されていると判定された場
合、ステップＳ１１１に戻り、以下、同様の処理を繰り
返す。
【０２６７】また、ステップＳ１１４において、人気デ
ザイン情報が、流行デザイン情報データベース９５に登
録されていないと判定された場合、ステップＳ１１５に
進み、更新部２６は、デザイン情報データベース９２か
ら、人気デザイン情報を読み出し、流行デザイン情報と
して、流行デザイン情報データベース９５に供給して追
加記憶させ、これにより、流行デザイン情報データベー
ス９５を更新して、ステップＳ１１１に戻る。
【０２６８】一方、ステップＳ１１３において、評価値
が所定の閾値ε1以上で、かつ評価値の変化の割合が＋
ε2以上のデザイン情報が、デザイン情報データベース
９２に登録されていないと判定された場合、即ち、人気
デザイン情報が存在しない場合、ステップＳ１１６に進
み、更新部２６は、評価値の変化の割合が所定の閾値ε
3回以上続けて０以下になっているデザイン情報が、デ
ザイン情報データベース９２に登録されているかどうか
を判定する。
【０２６９】ステップＳ１１６において、評価値の変化
の割合が所定の閾値ε3回以上続けて０以下になってい
るデザイン情報が存在すると判定された場合、即ち、評
価値が変化しないか、または下降する一方のデザイン情
報（以下、適宜、不人気デザイン情報という）が存在す
る場合、ステップＳ１１７に進み、更新部２６は、不人
気デザイン情報が、流行デザイン情報として、流行デザ
イン情報データベース９５に登録されているかどうかを
判定する。
【０２７０】ステップＳ１１７において、不人気デザイ
ン情報が、流行デザイン情報として、流行デザイン情報
データベース９５に登録されていると判定された場合、
ステップＳ１１８に進み、更新部２６は、その流行デザ
イン情報としての不人気デザイン情報を、流行デザイン
情報データベース９５から削除し、これにより、流行デ
ザイン情報データベース９５を更新して、ステップＳ１
１１に戻る。
【０２７１】また、ステップＳ１１７において、不人気
デザイン情報が、流行デザイン情報データベース９５に
登録されていないと判定された場合、ステップＳ１１８
をスキップして、ステップＳ１１１に戻る。
【０２７２】以上のように、図１４のＳＨＡＲＮデザイ
ンシステムでは、マスタマニピュレータ４２1乃至４２K
それぞれの操作に基づく姿勢パラメータによって、スー
パデザイナデータベース部４４における流行デザイン情
報データベース９５の流行デザイン情報が、より良いも
の（現在の流行にあったデザイン）に更新されていく。
さらに、スーパデザイナデータベース部４４における流
行デザイン情報データベース９５の流行デザイン情報
は、一般のユーザによる評価にも基づいて、より良いも
のに更新されていく。さらに、スーパデザイナデータベ
ース部４４では、マスタマニピュレータ４２kの操作に
基づく姿勢パラメータと、流行デザイン情報から、擬似
スレーブマニピュレータ４１に提供する姿勢パラメータ
（基準姿勢パラメータ）が生成され、擬似スレーブマニ
ピュレータ４１では、その基準姿勢パラメータにしたが
って仮想的な先端部の姿勢が制御されることによって、
デザインが施される一方、マスタマニピュレータ４２k
では、そのユーザＵkの操作と、基準姿勢パラメータと
のずれを、いわば矯正するように、操作部９を操作する
ユーザＵkに負荷がかけられる。
【０２７３】その結果、擬似スレーブマニピュレータ４
１では、ユーザＵkのデザインセンスと、その他の多数
のユーザのデザインセンスから構築され、更新されてい
く流行デザイン情報とに基づく、いわば流行に沿ったデ
ザインが施されることになる。
【０２７４】また、マスタマニピュレータ４２kでは、
ユーザＵkの操作が、流行デザイン情報に基づいて矯正
されるので、ユーザＵkのデザイン技術の向上を短時間
で図ることができる。
【０２７５】ここで、図１４のＳＨＡＲＮデザインシス
テムでは、図２３に示すように、マスタマニピュレータ
４２1乃至４２Kそれぞれの操作に基づいて、スーパデザ
イナデータベース部４４の流行デザイン情報が、より良
いものに更新されていき、さらに、マスタマニピュレー
タ４２1乃至４２Kにおいては、流行デザイン情報の、い
わばフィードバックを受け、ユーザの操作が、流行デザ
イン情報に適合するように矯正される。
【０２７６】従って、マスタマニピュレータ４２1乃至
４２Kそれぞれにおいては、それ単独の場合ではできな
かった、ユーザＵ1乃至ＵKそれぞれのデザイン技術を向
上させるという高機能が実現されているということがで
きるが、これは、マスタマニピュレータ４２1乃至４２K
と、スーパデザイナデータベース部４４とが、図２３に
おいて点線で囲むように、まるで１つの装置であるかの
ようになって、マスタマニピュレータ４２1乃至４２Kそ
れぞれの操作に基づいて、スーパデザイナデータベース
部４４の流行デザイン情報が、より良いものに更新され
ることにより、結果として、マスタマニピュレータ４２
1乃至４２Kそれぞれが、流行デザイン情報を、より良い
ものに更新するという処理を、互いに協調しながら分担
することとなっているからである。
【０２７７】これに対して、スーパデザイナデータベー
ス部４４が、単に、マスタマニピュレータ４２1乃至４
２Kそれぞれの操作内容を記憶し、マスタマニピュレー
タ４２ 1乃至４２Kそれぞれにフィードバックするという
だけでは、マスタマニピュレータ４２1乃至４２Kそれぞ
れが、ユーザによる操作内容を、スーパデザイナデータ
ベース部４４に供給するという処理を、単に分担してい
るだけとなり、マスタマニピュレータ４２1乃至４２Kそ
れぞれにおいて、ユーザＵ1乃至ＵKのデザイン技術を向
上させるという高機能を実現することはできない。
【０２７８】次に、図２４は、ＳＨＡＲＮシステムを適
用した移動体システムとしてのＳＨＡＲＮ移動体システ
ムの構成例を示している。
【０２７９】このＳＨＡＲＮ移動体システムは、多数の
移動体（例えば、自動車など）１０１1，１０１2，・・
・、各移動体１０１kに設けられた全方位カメラ１０
２k、およびネットワーク１０４から構成されている。
【０２８０】移動体１０１kとしての自動車は、それを
運転操作するユーザＵkによる操作に応じて作動するこ
とにより、道路上等を移動する。移動体１０１kに設け
られた全方位カメラ１０２kは、自身を中心とする全方
位の画像を撮像（検知）する。従って、ある被写体１０
３を見通すことのできる位置にある移動体１０１kの全
方位カメラ１０２kにおいては、特に、被写体１０３が
存在する方向を意識しなくても、被写体１０３を含む画
像を撮像することができる。ネットワーク１０４は、任
意の移動体１０１kと１０１k'の間の無線通信を可能と
するネットワークである。
【０２８１】ここで、以下、適宜、全方位カメラ１０２
kにおいて得られる、自身を中心とする全方位の画像
を、全方位画像という。
【０２８２】移動体１０１kは、ネットワーク１０４を
介して、他の移動体１０１k'と通信する。そして、移動
体１０１kは、他の移動体１０１k'で撮像された画像デ
ータを、ネットワーク１０４を介して受信し、その画像
データを処理することによって、付加価値を付けた画像
データを生成する。
【０２８３】ここで、図２４の実施の形態においては、
移動体１０１kが、図１（および図２）の操作部１００
３、アクチュエータ１００５、合成／統合部１００２、
駆動制御部１００４、および信号処理部１００６に対応
し、全方位カメラ１０２kが、図１のセンサ１００７に
対応し、ネットワーク１０４が、図１のネットワーク１
００１に対応する。
【０２８４】なお、移動体１０１k'との通信は、移動体
１０１kだけでなく、固定局としての情報処理装置１０
５も行うことができるようになっている。そして、固定
局である情報処理装置１０５でも、移動体１０１kにお
ける場合と同様に、他の移動体１０１k'で撮像された画
像データを、ネットワーク１０４を介して受信し、その
画像データを処理することによって、付加価値を付けた
画像データを生成することができる。
【０２８５】次に、図２５を参照して、図２４のＳＨＡ
ＲＮ移動体システムの機能について概説する。
【０２８６】ＳＨＡＲＮ移動体システムでは、第１の機
能として、ある図示しない移動体１０１kは、所望の移
動体である、例えば、移動体１０１8を指定し、その移
動体１０１8の現在地から全方位カメラ１０２8によって
撮像された全方位画像データを、ネットワーク１０４を
介して取得することができる。
【０２８７】また、第２の機能として、移動体１０１k
は、ある被写体１０３について、所望の視点方向ｖ上に
位置する移動体（図２５においては、移動体１０１7）
を指定し、その移動体１０１7の現在地から全方位カメ
ラ１０２7によって撮像された全方位画像データを、ネ
ットワーク１０４を介して取得することができる。この
場合、その全方位画像データには、被写体１０３を所定
の視点方向ｖから見た画像が含まれることになる。
【０２８８】さらに、第３の機能として、移動体１０１
kは、複数の移動体（図２５においては、被写体１０３
を囲む点線の円上に位置する移動体１０１1，１０１2，
１０１3，１０１4，１０１5，１０１6）それぞれによっ
て撮像された、被写体１０３を多数の視点方向から見た
画像を含む全方位画像データを、ネットワーク１０４を
介して取得し、その複数の全方位画像データを処理する
ことによって、被写体１０３を、視点を変えながら見た
画像（被写体１０３を、その周囲を一周しながら撮像し
たような画像）（以下、適宜、視点可変画像という）
を、即座に得ることができる。
【０２８９】ここで、第３の機能は、複数の移動体１０
１k、並びに１０１1，１０１2，１０１3，１０１4，１
０１5、および１０１6が、視点可変画像を得るための処
理を協調しながら分担することで実現されるが、この点
についての詳細は、後述する。
【０２９０】次に、図２６は、移動体１０１kの構成例
を示している。
【０２９１】全方位カメラ１０２kは、撮像装置１１１
とＡ／Ｄ(Analog/Digital)変換部１１２で構成されてい
る。
【０２９２】撮像装置１１１は、バスBus1を介して制御
部１１８から供給される制御信号にしたがって、全方位
画像を撮像（撮影）し、その結果得られるアナログの画
像信号を、Ａ／Ｄ変換部１１２に供給する。また、撮像
装置１１１は、全方位画像を撮像したときのズームに関
するズーム情報等を、スケール加工部１１３に供給す
る。
【０２９３】Ａ／Ｄ変換部１１２は、撮像装置１１１か
らのアナログの画像信号をＡ／Ｄ変換し、これにより、
ディジタルの全方位画像データを得て、スケール加工部
１１３に供給する。
【０２９４】スケール加工部１１３は、全方位カメラ１
１２k（のＡ／Ｄ変換部１１２）から供給される全方位
画像データのスケールを、同じく全方位カメラ１１２k
（の撮像装置１１１）から供給されるズーム情報に基づ
いて変換する。
【０２９５】即ち、スケール加工部１１３は、全方位カ
メラ１０２kにおいて、任意のズーム倍率で撮像された
全方位画像データを、所定のズーム倍率で撮像されたも
のに変換する。
【０２９６】スケール加工部１１３で処理された全方位
画像データは、画像データベース１１４に供給され、画
像データベース１１４は、スケール加工部１１３からの
全方位画像データを、必要な情報と対応付けて記憶す
る。また、画像データベース１１４は、後述するように
して、制御部１１８からバスBus1を介して供給される画
像データ等も記憶（登録）する。
【０２９７】操作部１１５は、所定の情報（例えば、撮
像装置１１１のズーム倍率など）やコマンドを入力する
ときに操作され、その入力は、バスBus1を介して制御部
１１８に供給されて処理される。また、操作部１１５
は、移動体１０１kを制御するためのハンドルや、アク
セル、ブレーキ等も含んでいる。
【０２９８】送信部１１６は、バスBus1を介して供給さ
れる情報を、ネットワーク１０４（図２４）を介して送
信する。受信部１１７は、ネットワーク１０４を介して
送信されてくる情報を受信し、バスBus1上に出力する。
【０２９９】制御部１１８は、バスBus1とBus2に接続さ
れており、そのバスBus1とBus2に接続されている各ブロ
ックを制御する。
【０３００】表示画像加工部１１９は、バスBus2を介し
て供給される画像データから、表示部１２２に表示させ
る画像を生成するための加工処理を行い、バスbus2上に
出力する。
【０３０１】比較部１２０は、バスBus2を介して、記憶
部１２１と位置検出部１２３を参照し、記憶部１２１に
記憶された情報と、位置検出部１２３が出力する情報と
を比較し、その比較結果を、バスBus2を介して、制御部
１１８に通知する。
【０３０２】記憶部１２１は、バスBus2を介して制御部
１１８から供給される情報等を一時記憶する。
【０３０３】表示部１２２は、例えば、ＬＣＤ(Liquid
Crystal Display)やＣＲＴ(CathodRay Tube)等で構成さ
れ、バスBus2を介して供給される画像データにしたがっ
て、画像を表示する。
【０３０４】位置検出部１２３は、例えば、ＧＰＳ(Glo
bal Positioning System)等で構成され、移動体１０１k
の現在地を検出し、バスBus2上に出力する。
【０３０５】地図データベース１２４は、地図を電子化
したデータである地図データを記憶しており、バスBus2
を介して、他のブロックから参照される。
【０３０６】座標演算部１２５は、バスBus2を介して制
御部１１８から供給される制御信号にしたがって、所定
の座標等を演算する。
【０３０７】切り出し部１２６は、制御部１１８の制御
の下、バスBus2を介して供給される画像データから所定
の領域を切り出し、バスBus2上に出力する。
【０３０８】画像変換部１２７は、制御部１１８の制御
の下、バスBus2を介して供給される画像データを、後述
する歪みを除去した画像データに変換し、バスbus2上に
出力する。
【０３０９】次に、図２７は、図２６の撮像装置１１１
の構成例を示している。
【０３１０】撮像装置１１１は、集光部２０２が、撮像
部２０３の上部に配置された支持体２０１によって支持
されることによって構成されており、集光部２０２の周
囲３６０度の方向を撮像することができるようになって
いる。
【０３１１】支持体２０１は、ガラスなどの反射率の低
い透明材料からなり、ガラス面での光の屈折を最小化す
るために、入射光がガラス面と直交するように集光部２
０２の後述する焦点を中心とした球面になっている。
【０３１２】集光部２０２には、双曲面形状をしてお
り、支持体２０１を介して入射する周囲の光を、撮像部
２０３の方向に反射する。
【０３１３】撮像部２０３は、例えば、ＣＣＤ等の光電
変換素子で構成され、そこに入射する光を電気信号とし
ての画像信号に変換する。この撮像部２０３で得られる
画像信号が、撮像装置１１１の出力として、図２６のＡ
／Ｄ変換部１１２に供給される。
【０３１４】ここで、全方位カメラ１０２kを構成する
撮像装置１１１の構成や集光の原理については、例え
ば、「移動ロボット用全方位視覚センサの開発」、自動
化技術第２９巻第６号（１９９７年）（以下、適宜、文
献１という）に開示されているため、ここでは、簡単に
説明する。
【０３１５】図２８は、図２７の撮像装置１１１によっ
て撮像された全方位画像データの例を示している。
【０３１６】全方位画像データは、中心点Ｃ１を中心と
する２つの円の円周Ｆ１とＦ２によって区分される。な
お、図２８では、円周Ｆ１の方が、円周Ｆ２よりも半径
が大きいものとなっている。
【０３１７】即ち、全方位画像データは、大きい円周Ｆ
１の内側で、かつ小さい円周Ｆ２の外側になっている領
域Ｒ１、大きい円周Ｆ１の外側の領域Ｒ２、小さい円周
Ｒ２に囲まれた領域（内側の領域）Ｒ３から構成され
る。
【０３１８】以上の３つの領域Ｒ１乃至Ｒ３のうち、領
域Ｒ１においては、集光部２０２で反射された、周囲か
らの光に対応する画像データが撮像されており、領域Ｒ
２においては、集光部２０２の外側の部分が撮像されて
いる。また、領域Ｒ３には、撮像部２０３自身が撮像さ
れている。
【０３１９】さらに、図２８の実施の形態では、領域Ｒ
１には、複数の建物が撮像されているが、円周Ｆ１に近
い方向に、建物の上部が撮像され、円周Ｆ２に近い方向
に、建物の下部が撮像されている。
【０３２０】次に、図２９を参照して、図２７の集光部
２０２を構成する双曲面について説明する。
【０３２１】集光部２０２は、双曲面の一部により構成
されており、双曲面の軸に対する垂直面により、双曲面
を切断して得られた双曲面の凸型先頭部の凸状面に、鏡
面を形成したものとなっている。
【０３２２】集光部２０２には、双曲面の１つである二
葉双曲面を用いることができ、二葉双曲面は、図２９に
示すように、双曲線を軸（Ｚ軸）回りに回転して得られ
る曲面であり、Ｚ＞０の領域に存在する下に凸の双曲面
Ｈ１と、Ｚ＜０の領域に存在する上に凸の双曲面Ｈ２か
ら構成される。
【０３２３】集光部２０２には、二葉の双曲面Ｈ１とＨ
２のうち、Ｚ＞０の領域にある双曲面Ｈ１を利用する。
なお、以下、適宜、Ｚ軸を、双曲線の中心軸または単に
軸ともいう。
【０３２４】図２９に示したＸ，Ｙ，Ｚの３次元直交座
標系において、二葉双曲面Ｈ１とＨ２は、式（２）で示
される。
【０３２５】
【数２】 ・・・（２）
【０３２６】ここで、式（２）において、定数ａとｂ
は、双曲面Ｈ１およびＨ２の形状を定義する定数であ
る。即ち、定数ｂは、原点Ｏから、双曲面Ｈ１（Ｈ２）
とＺ軸との交点までの距離を表す。また、定数ａは、そ
の交点を通る、ＸＹ平面と平行な平面と、双曲面Ｈ１
（Ｈ２）の漸近面Ａ１との交線が描く円の半径を表す。
【０３２７】さらに、式（２）において、定数ｃは、双
曲面Ｈ１およびＨ２の焦点の位置を定義する定数であ
る。即ち、Ｚ軸上の＋ｃの位置（０，０，＋ｃ）が、双
曲面Ｈ２の焦点ｆ１となり、Ｚ軸上の−ｃの位置（０，
０，−ｃ）が、双曲面Ｈ１の焦点ｆ２となる。
【０３２８】なお、定数ａ，ｂ，ｃは、次式で示される
関係を有する。
【０３２９】
【数３】 ・・・（３）
【０３３０】集光部２０２が、図２９で説明したような
双曲面Ｈ１で構成されるとした場合、撮像部２０３は、
図３０に示すように、そのレンズの中心軸がＺ軸に一致
し、かつ、レンズ中心が、双曲面Ｈ１の焦点ｆ２に一致
するように配置される。
【０３３１】次に、撮像部２０３が出力する全方位画像
データは、上述の図２８に示したようなものとなるが、
いま、この全方位画像データについて、図３１に示すよ
うに、その左上の点を原点Ｏとするとともに、左から右
方向にｘ軸をとり、上から下方向にｙ軸をとった２次元
直交座標系を定義する。
【０３３２】この場合、円周Ｆ１の円および円周Ｆ２の
円の中心点Ｃ１の座標を（Ｘ0 、Ｙ0 ）とするととも
に、円周Ｆ１の円の半径をｒF1とし、円周Ｆ２の円の半
径をｒF2とすると、円周Ｆ１の外側の領域Ｒ２を構成す
る点（ｘ，ｙ）は、式（４）により表され、円周Ｆ２の
内側の領域Ｒ３を構成する点（ｘ，ｙ）は、式（５）に
より表される。
【０３３３】
【数４】 ・・・（４）
【０３３４】
【数５】 ・・・（５）
【０３３５】図２６のスケール加工部１１３は、全方位
画像データのスケールを変換する前に、式（４）で表さ
れる領域Ｒ２を構成する画素値と、式（５）で表される
領域Ｒ３を構成する画素値を、例えば、０に変換する。
【０３３６】ここで、この画素値の変換にあたっては、
中心点Ｃ１の座標（Ｘ0 、Ｙ0 ）、並びに半径ｒF1お
よびｒF2が必要となるが、これらの情報は、撮像装置１
１１からスケール加工部１１３に対して、ズーム情報と
ともに供給されるようになっている。なお、撮像装置１
１１（図２６）は、ズーム情報や、中心点Ｃ１の座標
（Ｘ0 、Ｙ0 ）、並びに半径ｒF1およびｒF2の他、撮
像時の露出時間や、絞り等の、撮像装置１１１の設定に
関する情報を、撮像情報として、スケール加工部１１３
に出力するようになっている。
【０３３７】なお、ここでは、説明を簡単にするため、
露出時間や絞りは、固定であるとする。
【０３３８】ところで、図２８や図３１に示した領域Ｒ
１の画像データである全方位画像データについては、所
望の被写体が表示されている部分等の、全方位画像デー
タの一部分だけが必要な場合がある。
【０３３９】図２６の切り出し部１２６は、全方位画像
データの一部分を切り出すようになっているが、その切
り出しは、図３２に示すように行われる。
【０３４０】即ち、切り出し部１２６は、中心点Ｃ１を
通る半径方向の２つの直線Ｌc1とＬ c2に囲まれ、かつ中
心点Ｃ１を中心とする２つの円の円周Ｆc1とＦc2に囲ま
れる略扇形の領域Ｒ１１の画像データを切り出すように
なっている。
【０３４１】次に、全方位画像データは、図２８や図３
１に示したように、中心点Ｃ１に近づくほど狭まったも
のとなり、逆に、中心点Ｃ１から遠ざかるほど広がった
ものとなるような歪みを有する。このことは、切り出し
部１２６が全方位画像データから切り出す略扇形の画像
データについても同様であり、このようは歪みのある画
像データは、図２６の表示部１２２で表示等するにあた
って、歪みのないものに変換する必要がある。
【０３４２】全方位カメラ１０２が出力する、上述のよ
うな全方位画像データの歪みは、中心点Ｃ１を通る円の
円周方向の歪みと、半径方向の歪みとに分けて考えるこ
とができる。
【０３４３】そこで、まず円周方向の歪みを考えてみる
と、図２８や図３１の全方位画像データの、中心点Ｃ１
を中心とするある円の円周上においては、スケールが一
定であり、従って、歪みはない。
【０３４４】即ち、図３３は、Ｚ軸方向から見た集光部
２０２としての双曲面Ｈ１を示している。
【０３４５】図３３では、被写体上のある点Ｐ（Ｘ，
Ｙ，Ｚ）から、Ｚ軸に向かい、Ｘ軸（ＸＺ平面）と角度
θをつくるように、光線ｒが入射している。この光線ｒ
は、双曲面Ｈ１で反射され、後述する図３４に図示して
ある撮像部２０３の受光面（画像面）Ａ３上の点ｐ
（ｘ，ｙ）に到達する。そして、この場合、点ｐ（ｘ，
ｙ）は、Ｘ軸（ＸＺ平面）との間で、光線ｒがＸ軸との
間でつくるのと同一の角度θをつくる。
【０３４６】また、Ｚ軸に向かい、Ｘ軸と角度θ’をつ
くるように入射する光線ｒ’を考えた場合、この光線
ｒ’も、双曲面Ｈ１で反射され、受光面（画像面）Ａ３
上の点ｐ’（ｘ’，ｙ’）に到達する。そして、この場
合も、点ｐ’（ｘ’，ｙ’）は、Ｘ軸との間で、光線
ｒ’がＸ軸との間でつくるのと同一の角度θ’をつく
る。
【０３４７】また、光線ｒとｒ’の、Ｚ軸に対する仰角
（後述する）が同一であれば、光線ｒおよびｒ’は、受
光面Ａ３上の、位置は異なるが、Ｚ軸から同一の距離ｒ
pだけ離れた点で受光される。
【０３４８】以上から、Ｚ軸に対する仰角が同一の複数
の光線それぞれは、受光面Ａ３上の、Ｚ軸から同一の距
離にある点であって、Ｘ軸との間で、光線とＸ軸とがつ
くるのと同一の角度をつくる点で受光される。
【０３４９】従って、Ｚ軸に対する仰角が同一で、Ｘ軸
との角度が等角度の複数の光線は、受光面Ａ３の、Ｚ軸
を中心とする円周上に、等間隔で入射することになるか
ら、全方位画像データにおいて、受光面Ａ３とＺ軸との
交点にあたる中心点Ｃ１を中心とする円の円周方向に
は、歪みは生じない。
【０３５０】一方、図２８や図３１の全方位画像データ
の、中心点Ｃ１を通る半径方向の直線上においては、中
心点Ｃ１に近づくほど、スケールが小さくなり、中心点
Ｃ１から離れるほど、スケールが大きくなることから、
全方位画像データは、半径方向の歪みを有する。
【０３５１】即ち、図３４は、Ｘ軸方向から見た集光部
２０２としての双曲面Ｈ１を示している。
【０３５２】図３４において、Ｚ軸に対して仰角０度
で、焦点ｆ１に向かって入射する光線ｒ１は、双曲面Ｈ
１で反射され、焦点ｆ２に向かっていき、撮像部２０３
の受光面（画像面）Ａ３で受光される。
【０３５３】ここで、Ｚ軸に対する仰角とは、Ｚ軸上の
焦点ｆ１を通り、ＸＹ面に平行な面と、焦点ｆ１に向か
って入射する光線とがつくる角度を意味する。また、撮
像部２０３の受光面Ａ３は、撮像装置１１１の焦点距離
をｆとすると、焦点ｆ２から、Ｚ軸に沿って、ｆだけ離
れた原点Ｏ方向に位置する。
【０３５４】Ｚ軸に対して仰角△ｄ度で、焦点ｆ１に向
かって入射する光線ｒ２は、双曲面Ｈ１で反射され、焦
点ｆ２に向かっていき、受光面Ａ３で受光される。Ｚ軸
に対して仰角２△ｄ度で、焦点ｆ１に向かって入射する
光線ｒ３は、双曲面Ｈ１で反射され、焦点ｆ２に向かっ
ていき、受光面Ａ３で受光される。仰角が△ｄ度ずつ大
きくなる光線ｒ４，ｒ５，ｒ６も、同様にして、受光面
Ａ３で受光される。
【０３５５】このように、仰角が△ｄ度ずつ異なる光線
ｒ１乃至ｒ６それぞれが、受光面Ａ３で受光される点ど
うしの間隔は、図３４の拡大図に示すように、等間隔に
はならず、Ｚ軸に近い点どうしの間隔ほど狭くなる（Ｚ
軸から離れた点どうしの間隔ほど広くなる）。即ち、仰
角が大きい光線どうしの間隔ほど狭くなる（仰角が小さ
い光線どうしの間隔ほど広くなる）。
【０３５６】そして、仰角が等角度の光線について、受
光面Ａ３上で受光される点どうしの間隔が、上述のよう
に、等間隔にならないことから、全方位画像データに
は、半径方向の歪みが生じる。
【０３５７】従って、全方位画像データの半径方向の歪
みを除去するには、仰角が等角度の光線の、受光面Ａ３
上での受光点どうしの間隔が、等間隔になるようにすれ
ば良い。
【０３５８】そこで、いま、図３５に示すように、被写
体上のある点Ｐ（Ｘ，Ｙ，Ｚ）から、焦点ｆ１に向かっ
て、仰角α度で入射する光線ｒを考える。
【０３５９】この光線ｒは、図３４で説明した場合と同
様に、集光部２０２としての双曲面Ｈ１で反射され、焦
点ｆ２に向かっていき、受光面Ａ３で受光される。
【０３６０】この場合において、焦点ｆ２に向かう光線
ｒが、焦点ｆ２を通り、ＸＹ平面に平行な平面とつくる
角度をγ度とする。さらに、Ｘ軸とＹ軸とで定義される
２次元直交座標系において、光線ｒが受光面Ａ３で受光
された点（受光点）ｐの座標を（ｘ，ｙ）で表し、その
点ｐ（ｘ，ｙ）とＺ軸との距離をＲと表す。
【０３６１】図３５における角度αは、式（２）で表さ
れる双曲面Ｈ１において、光線ｒが反射される点の座標
を求めることにより、次式で表すことができる。
【０３６２】
【数６】 ・・・（６）
【０３６３】式（６）から、ｔａｎαは、次式で求める
ことができる。
【０３６４】
【数７】 ・・・（７）
【０３６５】ここで、ｃｏｓγを、次式のようにおく。
【０３６６】
【数８】 ・・・（８）
【０３６７】式（７）に、式（８）を代入すると、次式
が求められる。
【０３６８】
【数９】 ・・・（９）
【０３６９】式（９）を変形して、式（１０）が得られ
る。
【０３７０】
【数１０】 ・・・（１０）
【０３７１】一方、ＡとＢを、それぞれ式（１１）と
（１２）に示すように定義する。
【０３７２】
【数１１】 ・・・（１１）
【０３７３】
【数１２】 ・・・（１２）
【０３７４】式（１０）に、式（１１）および（１２）
を代入することにより、式（１３）が求められる。
【０３７５】
【数１３】 ・・・（１３）
【０３７６】式（１３）は、次のような、Ｘについての
２次方程式とすることができる。
【０３７７】
【数１４】 ・・・（１４）
【０３７８】式（１４）の２次方程式を解くと、次式が
得られる。
【０３７９】
【数１５】 ・・・（１５）
【０３８０】従って、式（８）より、角度γは、次式に
よって求めることができる。
【０３８１】
【数１６】 ・・・（１６）
【０３８２】但し、式（１６）において、Ｘは、式（１
５）で定義されるものであり、また、式（１５）中のＡ
とＢは、それぞれ、式（１１）と（１２）で定義される
ものである。
【０３８３】また、図３５の点ｐの座標から、角度γ
は、次式で求めることができる。
【０３８４】
【数１７】 ・・・（１７）
【０３８５】一方、図３５におけるＺ軸と点ｐ（ｘ，
ｙ）との距離Ｒは、√（ｘ2＋ｙ2）で表されるから、式
（１７）は、次式のように変形することができる。
【０３８６】
【数１８】 ・・・（１８）
【０３８７】以上から、式（１６）によって、角度γを
求め、その角度γを用いて、式（１８）を計算すること
により、Ｚ軸に対して仰角α度で、焦点ｆ１に向かって
入射する光線ｒが、受光面Ａ３において受光される点ｐ
（ｘ，ｙ）のＺ軸からの距離Ｒを算出することができ
る。
【０３８８】従って、Ｚ軸に対する仰角の所定の範囲
（例えば、０度乃至８０度など）を等角度△ｄに分割
し、各仰角△ｄ，２△ｄ，３△ｄ，・・・で入射する光
線が、受光面Ａ３上で受光される各点ｐ１，ｐ２，ｐ３
・・・について、Ｚ軸からの距離Ｒp1，Ｒp2，Ｐp3・・
・を求めておき、隣接する点どうしの距離の差｜Ｒp1−
Ｒ p2｜，｜Ｒp2−Ｐp3｜，・・・が、一定値になるよう
に、撮像装置１１１が出力する全方位画像データを変換
することにより、その半径方向の歪みを除去した全方位
画像データを得ることができることになる。
【０３８９】なお、この歪み除去のための全方位画像デ
ータの変換は、図２６の画像変換部１２７が行う。
【０３９０】即ち、画像変換部１２７は、図３６に示す
ように、制御部１１８から、上述した半径方向の歪みが
ある全方位画像データ（以下、適宜、歪み全方位画像デ
ータという）とともに、中心点Ｃ１、円周Ｆ１の円の半
径ｒF1、および円周Ｆ２の円の半径ｒF2を受信する。
【０３９１】そして、画像変換部１２７は、中心点Ｃ１
を中心とする半径ｒF1の円の円周Ｆ１と、中心点Ｃ１を
中心とする半径ｒF2の円の円周Ｆ２とで囲まれる領域Ｒ
１内において、中心点Ｃ１を中心とする、上述のＲp1，
Ｒp2，Ｐp3・・・を半径とする複数の同心円を描く。さ
らに、画像変換部１２７は、その複数の同心円の円周を
等分する、中心点Ｃ１を通る複数の直線を描く。これに
より、画像変換部１２７は、領域Ｒ１において、複数の
同心円と、複数の直線とで形成される多数の交点を得
る。
【０３９２】ここで、上述の複数の同心円と、複数の直
線とで形成される多数の交点を、以下、適宜、変換対象
点という。
【０３９３】上述したことから、変換対象点を、その隣
接するものどうしが等間隔になるように配置すること
で、歪みのある全方位画像データを、その歪みを除去し
た画像データに変換することができる。
【０３９４】そこで、いま、図３６における、図３２に
示したのと同一の略扇形の領域Ｒ１１の画像データを、
歪みのないものに変換することを考える。
【０３９５】この領域Ｒ１１内には、図３７（Ａ）に示
すように、中心点Ｃ１を中心とする複数の同心円の円弧
Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１６それ
ぞれと、中心点Ｃ１を通る複数の直線Ｌ１，Ｌ２，Ｌ
３，Ｌ４，Ｌ５，Ｌ６それぞれとの交点である多数の変
換対象点が存在する。
【０３９６】画像変換部１２７は、領域Ｒ１１内に存在
する多数の変換対象点を、図３７（Ｂ）に示すように、
隣接するものどうしが等間隔になるように配置する。
【０３９７】即ち、画像変換部１２７は、図３７（Ａ）
の円弧Ｆ１１，Ｆ１２，Ｆ１３，Ｆ１４，Ｆ１５，Ｆ１
６それぞれに対応する、等間隔に配置された横方向の直
線Ｌ２１，Ｌ２２，Ｌ２３，Ｌ２４，Ｌ２５，Ｌ２６
と、図３７（Ａ）の直線Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ
５，Ｌ６それぞれに対応する、等間隔に配置された縦方
向の直線Ｌ１１，Ｌ１２，Ｌ１３，Ｌ１４，Ｌ１５，Ｌ
１６を想定し、その横方向の直線Ｌ２１乃至Ｌ２６それ
ぞれと、縦方向の直線Ｌ１１乃至Ｌ１６それぞれとの交
点上に、対応する変換対象点を変換する（割り当て
る）。
【０３９８】これにより、例えば、図３７（Ａ）におい
て、円弧Ｆ１４と、直線Ｌ５との交点である変換対象点
ｐ１１は、図３７（Ｂ）の、円弧Ｆ１４に対応する直線
Ｌ２４と、直線Ｌ５に対応する直線Ｌ１５との交点ｐ１
２に変換される。
【０３９９】ところで、画像変換部１２７は、上述のよ
うに、変換対象点の位置を変換（変更）することによっ
て、半径方向の歪みを有する画像データを、その歪みを
除去した画像データに変換するが、変換対象点は、上述
したように、中心点Ｃ１を中心とする円と、中心点Ｃ１
を通る直線との交点である。従って、変換対象点は、撮
像部２０３（図２７）の受光面Ａ３（図３４、図３５）
を構成する画素の画素中心に一致するとは限らず、むし
ろ、一般には、一致しないことが多い。
【０４００】このように、変換対象点は、画素中心から
ずれているのが一般的であるから、画像変換部１２７に
おいて、変換対象点の位置を変換する前に、その変換対
象点における画素値を求める必要がある。
【０４０１】そこで、画像変換部１２７は、変換対象点
における画素値を、例えば、次のようにして求めるよう
になっている。
【０４０２】即ち、いま、図３７の変換対象点ｐ１１
が、図３８に示すように、受光面Ａ３上の隣接する２×
２の４画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素中心
ＣP1，ＣP2，ＣP3，ＣP4を頂点とする長方形（正方形）
の範囲内にあるとする。なお、図３８の実施の形態にお
いては、上下、または左右方向に隣接する画素中心どう
しの距離が１であるとしてある。
【０４０３】そして、変換対象点ｐ１１が、画素中心Ｃ
P1よりも距離αだけ右方向の、距離βだけ下方向の点で
ある場合、画像変換部１２７は、例えば、次式で求めら
れる画素値Ｓsを、変換対象点ｐ１１の画素値とする。
【０４０４】
【数１９】 ・・・（１９）
【０４０５】但し、式（１９）において、Ｓa，Ｓb，Ｓ
c，Ｓdは、画素Ｐ１，Ｐ２，Ｐ３，Ｐ４それぞれの画素
値を表す。また、式（１９）において、αおよびβは、
０以上１以下の範囲の値で、変換対象点ｐ１１の位置に
対応するものである。
【０４０６】次に、図２６のスケール加工部１１３は、
上述したように、全方位カメラ１０２kにおいて、任意
のズーム倍率で撮像された全方位画像データを、所定の
ズーム倍率で撮像されたものに変換する。このズーム倍
率の変換は、単純な画素の補間や間引きと、ローパスフ
ィルタによる必要なフィルタリング等によって実現する
ことも可能であるが、倍率を向上させる場合には、単純
な画素の補間ではなく、例えば、本件出願人が先に提案
しているクラス分類適応処理を利用することができる。
【０４０７】クラス分類適応処理は、クラス分類処理と
適応処理とからなり、クラス分類処理によって、データ
が、その性質に基づいてクラス分けされ、各クラスごと
に適応処理が施される。
【０４０８】ここで、適応処理について、低倍率の画像
（以下、適宜、低倍率画像という）を、高倍率の画像
（以下、適宜、高倍率画像という）に変換する場合を例
に説明する。
【０４０９】この場合、適応処理では、低倍率画像を構
成する画素（以下、適宜、低倍率画素という）と、所定
のタップ係数との線形結合により、その低倍率画像の空
間解像度を向上させた高倍率画像の画素の予測値を求め
ることで、その低倍率画像の倍率を高くした画像が得ら
れる。
【０４１０】具体的には、例えば、いま、ある高倍率画
像を教師データとするとともに、その高倍率画像の解像
度を劣化させた低倍率画像を生徒データとして、高倍率
画像を構成する画素（以下、適宜、高倍率画素という）
の画素値ｙの予測値Ｅ［ｙ］を、幾つかの低倍率画素
（低倍率画像を構成する画素）の画素値ｘ1，ｘ2，・・
・の集合と、所定のタップ係数ｗ1，ｗ2，・・・の線形
結合により規定される線形１次結合モデルにより求める
ことを考える。この場合、予測値Ｅ［ｙ］は、次式で表
すことができる。
【０４１１】 Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・ ・・・（２０）
【０４１２】式（２０）を一般化するために、タップ係
数ｗjの集合でなる行列Ｗ、生徒データｘijの集合でな
る行列Ｘ、および予測値Ｅ［ｙj］の集合でなる行列
Ｙ’を、
【数２０】 で定義すると、次のような観測方程式が成立する。
【０４１３】 ＸＷ＝Ｙ’ ・・・（２１） ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集
合（ｉ件目の教師データｙiの予測に用いる生徒データ
の集合）の中のｊ番目の生徒データを意味し、行列Ｗの
成分ｗjは、生徒データの集合の中のｊ番目の生徒デー
タとの積が演算されるタップ係数を表す。また、ｙ
iは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］
は、ｉ件目の教師データの予測値を表す。なお、式（２
０）の左辺におけるｙは、行列Ｙの成分ｙiのサフィッ
クスｉを省略したものであり、また、式（２０）の右辺
におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフ
ィックスｉを省略したものである。
【０４１４】式（２１）の観測方程式に最小自乗法を適
用して、高倍率画素の画素値ｙに近い予測値Ｅ［ｙ］を
求めることを考える。この場合、教師データとなる高倍
率画素の真の画素値ｙの集合でなる行列Ｙ、および高倍
率画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集
合でなる行列Ｅを、
【数２１】 で定義すると、式（２１）から、次のような残差方程式
が成立する。
【０４１５】 ＸＷ＝Ｙ＋Ｅ ・・・（２２）
【０４１６】この場合、高倍率画素の画素値ｙに近い予
測値Ｅ［ｙ］を求めるためのタップ係数ｗjは、自乗誤
差
【数２２】 を最小にすることで求めることができる。
【０４１７】従って、上述の自乗誤差をタップ係数ｗj
で微分したものが０になる場合、即ち、次式を満たすタ
ップ係数ｗjが、高倍率画素の画素値ｙに近い予測値Ｅ
［ｙ］を求めるため最適値ということになる。
【０４１８】
【数２３】 ・・・（２３）
【０４１９】そこで、まず、式（２２）を、タップ係数
ｗjで微分することにより、次式が成立する。
【０４２０】
【数２４】 ・・・（２４）
【０４２１】式（２３）および（２４）より、式（２
５）が得られる。
【０４２２】
【数２５】 ・・・（２５）
【０４２３】さらに、式（２２）の残差方程式における
生徒データｘij、タップ係数ｗj、教師データｙi、およ
び残差ｅiの関係を考慮すると、式（２５）から、次の
ような正規方程式を得ることができる。
【０４２４】
【数２６】 ・・・（２６）
【０４２５】なお、式（２６）に示した正規方程式は、
行列（共分散行列）Ａおよびベクトルｖを、
【数２７】 で定義するとともに、ベクトルＷを、数２０で示したよ
うに定義すると、式 ＡＷ＝ｖ ・・・（２７） で表すことができる。
【０４２６】式（２６）における各正規方程式は、生徒
データｘijおよび教師データｙiのセットを、ある程度
の数だけ用意することで、求めるべきタップ係数ｗjの
数Ｊと同じ数だけたてることができ、従って、式（２
７）を、ベクトルＷについて解くことで（但し、式（２
７）を解くには、式（２７）における行列Ａが正則であ
る必要がある）、最適なタップ係数ｗjを求めることが
できる。なお、式（２７）を解くにあたっては、例え
ば、掃き出し法（Gauss-Jordanの消去法）などを用いる
ことが可能である。
【０４２７】以上のように、生徒データと教師データを
用いて、最適なタップ係数ｗjを求める学習をしてお
き、さらに、そのタップ係数ｗjを用い、式（２０）に
より、教師データｙに近い予測値Ｅ［ｙ］を求めるのが
適応処理である。
【０４２８】なお、適応処理は、低倍率画像には含まれ
ていないが、高倍率画像に含まれる成分が再現される点
で、単なる補間とは異なる。即ち、適応処理では、式
（２０）だけを見る限りは、いわゆる補間フィルタを用
いての単なる補間と同一に見えるが、その補間フィルタ
のタップ係数に相当するタップ係数ｗが、教師データｙ
を用いての、いわば学習により求められるため、高倍率
画像に含まれる成分を再現することができる。このこと
から、適応処理は、いわば画像の創造（解像度創造）作
用がある処理ということができる。
【０４２９】次に、図３９は、上述のようなクラス分類
適応処理を行うクラス分類適応処理回路によって実現さ
れるスケール加工部１１３の構成例を示している。な
お、ここでは、スケール加工部１１３は、全方位画像デ
ータを、所定の固定倍率の画像データに変換するが、全
方位画像データの倍率が所定の固定倍率よりも低い場合
には、クラス分類適応処理によって、全方位画像データ
を、その倍率よりも高い固定倍率の画像データに変換
し、逆に、全方位画像データの倍率が所定の固定倍率よ
りも高い場合には、間引き等を行って、全方位画像デー
タを、その倍率よりも低い固定倍率の画像データに変換
するようになっており、図３９においては、全方位画像
データを、その倍率よりも高い固定倍率の画像データに
変換する部分を構成するクラス分類適応処理回路を示し
ている。
【０４３０】全方位カメラ１０２kが出力する画像デー
タ（全方位画像データ）である低倍率画像データは、バ
ッファ２３１に供給され、バッファ２３１は、そこに供
給される低倍率画像データを一時記憶する。
【０４３１】予測タップ抽出回路２３２は、後述する積
和演算回路２３６において求めようとする固定倍率の画
像データの画素（以下、適宜、固定倍率画素という）
を、順次、注目画素とし、さらに、その注目画素を予測
するのに用いる低倍率画像データの画素を、バッファ２
３１から抽出し、予測タップとする。
【０４３２】即ち、予測タップ抽出回路２３２は、例え
ば、注目画素としての固定倍率画素に対応する位置に対
して近い位置にある低倍率画素の幾つかを、予測タップ
として、バッファ２３１から読み出す。
【０４３３】そして、予測タップ抽出回路２３２は、注
目画素について、予測タップを得ると、その注目画素に
ついての予測タップを、積和演算回路２３６に供給す
る。
【０４３４】ここで、予測タップ抽出回路２３２には、
制御回路２３７から制御信号が供給されるようになって
おり、予測タップ抽出回路２３２は、制御回路２３７か
らの制御信号にしたがって、予測タップを構成する低倍
率画素、即ち、予測タップの構造を決定する。
【０４３５】即ち、制御回路２３７には、全方位カメラ
１０２kの撮像装置１１１が出力する撮像情報が供給さ
れるようになっており、制御回路２３７は、その撮像情
報のうちの、例えば、ズーム情報に基づいて、そのズー
ム情報が表す倍率に適した処理が行われるようにするた
めの制御信号を生成し、予測タップ抽出回路２３２、ク
ラスタップ抽出回路２３３、および係数記憶部２３５に
供給する。
【０４３６】具体的には、制御回路２３７は、例えば、
ズーム情報が表すズーム倍率が小さいほど、注目画素に
対応する位置からより近い位置にある低倍率画素を用い
て予測タップを構成することを指示する制御信号（ズー
ム倍率が大きいほど、注目画素に対応する位置からより
遠い位置にある低倍率画素を用いて予測タップを構成す
ることを指示する制御信号）を生成し、予測タップ抽出
回路２３２に供給する。
【０４３７】従って、予測タップ抽出回路２３２は、こ
のような制御信号にしたがい、低倍率画像のズーム倍率
によって異なる構造の予測タップを構成する。
【０４３８】一方、クラスタップ抽出回路２３３は、注
目画素を、幾つかのクラスのうちのいずれかに分類する
ためのクラス分類に用いる低倍率画素を、バッファ２３
１から抽出し、クラスタップとする。
【０４３９】ここで、クラスタップ抽出回路２３３も、
制御回路２３７から供給される制御信号にしたがい、ク
ラスタップを構成させる低倍率画素、即ち、クラスタッ
プの構造を決定する。
【０４４０】即ち、制御回路２３７は、例えば、クラス
タップ抽出回路２３３に対して、予測タップ抽出回路２
３２に対するのと同様の制御信号を供給するようになっ
ており、従って、クラスタップ抽出回路２３３は、ズー
ム情報が表すズーム倍率が小さいほど、注目画素に対応
する位置からより近い位置にある低倍率画素を用いてク
ラスタップを構成する（ズーム倍率が大きいほど、注目
画素に対応する位置からより遠い位置にある低倍率画素
を用いてクラスタップを構成する）。
【０４４１】なお、ここでは、説明を簡単にするため
に、例えば、予測タップ抽出回路２３２で得られる予測
タップと、クラスタップ抽出回路２３３で得られるクラ
スタップとは、同一のタップ構造を有するものとする。
但し、勿論、予測タップとクラスタップとは、独立
（別）のタップ構造を有するものとすることが可能であ
る。
【０４４２】クラスタップ抽出回路２３３において得ら
れる、注目画素についてのクラスタップは、クラス分類
回路２３４に供給される。クラス分類回路２３４は、ク
ラスタップ抽出回路２３３からのクラスタップに基づ
き、注目画素をクラス分類し、その結果得られるクラス
に対応するクラスコードを出力する。
【０４４３】ここで、クラス分類を行う方法としては、
例えば、ADRC(Adaptive Dynamic Range Coding)等を採
用することができる。
【０４４４】ADRCを用いる方法では、クラスタップを構
成する画素の画素値が、ADRC処理され、その結果得られ
るADRCコードにしたがって、注目画素のクラスが決定さ
れる。
【０４４５】なお、KビットADRCにおいては、例えば、
クラスタップを構成する画素値の最大値MAXと最小値MIN
が検出され、DR=MAX-MINを、集合の局所的なダイナミッ
クレンジとし、このダイナミックレンジDRに基づいて、
クラスタップを構成する画素がKビットに再量子化され
る。即ち、クラスタップを構成する各画素の画素値か
ら、最小値MINが減算され、その減算値がDR/2Kで除算
（量子化）される。そして、以上のようにして得られ
る、クラスタップを構成するKビットの各画素の画素値
を、所定の順番で並べたビット列が、ADRCコードとして
出力される。従って、クラスタップが、例えば、１ビッ
トADRC処理された場合には、そのクラスタップを構成す
る各画素の画素値は、最小値MINが減算された後に、最
大値MAXと最小値MINとの平均値で除算され、これによ
り、各画素の画素値が１ビットとされる（２値化され
る）。そして、その１ビットの画素値を所定の順番で並
べたビット列が、ADRCコードとして出力される。
【０４４６】なお、クラス分類回路２３４には、例え
ば、クラスタップを構成する画素のレベル分布（画素値
分布）のパターンを、そのままクラスコードとして出力
させることも可能であるが、この場合、クラスタップ
が、Ｎ個の画素で構成され、各画素に、Ｋビットが割り
当てられているとすると、クラス分類回路２３４が出力
するクラスコードの場合の数は、（２N）K通りとなり、
画素のビット数Ｋに指数的に比例した膨大な数となる。
【０４４７】従って、クラス分類回路２３４において
は、クラスタップの情報量を、上述のADRC処理や、ある
いはベクトル量子化等によって圧縮してから、クラス分
類を行うのが好ましい。
【０４４８】また、ここでは、低倍率画素だけを用いて
クラス分類を行うようにしが、クラス分類は、低倍率画
素とともに（または、低倍率画素ではなく）、撮像情報
に含まれるズーム情報や露出時間等を、クラスタップと
して行うことが可能である。
【０４４９】
【０４５０】クラス分類回路２３４が出力するクラスコ
ードは、係数記憶部２３５に、アドレスとして与えられ
る。
【０４５１】係数記憶部２３５は、学習処理が行われる
ことにより得られるタップ係数を記憶しており、クラス
分類回路２３４が出力するクラスコードに対応するアド
レスに記憶されているタップ係数を、積和演算回路２３
６に出力する。
【０４５２】なお、係数記憶部２３５には、後述するよ
うに、複数セットの教師データと生徒データを用いた学
習を行うことにより得られる複数セットのタップ係数が
記憶されている。係数記憶部２３５において、複数セッ
トのタップ係数のうち、どのセットのタップ係数を用い
るかは、制御回路２３７からの制御信号にしたがって決
定される。
【０４５３】即ち、係数記憶部２３５は、例えば、複数
バンクで構成されており、各バンクには、複数のズーム
倍率の範囲ごとに学習を行うことにより得られた複数セ
ットのタップ係数のうちの対応するセットが記憶されて
いる。制御回路２３７は、撮像情報におけるズーム情報
に基づいて、そのズーム情報が表すズーム倍率に対応す
るバンクを指示する制御信号を生成し、係数記憶部２３
５に供給する。係数記憶部２３５は、制御回路２３７か
らの制御信号にしたがってバンク切り換えを行うことに
より、使用するバンクを選択し、その選択したバンクに
記憶されているタップ係数のセットの中から、クラス分
類回路２３４より供給されるクラスコードに対応するも
のを、積和演算回路２３６に出力する。
【０４５４】積和演算回路２３６は、予測タップ抽出回
路２３２が出力する予測タップと、係数記憶部２３５が
出力するタップ係数とを取得し、その予測タップとタッ
プ係数とを用いて、式（２０）に示した線形予測演算
（積和演算）を行い、その演算結果を、注目画素となっ
ている固定倍率画素の画素値として出力する。
【０４５５】次に、図４０は、図３９の係数記憶部２３
５に記憶させるタップ係数の学習処理を行う学習装置の
一実施の形態の構成例を示している。
【０４５６】教師データメモリ２４２には、学習に用い
られる学習用データが供給される。ここで、学習用デー
タとしては、固定倍率の画像データ（以下、適宜、固定
倍率画像データという）が用いられる。
【０４５７】教師データメモリ２４２は、そこに供給さ
れる、学習用データとしての固定倍率画像データを、学
習の教師となる教師データとして記憶する。そして、生
徒データ生成回路２４３は、制御回路２５１から供給さ
れる制御信号にしたがい、教師データメモリ２４２に記
憶された教師データから、学習の生徒となる生徒データ
を生成する。
【０４５８】即ち、制御回路２５１には、複数のズーム
倍率の範囲が設定されており、制御回路２５１は、その
複数のズーム倍率の範囲のうちの、ある範囲を、注目範
囲として選択する。そして、制御回路２５１は、その注
目範囲のズーム倍率の代表値（例えば、注目範囲内のズ
ーム倍率の中心値）を決定し、そのズーム倍率の代表値
に基づいて、制御信号を生成して、生徒データ生成回路
２４３、予測タップ抽出回路２４５、およびクラスタッ
プ抽出回路２４６に供給する。
【０４５９】具体的には、制御回路２５１は、教師デー
タメモリ２４２に記憶された教師データとしての固定倍
率画像データを、代表値のズーム倍率の画像データとす
るための間引き率を計算し、その間引き率で、教師デー
タを間引くことを指示する制御信号を、生徒データ生成
回路２４３に供給する。
【０４６０】生徒データ生成回路２４３は、上述のよう
な制御信号にしたがい、教師データメモリ２４２に記憶
された教師データを間引き、これにより、代表値のズー
ム倍率の画像データを、生徒データとして生成する。こ
の生徒データは、生徒データ生成回路２４３から生徒デ
ータメモリ２４４に供給されて記憶される。
【０４６１】教師データメモリ２４２に記憶された教師
データについて、生徒データが求められ、生徒データメ
モリ２４４に記憶されると、予測タップ抽出回路２４５
は、教師データメモリ２４２に記憶された教師データ
を、順次、注目画素とし、さらに、その注目画素を予測
するのに用いる生徒データを、生徒データメモリ２４４
から抽出し、予測タップとする。
【０４６２】ここで、制御回路２５１は、代表値のズー
ム倍率に基づいて、図３９の制御回路２３７と同様の制
御信号を生成し、予測タップ抽出回路２４５に供給する
ようになっている。そして、予測タップ抽出回路２４５
は、制御回路２５１から供給される制御信号にしたが
い、図３９の予測タップ抽出回路２３２における場合と
同一の予測タップを構成する。
【０４６３】以上のようにして、予測タップ抽出回路２
４５で得られた予測タップは、正規方程式加算回路２４
８に供給される。
【０４６４】一方、クラスタップ抽出回路２４６は、注
目画素のクラス分類に用いる生徒データを、生徒データ
メモリ２４４から抽出し、クラスタップとして、クラス
分類回路２４７に供給する。
【０４６５】ここで、制御回路２５１は、代表値のズー
ム倍率に基づいて、図３９の制御回路２３７と同様の制
御信号を生成し、クラスタップ抽出回路２４６に供給す
るようになっている。そして、クラスタップ抽出回路２
４６は、制御回路２５１から供給される制御信号にした
がい、図３９のクラスタップ抽出回路２３３における場
合と同一のクラスタップを構成する。
【０４６６】クラス分類回路２４７は、クラスタップ抽
出回路２４６から、注目画素についてのクラスタップが
供給されると、そのクラスタップを用い、図３９のクラ
ス分類回路２３４と同一のクラス分類を行い、注目画素
のクラスを表すクラスコードを、正規方程式加算回路２
４８に供給する。
【０４６７】正規方程式加算回路２４８は、教師データ
メモリ２４２から、注目画素となっている教師データを
読み出し、予測タップ抽出回路２４５からの予測タップ
を構成する生徒データ、および注目画素としての教師デ
ータを対象とした足し込みを、クラス分類回路２４７か
ら供給されるクラスごとに行う。
【０４６８】即ち、正規方程式加算回路２４８は、クラ
ス分類回路２４７から供給されるクラスコードに対応す
るクラスごとに、予測タップ（生徒データ）を用い、式
（２７）の行列Ａにおける各コンポーネントとなってい
る、生徒データどうしの乗算（ｘinｘim）と、サメーシ
ョン（Σ）に相当する演算を行う。
【０４６９】さらに、正規方程式加算回路２４８は、や
はり、クラス分類回路２４７から供給されるクラスコー
ドに対応するクラスごとに、予測タップ（生徒データ）
および注目画素（教師データ）を用い、式（２７）のベ
クトルｖにおける各コンポーネントとなっている、生徒
データと教師データの乗算（ｘinｙi）と、サメーショ
ン（Σ）に相当する演算を行う。
【０４７０】正規方程式加算回路２４８は、以上の足し
込みを、教師データメモリ２４２に記憶された教師デー
タすべてを注目画素として行い、これにより、各クラス
について、式（２７）に示した正規方程式をたてる。
【０４７１】その後、タップ係数決定回路２４９は、正
規方程式加算回路２４８においてクラスごとに生成され
た正規方程式を解くことにより、クラスごとに、タップ
係数を求め、係数メモリ２５０の、各クラスに対応する
アドレスに供給する。これにより、係数メモリ２５０で
は、タップ係数決定回路２４９から供給されるクラスご
とのタップ係数が記憶される。
【０４７２】なお、学習用データとして用意する画像デ
ータによっては、正規方程式加算回路２４８において、
タップ係数を求めるのに必要な数の正規方程式が得られ
ないクラスが生じる場合があり得るが、タップ係数決定
回路２４９は、そのようなクラスについては、例えば、
デフォルトのタップ係数を出力する。
【０４７３】以上のようにして、注目範囲のズーム倍率
について、タップ係数のセットが求められると、制御回
路２５１は、注目範囲を、他のズーム倍率の範囲に変更
し、図４０の学習装置では、以下、同様の処理が繰り返
される。これにより、制御回路２５１に設定されている
複数のズーム倍率の範囲それぞれに対応するタップ係数
のセットが求められる。
【０４７４】次に、図４１は、図２６の座標演算部１２
５の構成例を示している。
【０４７５】座標演算部１２５は、検索部２６１および
撮像ポイント算出部２６２から構成されており、制御部
１１８（図２６）からの要求に応じて、所望の被写体を
撮像する位置（座標）（例えば、緯度と経度など）とし
ての撮像ポイントを計算する。
【０４７６】即ち、検索部２６１には、被写体情報が供
給されるようになっている。この被写体情報は、例え
ば、操作部１１５が、ユーザによって操作されることに
より入力され、制御部１１８を介して、検索部２６１に
供給される。ここで、被写体情報は、所望の被写体を特
定するための情報で、被写体の名前（例えば、「東京タ
ワー」や「国会議事堂」など）や、住所などを用いるこ
とができる。
【０４７７】検索部２６１は、被写体情報を受信する
と、地図データベース１２４に記憶された地図データを
参照し、その被写体情報によって特定される被写体の位
置（座標）（例えば、緯度と経度など）を検索する。そ
して、検索部２６１は、被写体の位置（以下、適宜、被
写体ポイントという）を、撮像ポイント算出部２６２に
供給する。
【０４７８】ここで、図２５で説明したように、ＳＨＡ
ＲＮ移動体システムにおいては、第１乃至第３の３つの
機能が実現される。この第１乃至第３の機能のうち、第
１の機能については、撮像ポイントを決定する必要がな
く、撮像ポイントを決定する必要があるのは、第２およ
び第３の機能を実現する場合だけである。
【０４７９】第２の機能を実現する場合、即ち、所望の
被写体を、所望の視点方向ｖから見た画像を得る場合に
は、次のようにして、撮像ポイントが求められる。
【０４８０】即ち、この場合、所望の被写体について、
所望の視点方向ｖを表す視点情報が、ユーザが操作部１
１５を操作することによって入力される。
【０４８１】この視点情報は、制御部１１８を介して、
撮像ポイント算出部２６２に供給される。
【０４８２】撮像ポイント算出部２６２は、第２の機能
を実現する場合、検索部２６１からの被写体ポイントの
位置にある被写体を、視点情報が表す視点方向ｖから見
た画像を撮像するのに適した位置としての撮像ポイント
を算出する。
【０４８３】即ち、撮像ポイント算出部２６２は、地図
データベース１２４に記憶された地図データを参照する
ことにより、例えば、図４２に示すように、被写体を撮
像するのに適した場所の範囲を、被写体ポイントから距
離Ｒp2以上離れており、かつ、距離Ｒp1より近い、いわ
ゆるドーナツ状の範囲（以下、適宜、適切範囲という）
に設定する。
【０４８４】さらに、撮像ポイント算出部２６２は、被
写体ポイントに対して、視点情報が表す視点方向ｖから
向かう線分と、移動体１０１kが移動することのできる
道路等との交点のうち、適切範囲内にあるものすべて
を、撮像ポイントの候補として検出する。
【０４８５】そして、撮像ポイント算出部２６２は、撮
像ポイントの候補から、例えば、任意の１つを選択し、
その選択した撮像ポイントを、制御部１１８に供給す
る。
【０４８６】なお、ここでは、説明を簡単にするため、
第２の機能を実現するにあたって、視点方向ｖ上の１つ
の位置だけが撮像ポイントとされるが、視点方向ｖ上の
複数の位置を撮像ポイントとすることも可能である。ま
た、複数の撮像ポイントの候補から、１つの撮像ポイン
トを選択する方法としては、例えば、被写体ポイントか
ら最も近いまたは遠いものを選択する方法等がある。
【０４８７】第３の機能を実現する場合、即ち、所望の
被写体を、視点を変えながら見渡した視点可変画像を得
る場合には、次のようにして、撮像ポイントが求められ
る。
【０４８８】即ち、撮像ポイント算出部２６２は、第３
の機能を実現する場合、地図データベース１２４に記憶
された地図データを参照することにより、例えば、図４
３（Ａ）に示すように、検索部２６１から供給される被
写体ポイントを中心とし、被写体を撮像するのに適した
距離Ｒ（例えば、図４２における距離Ｒp1とＲp2の平均
値など）を半径とする円を求め、その円（円周）と、移
動体１０１kが移動することのできる道路等との交点を
求める。そして、撮像ポイント算出部２６２は、その交
点のすべてを撮像ポイントとして求め、制御部１１８に
供給する。
【０４８９】ここで、被写体を、視点を変えながら見渡
した視点可変画像を得るには、理想的には、その被写体
を、その３６０度の各方向から、いわば万遍なく撮像し
た画像が必要となる。
【０４９０】しかしながら、被写体を、その３６０度の
各方向から見ることのできるすべての位置が、被写体ポ
イントを中心とした、距離Ｒを半径とする円と、移動体
１０１kが移動することのできる道路等との交点とし
て、必ずしも得られるとは限らない。
【０４９１】即ち、被写体ポイントを中心とした、距離
Ｒを半径とする円と、移動体１０１ kが移動することの
できる道路等との交点を、撮像ポイントとするのでは、
被写体ポイントから同一距離にある撮像ポイントを得る
ことはできるが、道路の存在状況によっては、被写体
を、特定の方向から見ることのできる撮像ポイントが得
られない場合がある。
【０４９２】そこで、撮像ポイント算出部２６２では、
第３の機能を実現する場合、例えば、図４３（Ｂ）に示
すようにして、撮像ポイントを求めるようにすることが
できる。
【０４９３】即ち、この場合、撮像ポイント算出部２６
２は、被写体ポイントを中心とする３６０度の方向を、
幾つかの方向に等分する。ここで、図４３（Ｂ）の実施
の形態では、被写体ポイントの中心とする３６０度の方
向が、４５度ずつ異なる８つの方向に等分されている。
【０４９４】そして、撮像ポイント算出部２６２は、そ
の８つの方向それぞれが視点情報であるとして、その８
つの方向それぞれについて、図４２で説明した場合と同
様に、撮像ポイントを求める。この場合、被写体を、４
５度ずつ異なる方向から見ることのできる８つの撮像ポ
イントが得られることになる。即ち、この場合、被写体
ポイントから各撮像ポイントまでの距離は、一般に同一
にならないが、被写体を、その３６０度の各方向から万
遍なく見ることのできる撮像ポイントを得ることができ
る。
【０４９５】次に、図４４は、図２６の画像データベー
ス１１４に、全方位画像データが記憶されるときのフォ
ーマットを示している。
【０４９６】画像データベース１１４においては、例え
ば、１枚の全方位画像データが、図４４に示すように、
ヘッダ部とデータ部を設けて管理される。
【０４９７】ヘッダ部には、画像ID(Identification)、
属性情報、撮像情報等が配置され、データ部には、画像
データ（全方位画像データ）が配置される。
【０４９８】なお、画像IDは、例えば、そのデータ部に
配置される全方位画像データについて固有のIDであり、
制御部１１８が、画像データベース１１４に登録する。
画像IDとしては、例えば、対応する全方位画像データを
撮像した移動体１０１kの移動体ID、その撮像を行った
年月日、その年月日における何枚目の撮像であるか、な
どの情報を組み合わせたものを用いることが可能であ
る。ここで、移動体１０１kの移動体IDは、例えば、制
御部１１８が記憶しているものとする。
【０４９９】属性情報は、データ部に配置された全方位
画像データの各種の属性の情報を表す。属性情報として
は、例えば、全方位画像データに含まれる被写体を特定
する被写体情報や、被写体ポイント、全方位画像データ
を撮像した撮像ポイント、その撮像ポイントから見た被
写体の方向（視点方向）を表す視点情報等がある。な
お、属性情報は、制御部１１８によって、画像データベ
ース１１４に登録される。
【０５００】撮像情報は、上述したように、撮像装置１
１１が出力する、その撮像装置１１１の設定に関する情
報であり、スケール加工部１１３によって、画像データ
ベース１１４に登録される。
【０５０１】なお、移動体１０１kは、他の移動体１０
１k'の全方位カメラ１０２kで撮像された画像データ
や、他の移動体１０１k'が、さらに他の移動体１０１
k''から受信して、その画像データベース１１４（移動
体１０１k'の画像データベース１１４）に記憶した画像
データを受信することができるようになっており、移動
体１０１kの画像データベース１１４には、自身の全方
位カメラ１０２kで撮像された画像データの他、上述し
たようして、他の移動体１０１k'から受信した画像デー
タも記憶されるようになっている。
【０５０２】次に、図４５は、図２６の表示画像加工部
１１９の構成例を示している。
【０５０３】画像メモリ２７１には、制御部１１８から
画像データが供給されるようになっており、画像メモリ
２７１は、その画像データを記憶する。
【０５０４】なお、画像メモリ２７１には、画像データ
とともに、その画像データについての、図４４に示した
ヘッダ部に配置された情報（以下、適宜、ヘッダ情報と
いう）も供給されるようになっており、画像メモリ２７
１は、画像データを、そのヘッダ情報とともに記憶す
る。
【０５０５】また、画像メモリ２７１は、複数枚の全方
位画像データ（ヘッダ情報も含む）を記憶することので
きる記憶容量を有している。
【０５０６】スケール加工部２７２は、例えば、図２６
のスケール加工部１１３と同様に構成されており、制御
部１１８からの制御にしたがい、画像メモリ２７１に記
憶された画像データを、拡大または縮小する。
【０５０７】即ち、例えば、ユーザが操作部１１５を操
作することによって、画像の拡大または縮小を指示した
場合には、制御部１１８は、その指示にしたがって、ス
ケール加工部２７２を制御することにより、画像メモリ
２７１に記憶された画像データを拡大または縮小する。
【０５０８】また、スケール加工部２７２は、画像メモ
リ２７１に複数の画像データが記憶された場合に、必要
に応じて、その複数の画像データを、その画像データに
表示されている被写体の大きさを一定にするように拡大
または縮小する。
【０５０９】即ち、第３の機能では、所望の被写体を、
視点を変えながら見渡した視点可変画像を生成するた
め、画像メモリ２７１には、図４３で説明したような、
同一の被写体を、複数の方向から撮像した複数の画像デ
ータが、画像メモリ２７１に記憶される。
【０５１０】この同一の被写体を、複数の方向から撮像
した複数の画像データ（以下、適宜、異方向画像データ
という）が、図４３（Ａ）に示したように、被写体ポイ
ントから同一の距離だけ離れた撮像ポイントで撮像され
たものである場合には、各撮像ポイントにおける撮像時
のズーム倍率が異なっていても、スケール加工部１１３
において、同一のズーム倍率（固定倍率）の画像データ
に変換されるから、各異方向画像データに写っている被
写体の大きさは、同一になる。
【０５１１】しかしながら、複数の異方向画像データ
が、図４３（Ｂ）に示したように、被写体ポイントから
の距離が異なる複数の撮像ポイントで撮像されたもので
ある場合には、スケール加工部１１３において、その複
数の異方向画像データのズーム倍率を同一に変換して
も、各異方向画像データに写っている被写体の大きさは
同一にならない。即ち、各異方向画像データに写ってい
る被写体の大きさは、その異方向画像データを撮像した
撮像ポイントが、被写体ポイントから、どれだけ離れて
いるかによって異なるものとなる。
【０５１２】そこで、スケール加工部２７２は、画像メ
モリ２７１に、複数の異方向画像データが記憶された場
合には、その複数の異方向画像データに写っている同一
の被写体の大きさ（スケール）をあわせるために、画像
メモリ２７１に記憶された異方向画像データを拡大また
は縮小する。
【０５１３】なお、この場合、各異方向画像データの拡
大率または縮小率は、そのヘッダ情報に含まれる撮像ポ
イントと被写体ポイントとの間の距離に基づき、画像メ
モリ２７１に記憶された複数の異方向画像データに写っ
ている同一の被写体の大きさ（スケール）を同一にする
ように決定される。
【０５１４】スケール加工部２７２は、以上のようにし
て、画像メモリ２７１に記憶された画像データを拡大ま
たは縮小すると、その拡大または縮小後の画像データ
を、例えば、画像メモリ２７１の、元の画像データに上
書きする形で書き込む。
【０５１５】対応画素演算部２７３は、制御部１１８か
らの制御にしたがい、第３の機能を実現する場合におい
て、画像メモリ２７１に記憶された複数枚の異方向画像
データにおける、対応する画素どうしを検出する。
【０５１６】即ち、対応画素演算部２７３は、画像メモ
リ２７１に記憶された複数の異方向画像データそれぞれ
のヘッダ情報の中の視点情報を参照することにより、視
点情報が表す視点方向が、ある方向を基準方向として、
時計回りまたは反時計回り方向になる順番（以下、適
宜、視点方向順という）を認識する。さらに、対応画素
演算部２７３は、視点方向順で、ｉ＋１番目の異方向画
像データに写っている被写体部分の各画素が、ｉ番目の
異方向画像データに写っている被写体部分のどの画素に
対応するかを検出する。
【０５１７】なお、この対応する画素の検出は、例え
ば、いわゆるブロックマッチングなどを用いて行うこと
が可能である。
【０５１８】対応画素演算部２７３は、画像メモリ２７
１に記憶された複数の異方向画像データすべてについ
て、上述したような画素の対応関係を検出すると、その
画素の対応関係を、画像生成部２７４に供給する。
【０５１９】画像生成部２７４は、第１の機能または第
２の機能を実現する場合には、画像メモリ２７１に記憶
された画像データを読み出し、表示メモリ２７６に供給
する。
【０５２０】また、画像生成部２７４は、第３の機能を
実現する場合には、画像メモリ２７１に記憶された複数
の異方向画像データを用いて、視点を時計回りまたは反
時計回り方向に変えながら、被写体を見渡した視点可変
画像データを生成する。
【０５２１】即ち、画像生成部２７４は、視点方向順の
異方向画像データを、対応画素演算部２７３から供給さ
れる画素の対応関係に基づいて、対応する画素どうしを
対応させるように空間方向の位置あわせをしながら、動
画のフレームとして並べることにより、視点を時計回り
または反時計回り方向に変えながら被写体を撮像したな
らば得られるであろう動画データとしての視点可変画像
データを生成する。
【０５２２】なお、画像メモリ２７１に記憶された複数
の異方向画像データを、視点方向順に、順次、第１フレ
ーム、第２フレーム、・・・として配置して、動画デー
タとしての視点可変画像データを生成した場合には、異
方向画像データの枚数や、撮像ポイントの粗密によっ
て、視点可変画像データが、滑らかな動画にならないこ
とがある。
【０５２３】そこで、画像生成部２７４は、画像メモリ
２７１に記憶された複数の異方向画像データを、その視
点方向に対応した順番のフレームに配置するようになっ
ている。
【０５２４】即ち、例えば、フレームレートを３０フレ
ーム／秒として、３秒間で、被写体の周囲を１周する
（３６０度回転する）ような視点可変画像データを生成
するとした場合、視点可変画像データは、９０フレーム
（＝３０フレーム／秒×３秒）で構成する必要があり、
さらに、その視点可変画像データの隣接フレーム間にお
ける視点方向の変化は、４度（＝３６０度／９０フレー
ム）とする必要がある。
【０５２５】従って、この場合、画像生成部２７４は、
視点方向が４×（ｉ−１）度に最も近い異方向画像デー
タを、第ｉフレームに配置する。
【０５２６】但し、この場合、異方向画像データが配置
されないフレームが生ずることがある。そこで、画像生
成部２７４は、異方向画像データが配置されないフレー
ム（以下、適宜、未配置フレームという）については、
補間フレーム生成部２７５を制御することにより、異方
向画像データが配置されるフレーム（以下、適宜、既配
置フレームという）を用いて補間を行わせ、未配置フレ
ームに配置する画像データを生成させる。即ち、補間フ
レーム生成部２７５は、例えば、未配置フレームから最
も近い位置にある、時間的に先行する既配置フレーム
と、時間的に後行する既配置フレームとを用いて補間を
行い、未配置フレームの画像データを生成する。なお、
この未配置フレームの補間は、その未配置フレームか
ら、その補間に用いられる、時間的に先行または後行す
る既配置フレームそれぞれまでの時間的距離を考慮して
行われる。
【０５２７】ここで、補間フレーム生成部２７５では、
上述したように、既配置フレームの画像データを用い
て、単なる補間を行うことにより、未配置フレームの画
像データを生成する他、例えば、既配置フレームの画像
データを用いて、クラス分類適応処理を行うことによ
り、未配置フレームの画像データを生成するようにする
ことが可能である。
【０５２８】画像生成部２７４は、上述のようにして必
要な補間を行い、動画データとしての視点可変画像デー
タを最終的に完成すると、その視点可変画像データを、
表示メモリ２７６に供給して記憶させる。
【０５２９】表示メモリ２７６に記憶された画像データ
は、表示部１２２（図２６）に供給されて表示される。
【０５３０】次に、図２６の移動体１０１kが行う処理
について説明する。
【０５３１】なお、移動体１０１kが行う処理は、その
移動体１０１kが、いわば主の移動体（以下、主移動体
という）となり、他の移動体１０１k'が、いわば従の移
動体（以下、従移動体という）となって、その従移動体
としての移動体１０１k'に対して各種の要求を行う処理
と、他の移動体１０１k'が主移動体となった場合に、そ
の主移動体の要求に応じて行う処理とに、大きく分ける
ことができる。
【０５３２】そこで、以下では、移動体１０１kを主移
動体とするとともに、移動体１０１k 'を従移動体とし
て、主移動体としての移動体１０１kが行う処理（主移
動体の処理）と、従移動体としての移動体１０１k'が行
う処理（従移動体の処理）について説明する。
【０５３３】まず、図４６のフローチャートを参照し
て、主移動体の処理について説明する。
【０５３４】まず最初に、ステップＳ２０１において、
制御部１１８は、ユーザＵkが操作部１１５を操作する
ことにより、何らかの入力を行ったかどうかを判定す
る。ステップＳ２０１において、何らの入力も行われて
いないと判定された場合、ステップＳ２０１に戻る。
【０５３５】また、ステップＳ２０１において、ユーザ
Ｕkによって、何らかの入力が行われたと判定された場
合、ステップＳ２０２に進み、制御部１１８は、そのユ
ーザＵkからの入力が、何を要求するものであるかを判
定する。
【０５３６】ステップＳ２０２において、ユーザＵkか
らの入力が、全方位画像データを要求するものであると
判定された場合、ステップＳ２０３に進み、後述する全
方位画像取得処理が行われ、ステップＳ２０１に戻る。
【０５３７】また、ステップＳ２０２において、ユーザ
Ｕkからの入力が、所望の被写体を、所望の視点方向か
ら撮像した画像データ（以下、適宜、視点指定画像デー
タという）を要求するものであると判定された場合、ス
テップＳ２０４に進み、後述する視点指定画像取得処理
が行われ、ステップＳ２０１に戻る。
【０５３８】さらに、ステップＳ２０２において、ユー
ザＵkからの入力が、視点可変画像データを要求するも
のであると判定された場合、ステップＳ２０５に進み、
後述する視点可変画像取得処理が行われ、ステップＳ２
０１に戻る。
【０５３９】なお、上述の第１乃至第３の機能は、ステ
ップＳ２０３における全方位画像取得処理、ステップＳ
２０４における視点指定画像取得処理、ステップＳ２０
５における視点可変画像取得処理に、それぞれ対応す
る。
【０５４０】次に、図４７のフローチャートを参照し
て、図４６のステップＳ２０３における全方位画像取得
処理について説明する。
【０５４１】全方位画像取得処理では、まず最初に、ス
テップＳ２１１において、制御部１１８は、ユーザＵk
が操作部１１５を操作することにより、他の移動体（従
移動体）を特定する移動体IDの入力があったかどうかを
判定する。
【０５４２】ステップＳ２１１において、ユーザＵkに
よる移動体IDの入力がなかったと判定された場合、ステ
ップＳ２１２に進み、制御部１１８は、全方位カメラ１
０２ kの撮像装置１１１に対して、撮像の要求を行う。
撮像装置１１１は、制御部１１８からの要求に応じて、
全方位画像データを撮像し、Ａ／Ｄ変換部１１２を介し
て、スケール加工部１１３に供給する。
【０５４３】スケール加工部１１３は、全方位カメラ１
０２kから、全方位画像データが供給されると、ステッ
プＳ２１３において、その全方位画像データを、固定倍
率の全方位画像データに変換し（スケール加工し）、ス
テップＳ２１４に進み、画像データベース１１４に供給
して登録する。
【０５４４】その後、ステップＳ２１５に進み、制御部
１１８は、直前のステップＳ２１４で画像データベース
１１４に登録された全方位画像データを読み出し、画像
変換部１２７に供給して、その全方位画像データの歪み
を除去する画像変換を行わせる。
【０５４５】そして、ステップＳ２１６に進み、制御部
１１８は、画像変換後（歪み除去後）の全方位画像デー
タを、表示画像加工部１１９に供給し、表示部１２２に
表示させる画像データ（以下、適宜、表示データとい
う）を生成させる。
【０５４６】即ち、この場合、表示画像加工部１１９
（図４５）では、画像メモリ２７１において、制御部１
１８からの全方位画像データが記憶される。この画像メ
モリ２７１に記憶された全方位画像データは、必要に応
じて、スケール加工部２７２において、そのスケールが
調整され、画像生成部２７４を介して、表示メモリ２７
６に供給される。
【０５４７】表示メモリ２７６は、画像生成部２７４を
介して供給される全方位画像データを、表示データとし
て記憶し、表示部１２２に供給する。これにより、ステ
ップＳ２１６では、表示部１２２において、全方位画像
データが表示され、全方位画像取得処理を終了する。
【０５４８】従って、この場合、表示部１２２では、主
移動体が、現在地で撮像した全方位画像データ（静止
画）が表示される。
【０５４９】一方、ステップＳ２１１において、ユーザ
Ｕkによる移動体IDの入力があったと判定された場合、
ステップＳ２１７に進み、制御部１１８は、送信部１１
６を制御することにより、画像データを要求するリクエ
スト信号を、それに、ユーザＵkが入力した移動体IDを
含めて送信させる。
【０５５０】この場合、後述するように、リクエスト信
号に含まれる移動体IDによって特定される移動体（従移
動体）は、現在地における全方位画像データを撮像し
て、主移動体である移動体１０１kに送信してくるの
で、ステップＳ２１８において、受信部１１７が、その
全方位画像データが送信されてくるのを待って受信す
る。なお、従移動体は、全方位画像データを、図４４に
示した画像データベース１１４の記憶フォーマットと同
様のフォーマットで送信してくるようになっている。
【０５５１】その後、ステップＳ２１４に進み、受信部
１１７で受信された全方位画像データは、画像データベ
ース１１４に供給されて登録される。そして、以後、ス
テップＳ２１５，Ｓ２１６において、上述した場合と同
様の処理が行われ、全方位画像取得処理を終了する。
【０５５２】従って、この場合、表示部１２２では、ユ
ーザＵkが入力した移動体IDによって特定される従移動
体が、現在地で撮像した全方位画像データ（静止画）が
表示される。
【０５５３】次に、図４８のフローチャートを参照し
て、図４６のステップＳ２０４における視点指定画像取
得処理について説明する。
【０５５４】まず最初に、ステップＳ２１１において、
制御部１１８は、表示部１２２を制御することにより、
被写体情報と視点情報の入力を要求するメッセージを表
示させ、ステップＳ２２２に進み、制御部１１８は、ユ
ーザＵkが操作部１１５を操作することにより、被写体
情報と視点情報を入力したかどうかを判定する。
【０５５５】ステップＳ２２２において、被写体情報お
よび視点情報の入力が行われていないと判定された場
合、ステップＳ２１１に戻り、再度、ユーザに対して、
被写体情報および視点情報の入力が要求される。
【０５５６】また、ステップＳ２２２において、被写体
情報および視点情報の入力があったと判定された場合、
ステップＳ２２３に進み、制御部１１８は、その被写体
情報および視点情報を、座標演算部１２５に供給し、撮
像ポイントを計算させる。即ち、この場合、座標演算部
１２５は、図４２で説明したようにして、１つの撮像ポ
イントを求め、制御部１１８に供給する。
【０５５７】制御部１１８は、座標演算部１２５からの
撮像ポイントを、記憶部１２１に供給して記憶させ、ス
テップＳ２２４に進み、画像データベース１１４を参照
することにより、ステップＳ２２３で得られた撮像ポイ
ントから、ユーザＵkが入力した被写体情報によって特
定される被写体が写った全方位画像データが、既に登録
されているかどうかを判定する。なお、この判定は、画
像データベース１１４におけるヘッダ部（図４４）の情
報（ヘッダ情報）を参照することによって行うことがで
きる。
【０５５８】ステップＳ２２４において、ステップＳ２
２３で得られた撮像ポイントから、ユーザＵkが入力し
た被写体情報によって特定される被写体が写った全方位
画像データが、画像データベース１１４に、既に登録さ
れていると判定された場合、即ち、ユーザＵkが入力し
た視点情報が表す視点方向から、同じくユーザＵkが入
力した被写体情報によって特定される被写体を見た場合
の全方位画像データを、過去に、自身で撮像したか、ま
たは、他の移動体から受信したことがあり、その全方位
画像データが、画像データベース１１４に既に登録され
ている場合、ステップＳ２２５に進み、制御部１１８
は、その全方位画像データを、画像データベース１１４
から読み出し、ステップＳ２３２に進む。
【０５５９】また、ステップＳ２２４において、ステッ
プＳ２２３で得られた撮像ポイントから、ユーザＵkが
入力した被写体情報によって特定される被写体が写った
全方位画像データが、画像データベース１１４に登録さ
れていないと判定された場合、ステップＳ２２６に進
み、比較部１２０は、現在地が、記憶部１２１に記憶さ
れた撮像ポイントと一致するかどうかを判定する。
【０５６０】即ち、ステップＳ２２６では、比較部１２
０において、位置検出部１２３で検出されている現在地
が、ステップＳ２２３で記憶部１２１に記憶された撮像
ポイントと一致するかどうかが判定される。
【０５６１】ステップＳ２２６において、現在地が、記
憶部１２１に記憶された撮像ポイントと一致すると判定
された場合、即ち、主移動体自身が、撮像ポイントに位
置している場合、ステップＳ２２７に進み、制御部１１
８は、全方位カメラ１０２kの撮像装置１１１に対し
て、撮像の要求を行う。撮像装置１１１は、制御部１１
８からの要求に応じて、全方位画像データを撮像し、Ａ
／Ｄ変換部１１２を介して、スケール加工部１１３に供
給する。
【０５６２】スケール加工部１１３は、全方位画像デー
タが供給されると、ステップＳ２２８において、その全
方位画像データを、固定倍率の全方位画像データに変換
し（スケール加工し）、ステップＳ２２９に進み、画像
データベース１１４に供給して登録する。そして、制御
部１１８は、ステップＳ２２９で画像データベース１１
４に登録された全方位画像データを読み出し、ステップ
Ｓ２３２に進む。
【０５６３】一方、ステップＳ２２６において、現在地
が、記憶部１２１に記憶された撮像ポイントと一致しな
いと判定された場合、ステップＳ２３０に進み、制御部
１１８は、送信部１１６を制御することにより、画像デ
ータを要求するリクエスト信号を、それに、ステップＳ
２３３で求められた撮像ポイントを含めて送信させる。
【０５６４】この場合、後述するように、リクエスト信
号に含まれる撮像ポイントを現在地とする移動体（従移
動体）は、現在地（従って、撮像ポイント）における全
方位画像データを撮像等して、主移動体である移動体１
０１kに送信してくるので、ステップＳ２３１におい
て、受信部１１７が、その全方位画像データが送信され
てくるのを待って受信する。
【０５６５】なお、この場合、複数の従移動体それぞれ
において、後述する図５０の従移動体の処理が行われる
ことにより、リクエスト信号に含まれる撮像ポイントか
ら撮像した同一の全方位画像データが送信されてくるこ
とが考えられるが、このように、同一の全方位画像デー
タが、複数の従移動体から送信されてきた場合は、受信
部１１７は、例えば、その複数の同一の全方位画像デー
タのうちの１つを選択するようになっている。後述する
図４９のステップＳ２５０においても同様である。
【０５６６】その後、ステップＳ２２９に進み、受信部
１１７で受信された全方位画像データは、画像データベ
ース１１４に供給されて登録される。そして、制御部１
１８は、ステップＳ２２９で画像データベース１１４に
登録した全方位画像データを読み出し、ステップＳ２３
２に進む。
【０５６７】ステップＳ２３２では、制御部１１８は、
画像データベース１１４から読み出した全方位画像デー
タ、即ち、ユーザＵkが入力した視点情報が表す視点方
向から、同じくユーザＵkが入力した被写体情報によっ
て特定される被写体を見た場合の全方位画像データであ
る視点指定画像データを、そのヘッダ情報とともに、切
り出し部１２６に供給し、その視点指定画像データか
ら、ユーザＵkが入力した被写体情報によって特定され
る被写体が写っている部分を切り出させる。
【０５６８】即ち、視点指定画像データである全方位画
像データにおいて、被写体が写っている部分は、そのヘ
ッダ情報の中の被写体ポイントと撮像ポイントとから認
識することができる。そこで、切り出し部１２６は、視
点指定画像データである全方位画像データから、被写体
が写っている部分を含む、図３２に示したような、中心
点Ｃ１を中心とする円の円弧ＦC1およびＦC2、並びに中
心点Ｃ１を通る直線Ｌ C1およびＬC2で囲まれる領域を切
り出し、その切り出した領域の画像データ（以下、適
宜、切り出し画像データという）を、制御部１１８に供
給する。
【０５６９】制御部１１８は、切り出し画像データを受
信すると、ステップＳ２３３に進み、その切り出し画像
データを、画像変換部１２７に供給して、その歪みを除
去する画像変換を行わせる。
【０５７０】そして、ステップＳ２３４に進み、制御部
１１８は、画像変換後（歪み除去後）の切り出し画像デ
ータを、表示画像加工部１１９に供給し、表示データを
生成させる。
【０５７１】即ち、この場合、表示画像加工部１１９
（図４５）では、画像メモリ２７１において、制御部１
１８からの切り出し画像データが記憶される。この画像
メモリ２７１に記憶された切り出し画像データは、必要
に応じて、スケール加工部２７２において、そのスケー
ルが調整され、画像生成部２７４を介して、表示メモリ
２７６に供給される。
【０５７２】表示メモリ２７６は、画像生成部２７４を
介して供給される切り出し画像データを、表示データと
して記憶し、表示部１２２に供給する。これにより、ス
テップＳ２３４では、表示部１２２において、切り出し
画像データが表示され、視点指定画像取得処理を終了す
る。
【０５７３】従って、この場合、表示部１２２では、ユ
ーザが所望する被写体を、ユーザが所望する視点方向か
ら撮像した画像（静止画）が表示される。
【０５７４】次に、図４９のフローチャートを参照し
て、図４６のステップＳ２０５における視点可変画像取
得処理について説明する。
【０５７５】まず最初に、ステップＳ２４１において、
制御部１１８は、表示部１２２を制御することにより、
被写体情報の入力を要求するメッセージを表示させ、ス
テップＳ２４２に進み、制御部１１８は、ユーザＵkが
操作部１１５を操作することにより、被写体情報を入力
したかどうかを判定する。
【０５７６】ステップＳ２４２において、被写体情報の
入力が行われていないと判定された場合、ステップＳ２
４１に戻り、再度、ユーザに対して、被写体情報の入力
が要求される。
【０５７７】また、ステップＳ２４２において、被写体
情報の入力があったと判定された場合、ステップＳ２４
３に進み、制御部１１８は、その被写体情報を、座標演
算部１２５に供給し、撮像ポイントを計算させる。即
ち、この場合、座標演算部１２５は、図４３で説明した
ようにして、被写体情報によって特定される被写体を撮
像する複数の撮像ポイントを求め、制御部１１８に供給
する。
【０５７８】制御部１１８は、座標演算部１２５からの
複数の撮像ポイントを、記憶部１２１に供給して記憶さ
せ、ステップＳ２４４に進み、画像データベース１１４
を参照することにより、記憶部１２１に記憶された複数
の撮像ポイントの中に、被写体情報によって特定される
被写体についての撮影ポイントとして、画像データベー
ス１１４に、既に登録されているものがあるかどうかを
判定する。
【０５７９】ステップＳ２４４において、記憶部１２１
に記憶された撮像ポイントの中に、被写体情報によって
特定される被写体についての撮影ポイントとして、画像
データベース１１４に既に登録されているものがあると
判定された場合、即ち、記憶部１２１に記憶された撮像
ポイントから、被写体情報によって特定される被写体を
撮像した全方位画像データが、画像データベース１１４
に既に登録されている場合、ステップＳ２４５に進み、
制御部１１８は、その全方位画像データを、画像データ
ベース１１４から読み出し、ステップＳ２４６に進む。
【０５８０】ステップＳ２４６では、制御部１１８は、
画像データベース１１４から読み出した全方位画像デー
タを、そのヘッダ情報とともに、切り出し部１２６に供
給し、その全方位画像データから、ユーザＵkが入力し
た被写体情報によって特定される被写体が写っている部
分を切り出させる。
【０５８１】即ち、上述したように、全方位画像データ
において、被写体が写っている部分は、そのヘッダ情報
の中の被写体ポイントと撮像ポイントとから認識するこ
とができるので、切り出し部１２６は、全方位画像デー
タから、被写体が写っている部分を含む画像データを切
り出し、その結果得られる切り出し画像データ（ヘッダ
情報を含む）を、制御部１１８に供給する。
【０５８２】制御部１１８は、このようにして、切り出
し部１２６から供給される切り出し画像データを、その
内蔵するメモリ（図示せず）に一時記憶し、ステップＳ
２４７に進む。
【０５８３】ステップＳ２４７では、制御部１１８は、
記憶部１２１に記憶された複数の撮像ポイントのうち、
ステップＳ２４５で画像データベース１１４から読み出
した全方位画像データの撮像ポイントと一致するものを
消去し、ステップＳ２４８に進む。
【０５８４】即ち、これにより、記憶部１２１は、ユー
ザＵkが入力した被写体情報によって特定される被写体
についての全方位画像データが得られていない視点方向
にある撮像ポイントだけが記憶された状態となる。
【０５８５】なお、記憶部１２１に記憶された複数の撮
像ポイントの中に、被写体情報によって特定される被写
体についての撮影ポイントとして、画像データベース１
１４に、既に登録されているものが２以上ある場合に
は、上述のステップＳ２４５乃至Ｓ２４７の処理は、そ
の既に登録されている２以上の撮像ポイントそれぞれに
ついて行われる。
【０５８６】一方、ステップＳ２４４において、記憶部
１２１に記憶された撮像ポイントの中に、被写体情報に
よって特定される被写体についての撮影ポイントとし
て、画像データベース１１４に登録されているものがな
いと判定された場合、即ち、記憶部１２１に記憶された
撮像ポイントから、被写体情報によって特定される被写
体を撮像した全方位画像データが、画像データベース１
１４に登録されていない場合、ステップＳ２４８に進
み、制御部１１８は、送信部１１６を制御することによ
り、画像データを要求するリクエスト信号を、それに、
記憶部１２１に記憶されている撮像ポイントを含めて送
信させ、ステップＳ２４９に進む。
【０５８７】ステップＳ２４９では、受信部１１７は、
ステップＳ２４８で送信したリクエスト信号に対応し
て、移動体（従移動体）から、そのリクエスト信号に含
まれるいずれかの撮像ポイントで撮像された全方位画像
データが送信されてきたかどうかを判定し、送信されて
きたと判定した場合、ステップＳ２５０に進み、受信部
１１７は、その全方位画像データを受信する。そして、
受信部１１７は、ステップＳ２５４に進み、ステップＳ
２５０で受信した全方位画像データを、画像データベー
ス１１４に供給して登録し、ステップＳ２５５に進む。
【０５８８】一方、ステップＳ２４９において、移動体
（従移動体）から、全方位画像データが送信されてきて
いないと判定された場合、ステップＳ２５１に進み、比
較部１２０は、図４８のステップＳ２２６における場合
と同様にして、現在地が、記憶部１２１に記憶されたい
ずれかの撮像ポイントと一致するかどうかを判定する。
【０５８９】ステップＳ２５１において、現在地が、記
憶部１２１に記憶された撮像ポイントのいずれとも一致
しないと判定された場合、ステップＳ２５２乃至Ｓ２５
６をスキップして、ステップＳ２５７に進む。
【０５９０】また、ステップＳ２５１において、現在地
が、記憶部１２１に記憶された撮像ポイントのいずれか
と一致すると判定された場合、即ち、主移動体自身が、
撮像ポイントに位置している場合、ステップＳ２５２に
進み、制御部１１８は、全方位カメラ１０２kの撮像装
置１１１に対して、撮像の要求を行う。撮像装置１１１
は、制御部１１８からの要求に応じて、全方位画像デー
タを撮像し、Ａ／Ｄ変換部１１２を介して、スケール加
工部１１３に供給する。
【０５９１】スケール加工部１１３は、上述のようにし
て、全方位画像データが供給されると、ステップＳ２５
３において、その全方位画像データを、固定倍率の全方
位画像データに変換し（スケール加工し）、ステップＳ
２５４に進み、画像データベース１１４に供給して登録
し、ステップＳ２５５に進む。
【０５９２】ステップＳ２５５では、制御部１１８が、
記憶部１２１に記憶された撮像ポイントのうち、ステッ
プＳ２５４で画像データベース１１４に記憶された全方
位画像データの撮像ポイントと一致するものを消去し、
ステップＳ２５６に進む。
【０５９３】ステップＳ２５６では、制御部１１８は、
ステップＳ２５４で画像データベース１１４に登録した
全方位画像データを読み出し、ステップＳ２４６におけ
る場合と同様に、そのヘッダ情報とともに、切り出し部
１２６に供給する。これにより、切り出し部１２６は、
制御部１１８からのヘッダ情報に基づき、同じく制御部
１１８からの全方位画像データから、ユーザＵkが入力
した被写体情報によって特定される被写体が写っている
部分を切り出す。そして、切り出し部１２６は、その結
果得られる切り出し画像データを、制御部１１８に供給
し、制御部１１８は、切り出し部１２６から供給される
切り出し画像データを、その内蔵するメモリに一時記憶
して、ステップＳ２５７に進む。
【０５９４】ステップＳ２５７では、制御部１１８は、
記憶部１２１に撮像ポイントが記憶されていないか、ま
たは、ステップＳ２４８でリクエスト信号を送信してか
ら所定の時間が経過したかどうかを判定する。ステップ
Ｓ２５７において、記憶部１２１に撮像ポイントが記憶
されており、かつリクエスト信号を送信してから所定の
時間が経過していないと判定された場合、ステップＳ２
４９に戻り、以下、同様の処理が繰り返される。
【０５９５】また、ステップＳ２５７において、記憶部
１２１に撮像ポイントが記憶されていないか、またはリ
クエスト信号を送信してから所定の時間が経過したと判
定された場合、即ち、ユーザＵkが入力した被写体情報
によって特定される被写体を、ステップＳ２４３で求め
られた複数の撮像ポイントすべてから撮像した全方位画
像データが得られるか、または、そのような全方位画像
データが、リクエスト信号を送信してから所定の時間が
経過しても得られなかった場合、ステップＳ２５８に進
み、制御部１１８は、記憶部１２１の記憶内容をクリア
し、ステップＳ２５９に進む。
【０５９６】ステップＳ２５９では、制御部１１８は、
その内蔵するメモリに記憶されている切り出し画像デー
タすべてを、画像変換部１２７に供給し、その歪みを除
去する画像変換を行わせる。
【０５９７】そして、ステップＳ２６０に進み、制御部
１１８は、画像変換後（歪み除去後）の切り出し画像デ
ータを、表示画像加工部１１９に供給し、表示データを
生成させる。
【０５９８】即ち、この場合、表示画像加工部１１９
（図４５）では、画像メモリ２７１において、制御部１
１８から供給される切り出し画像データが、上述の異方
向画像データとして記憶される。この画像メモリ２７１
に記憶された異方向画像データは、必要に応じて、スケ
ール加工部２７２において、そのスケールが調整され
る。
【０５９９】そして、対応画素演算部２７３は、画像メ
モリ２７１に記憶された異方向画像データについて、上
述したようにして、画素の対応関係を検出し、画像生成
部２７４に供給する。
【０６００】画像生成部２７４は、画像メモリ２７１に
記憶された異方向画像データを用い、対応画素演算部２
７３からの画素の対応関係を参照しながら、視点可変画
像データ、即ち、視点を時計回りまたは反時計回り方向
に変えながら、ユーザＵkが入力した被写体情報によっ
て特定される被写体を撮像した画像データを生成し、表
示データとして、表示メモリ２７６に供給される。
【０６０１】表示メモリ２７６は、画像生成部２７４を
介して供給される視点可変画像データを、表示データと
して記憶し、表示部１２２に供給する。これにより、ス
テップＳ２６０では、表示部１２２において、動画デー
タである視点可変画像データが表示され、視点可変画像
取得処理を終了する。
【０６０２】従って、この場合、表示部１２２では、ユ
ーザが所望する被写体を、その周囲を一周しながら撮像
したような動画が表示される。
【０６０３】なお、表示画像加工部１１９（図４５）の
画像生成部２７４において、画像メモリ２７１に記憶さ
れた異方向画像データを用いて、視点可変画像データが
生成される場合には、図４５で説明したように、視点可
変画像としての動画を構成するフレームのうち、画像メ
モリ２７１に記憶された異方向画像データが配置されな
いもの（未配置フレーム）については、その未配置フレ
ームに配置する画像データが、補間フレーム生成部２７
５において生成される。
【０６０４】従って、視点可変画像は、未配置フレーム
が少ないほど動きが滑らかなもの（時間方向の解像度が
高いもの）となるが、このことは、異方向画像データが
多数集まるほど、視点可変画像の画質が向上することを
意味する。
【０６０５】次に、図５０を参照して、従移動体の処理
について説明する。
【０６０６】従移動体の処理では、ステップＳ２７１に
おいて、受信部１１７が、他の移動体である主移動体か
らリクエスト信号が送信されてきたかどうかを判定し、
送信されてきていないと判定した場合、ステップＳ２７
１に戻る。
【０６０７】そして、ステップＳ２７１において、リク
エスト信号が送信されてきたと判定された場合、受信部
１１７は、そのリクエスト信号を受信して、制御部１１
８に供給し、ステップＳ２７２に進む。
【０６０８】ステップＳ２７２では、制御部１１８は、
受信部１１７からのリクエスト信号に、移動体IDが含ま
れるかどうかを判定し、含まれると判定した場合、ステ
ップＳ２７３に進む。
【０６０９】ステップＳ２７３では、制御部１１８は、
リクエスト信号に含まれる移動体IDが、自身の移動体ID
と一致するかどうかを判定する。ここで、制御部１１８
は、自身の移動体IDを、例えば、その内蔵するメモリに
記憶している。
【０６１０】ステップＳ２７３において、リクエスト信
号に含まれる移動体IDが、自身の移動体IDと一致しない
と判定された場合、ステップＳ２７１に戻り、以下、同
様の処理を繰り返す。
【０６１１】また、ステップＳ２７３において、リクエ
スト信号に含まれる移動体IDが、自身の移動体IDと一致
すると判定された場合、ステップＳ２７４に進み、制御
部１１８は、撮像装置１１１に対して、撮像の要求を行
う。撮像装置１１１は、制御部１１８からの要求に応じ
て、全方位画像データを撮像し、Ａ／Ｄ変換部１１２を
介して、スケール加工部１１３に供給する。
【０６１２】スケール加工部１１３は、全方位画像デー
タが供給されると、ステップＳ２７５において、その全
方位画像データを、固定倍率の全方位画像データに変換
し（スケール加工し）、ステップＳ２７６に進み、画像
データベース１１４に供給して登録し、ステップＳ２７
７に進む。
【０６１３】ステップＳ２７７では、制御部１１８は、
ステップＳ２７６で画像データベース１１４に登録した
全方位画像データを、ヘッダ情報とともに読み出し、送
信部１１６に供給して、リクエスト信号を送信してきた
主移動体に送信させる。そして、ステップＳ２７１に戻
り、以下、同様の処理が繰り返される。なお、リクエス
ト信号には、そのリクエスト信号を送信してきた移動体
の移動体IDが含められており、ステップＳ２７７（後述
するステップＳ２８２およびＳ２８８においても同様）
では、その移動体ＩＤを宛先として、全方位画像データ
が送信される。
【０６１４】一方、ステップＳ２７２において、リクエ
スト信号に、移動体IDが含まれていないと判定された場
合、ステップＳ２７８に進み、制御部１１８は、リクエ
スト信号に、１以上の撮像ポイントが含まれているかど
うかを判定する。ステップＳ２７８において、リクエス
ト信号に、撮像ポイントが含まれていないと判定された
場合、ステップＳ２７１に戻り、以下、同様の処理を繰
り返す。
【０６１５】一方、ステップＳ２７８において、リクエ
スト信号に、１以上の撮像ポイントが含まれていると判
定された場合、ステップＳ２７９に進み、制御部１１８
は、リクエスト信号に含まれている１以上の撮像ポイン
トを、記憶部１２１に供給して記憶させる。
【０６１６】ここで、主移動体において、図４８の視点
指定画像取得処理が行われる場合には、リクエスト信号
には、１つの撮影ポイントだけが含まれ、図４９の視点
可変画像取得処理が行われる場合には、リクエスト信号
には、１以上の撮影ポイントが含まれる。
【０６１７】その後、ステップＳ２８０に進み、制御部
１１８は、画像データベース１１４を参照することによ
り、記憶部１２１に記憶された１以上の撮像ポイントの
中に、画像データベース１１４に記憶されている全方位
画像データの撮影ポイントと一致するものがあるかどう
かを判定する。
【０６１８】ステップＳ２８０において、記憶部１２１
に記憶された１以上の撮像ポイントの中に、画像データ
ベース１１４に記憶されている全方位画像データの撮影
ポイントと一致するものがあると判定された場合、即
ち、記憶部１２１に記憶された撮像ポイントから撮像し
た全方位画像データが、画像データベース１１４に既に
登録されている場合、ステップＳ２８２に進み、制御部
１１８は、その全方位画像データを、画像データベース
１１４から読み出し、ステップＳ２８２に進む。
【０６１９】ステップＳ２８２では、制御部１１８は、
画像データベース１１４から読み出した全方位画像デー
タを、そのヘッダ情報とともに、送信部１１６に供給
し、リクエスト信号を送信してきた主移動体に送信させ
る。そして、ステップＳ２８３に進み、制御部１１８
は、記憶部１２１に記憶された１以上の撮像ポイントの
うち、ステップＳ２８１で画像データベース１１４から
読み出した全方位画像データの撮像ポイントと一致する
ものを消去し、ステップＳ２８４に進む。
【０６２０】なお、記憶部１２１に記憶された１以上の
撮像ポイントの中に、画像データベース１１４に記憶さ
れている全方位画像データの撮影ポイントと一致するも
のが複数ある場合には、上述のステップＳ２８１乃至Ｓ
２８３の処理は、その複数の撮像ポイントそれぞれにつ
いて行われる。
【０６２１】一方、ステップＳ２８０において、記憶部
１２１に記憶された１以上の撮像ポイントの中に、画像
データベース１１４に記憶されている全方位画像データ
の撮影ポイントと一致するものがないと判定された場
合、即ち、主移動体が要求する全方位画像データが、従
移動体の画像データベース１１４には登録されていない
場合、ステップＳ２８４に進み、比較部１２０が、図４
８のステップＳ２２６にで説明したようにして、現在地
が、記憶部１２１に記憶されたいずれかの撮像ポイント
と一致するかどうかを判定する。
【０６２２】ステップＳ２８４において、現在地が、記
憶部１２１に記憶された撮像ポイントのいずれかと一致
すると判定された場合、即ち、従移動体が、リクエスト
信号に含まれている撮像ポイントのうちのいずれかに位
置している場合、ステップＳ２８５に進み、制御部１１
８は、撮像装置１１１に対して、撮像の要求を行う。撮
像装置１１１は、制御部１１８からの要求に応じて、全
方位画像データを撮像し、Ａ／Ｄ変換部１１２を介し
て、スケール加工部１１３に供給する。
【０６２３】スケール加工部１１３は、全方位画像デー
タが供給されると、ステップＳ２８６において、その全
方位画像データを、固定倍率の全方位画像データに変換
し（スケール加工し）、ステップＳ２８７に進み、画像
データベース１１４に供給して登録し、ステップＳ２８
８に進む。
【０６２４】ステップＳ２８８では、制御部１１８は、
ステップＳ２８７で画像データベース１１４に登録した
全方位画像データを、ヘッダ情報とともに読み出し、送
信部１１６に供給して、リクエスト信号を送信してきた
主移動体に送信させる。
【０６２５】その後、ステップＳ２８９に進み、制御部
１１８が、記憶部１２１に記憶された１以上の撮像ポイ
ントのうち、ステップＳ２８７で画像データベース１１
４に記憶された全方位画像データの撮像ポイントと一致
するものを消去し、ステップＳ２８４に戻る。
【０６２６】一方、ステップＳ２８４において、現在地
が、記憶部１２１に記憶された撮像ポイントのいずれと
も一致しないと判定された場合、ステップＳ２９０に進
み、制御部１１８は、記憶部１２１に撮像ポイントが記
憶されていないか、または、主移動体からのリクエスト
信号を受信してから所定の時間が経過したかどうかを判
定する。ステップＳ２９０において、記憶部１２１に撮
像ポイントが記憶されており、かつリクエスト信号を受
信してから所定の時間が経過していないと判定された場
合、ステップＳ２８４に戻り、以下、同様の処理が繰り
返される。
【０６２７】また、ステップＳ２９０において、記憶部
１２１に撮像ポイントが記憶されていないか、またはリ
クエスト信号を送信してから所定の時間が経過したと判
定された場合、即ち、リクエスト信号に含まれる１以上
の撮像ポイントそれぞれから撮像した全方位画像データ
すべてを主移動体に送信したか、または、リクエスト信
号を受信してから所定の時間が経過しても、そのリクエ
スト信号に含まれる１以上の撮像ポイントそれぞれから
撮像した全方位画像データの一部もしくは全部が得られ
なかった場合、ステップＳ２９１に進み、制御部１１８
は、記憶部１２１の記憶内容をクリアする。そして、ス
テップＳ２７１に戻り、以下、同様の処理を繰り返す。
【０６２８】以上のように、従移動体は、リクエスト信
号に、自身の移動体IDが含まれている場合には、現在地
を撮像ポイントとして、全方位画像データを撮像し、主
移動体に送信する。また、従移動体は、リクエスト信号
に、１以上の撮像ポイントが含まれており、その撮像ポ
イントの全方位画像データが画像データベース１１４に
記憶されている場合には、その全方位画像データを、主
移動体に送信し、記憶されていない場合において、自身
の現在地が撮像ポイントに一致するときには、その撮像
ポイントである現在地で全方位画像データを撮像し、主
移動体に送信する。
【０６２９】従って、主移動体は、リクエスト信号に移
動体IDを含めて送信した場合には、その移動体IDの従移
動体から、その従移動体が現在地において撮像した全方
位画像データを得ることができる（第１の機能）。
【０６３０】また、主移動体は、リクエスト信号に、１
つの撮像ポイントを含めて送信した場合には、その撮像
ポイントを現在地とする従移動体から、その従移動体が
現在地で撮像した全方位画像データを得ることができ
る。あるいは、また、主移動体は、リクエスト信号に含
まれる撮像ポイントの全方位画像データを有している従
移動体から、その全方位画像データを得ることができ
る。その結果、主移動体は、所望の視点方向から、所望
の被写体を見た姿が写っている全方位画像データを得る
ことができる（第２の機能）。
【０６３１】さらに、主移動体は、リクエスト信号に、
複数の撮像ポイントを含めて送信した場合には、その複
数の撮像ポイントをそれぞれ現在地とする複数の従移動
体から、各従移動体が現在地で撮像した全方位画像デー
タを得ることができる。あるいは、また、主移動体は、
リクエスト信号に含まれる各撮像ポイントの全方位画像
データを有している各従移動体から、その全方位画像デ
ータを得ることができる。その結果、主移動体は、所望
の被写体を、複数の視点方向から見た姿が映っている複
数の全方位画像データを得ることができ、さらには、そ
のような複数の全方位画像データから、所望の被写体
を、その周りから見渡したような動画である視点可変画
像を得ることができる。
【０６３２】即ち、移動体１０１1，１０１2，・・・，
１０１Kそれぞれの全方位カメラ１０２1，１０２2，・
・・，１０２Kにおいては、それ単独で、視点可変画像
を得ようとすると、被写体の周りを移動し、複数の視点
方向から被写体を撮像することにより、複数の全方位画
像データを得る必要があるから、即座に、視点可変画像
を得ることはできない。
【０６３３】そこで、ＳＨＡＲＮ移動体システムでは、
複数の移動体どうしが協調して（協力しあって）、複数
の撮像ポイントそれぞれから撮像した全方位画像データ
を取得する。即ち、主移動体が、複数の撮像ポイントそ
れぞれから撮像した全方位画像データを、従移動体に要
求し、その全方位画像データを有する従移動体、または
その全方位画像データを撮像しうる従移動体は、その全
方位画像データを、主移動体に提供する。
【０６３４】このように、主移動体は、必要な全方位画
像データを有する従移動体、または必要な全方位画像デ
ータを撮像しうる従移動体の協力によって、必要な全方
位画像データを得て、自身の全方位カメラだけでは得ら
れなかった視点可変画像、即ち、所望の被写体が単に写
っているのではなく、その周囲を移動しながら撮像した
ような姿が映っているという付加価値が付いた動画像を
得ることができる。
【０６３５】従って、主移動体においては、その全方位
カメラだけでは困難であった、視点可変画像を生成（撮
像）するという高機能が実現されているということがで
きるが、これは、主移動体と、１以上の従移動体とが、
図５１において点線で囲むように、まるで１つの装置で
あるかのようになって、従移動体が、主移動体が要求す
る撮像ポイントの全方位画像データを提供し、主移動体
が、そのようにして従移動体から提供される全方位画像
データを用いて視点可変画像データを生成することによ
り、結果として、複数の移動体の全方位カメラそれぞれ
が、視点可変画像データを撮像（生成）するという処理
を、互いに協調しながら分担することとなっているから
である。
【０６３６】これに対して、従移動体が、任意に撮像し
た全方位画像データを、主移動体に提供するというだけ
では、従移動体が、全方位画像データを集めるという処
理を、単に分担しているだけとなり、主移動体におい
て、視点可変画像の生成に必要な画像を得られず、従っ
て、視点可変画像を生成するという高機能を実現するこ
とはできない。
【０６３７】なお、ＳＨＡＲＮ移動体システムにおい
て、上述のように、複数の移動体の全方位カメラそれぞ
れが、視点可変画像データを撮像（生成）するという処
理を、互いに協調しながら分担する場合には、視点可変
画像データを、即座に得ることができるから、この点に
注目すれば、いわばリアルタイムの協調分担が行われて
いるということができる。
【０６３８】一方、ＳＨＡＲＮ移動体システムでは、上
述のようなリアルタイムの協調分担が行われることによ
り、主移動体となった移動体の画像データベース１１４
には、所定の被写体について視点可変画像を生成するの
に必要な複数の撮像ポイントから撮像された全方位画像
データが蓄積される。その結果、所定の被写体につい
て、視点可変画像の生成の要求が多い場合には、その要
求回数に応じて時間解像度の高い視点可変画像が生成さ
れるようになる。
【０６３９】即ち、例えば、上述したように、フレーム
レートを３０フレーム／秒として、３秒間で、被写体の
周囲を１周するような視点可変画像を生成する場合に
は、理想的には、その被写体を、４度ずつ異なる視点方
向から撮像した９０枚の画像（異方向画像）が必要であ
り、この９０枚の異方向画像が集まれば、フレームレー
トが３０フレーム／秒で、３秒間の間に被写体の周囲を
１周するという条件下において、最も時間解像度の高い
視点可変画像を得ることができる。
【０６４０】この場合、９０カ所の撮像ポイントで撮像
された全方位画像（９０枚の異方向画像となる全方位画
像）を得る必要があるが、いま、説明を簡単にするため
に、いずれの移動体の画像データベース１１４にも全方
位画像データが記憶されていないと仮定すると、ある１
つの移動体Ａが、視点可変画像取得処理（図４９）にお
いて、所定の被写体についての９０カ所の撮像ポイント
を含むリクエスト信号を送信しても、その９０カ所のそ
れぞれに、他の移動体が存在するとは限らず、従って、
９０カ所の撮像ポイントそれぞれで撮像された全方位画
像すべては、一般には、集まらない。
【０６４１】しかしながら、例えば、いま、移動体Ａに
よる視点可変画像取得処理によって、９０カ所の撮像ポ
イントのうちの、例えば１／３の３０カ所の撮像ポイン
トの全方位画像が集まり、その画像データベース１１４
に登録されたとすると、その後、他の移動体Ｂが、視点
可変画像取得処理（図４９）において、所定の被写体に
ついての９０カ所の撮像ポイントを含むリクエスト信号
を送信した場合には、移動体Ｂは、少なくとも、移動体
Ａの画像データベース１１４に記憶されている３０カ所
の全方位画像を得ることができる。さらに、この場合、
残りの６０カ所の撮像ポイントのうちのいずれかに、他
の移動体が位置している可能性が高く、移動体Ｂは、そ
のような他の移動体から、残りの６０カ所のうちのいず
れかの撮像ポイントの全方位画像を得ることができる。
【０６４２】従って、所定の被写体について、多数の移
動体から、視点可変画像の生成の要求があると、その要
求回数に応じて、多数の撮像ポイントの全方位画像が得
られることとなり、その結果、時間解像度の高い視点可
変画像が生成されるようになる。
【０６４３】このように、視点可変画像の生成の要求が
多い所定の被写体については、その要求回数に応じて、
時間解像度の高いという付加価値が付いた視点可変画像
が生成されるようになるが、これも、複数の移動体の全
方位カメラそれぞれが、視点可変画像データを撮像（生
成）するという処理を、互いに協調しながら分担するこ
ととなっているからである。但し、時間解像度の高いと
いう付加価値が付いた視点可変画像が生成されることに
注目すると、時間解像度が高くなるのは、所定の被写体
についての視点可変画像の生成の要求が何度も行われる
ことによるものであるから、ある程度の時間の経過が必
要であり、従って、上述のリアルタイムの協調分担に対
して、長期的な協調分担が行われているということがで
きる。
【０６４４】なお、上述の場合には、移動体１０１kに
おいて、全方位カメラ１０２kにより撮像を行うように
したが、移動体１０１kでは、通常のカメラで撮像を行
うようにすることも可能である。
【０６４５】また、移動体１０１kとしては、自動車の
他、船舶や航空機等を採用することも可能である。
【０６４６】さらに、上述の場合には、ＳＨＡＲＮ移動
体システムにおいて、付加価値のある画像として、被写
体を、その周囲を移動しながら撮像したような視点可変
画像を生成するようにしたが、付加価値のある画像とし
ては、その他、例えば、いわゆる三角測量を利用して、
３次元画像を生成するようにすることも可能である。
【０６４７】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
汎用のコンピュータ等にインストールされる。
【０６４８】そこで、図５２は、上述した一連の処理を
実行するプログラムがインストールされるコンピュータ
の一実施の形態の構成例を示している。
【０６４９】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク２１０５やＲＯＭ
２１０３に予め記録しておくことができる。
【０６５０】あるいはまた、プログラムは、フレキシブ
ルディスク、CD-ROM(Compact DiscRead Only Memory)，
MO(Magneto optical)ディスク，DVD(Digital Versatile
Disc)、磁気ディスク、半導体メモリなどのリムーバブ
ル記録媒体２１１１に、一時的あるいは永続的に格納
（記録）しておくことができる。このようなリムーバブ
ル記録媒体２１１１は、いわゆるパッケージソフトウエ
アとして提供することができる。
【０６５１】なお、プログラムは、上述したようなリム
ーバブル記録媒体２１１１からコンピュータにインスト
ールする他、ダウンロードサイトから、ディジタル衛星
放送用の人工衛星を介して、コンピュータに無線で転送
したり、LAN(Local Area Network)、インターネットと
いったネットワークを介して、コンピュータに有線で転
送し、コンピュータでは、そのようにして転送されてく
るプログラムを、通信部２１０８で受信し、内蔵するハ
ードディスク２１０５にインストールすることができ
る。
【０６５２】コンピュータは、CPU(Central Processing
Unit)２１０２を内蔵している。CPU２１０２には、バ
ス２１０１を介して、入出力インタフェース２１１０が
接続されており、CPU２１０２は、入出力インタフェー
ス２１１０を介して、ユーザによって、キーボードや、
マウス、マイク等で構成される入力部２１０７が操作等
されることにより指令が入力されると、それにしたがっ
て、ROM(Read Only Memory)２１０３に格納されている
プログラムを実行する。あるいは、また、CPU２１０２
は、ハードディスク２１０５に格納されているプログラ
ム、衛星若しくはネットワークから転送され、通信部２
１０８で受信されてハードディスク２１０５にインスト
ールされたプログラム、またはドライブ２１０９に装着
されたリムーバブル記録媒体２１１１から読み出されて
ハードディスク２１０５にインストールされたプログラ
ムを、RAM(Random Access Memory)２１０４にロードし
て実行する。これにより、CPU２１０２は、上述したフ
ローチャートにしたがった処理、あるいは上述したブロ
ック図の構成により行われる処理を行う。そして、CPU
２１０２は、その処理結果を、必要に応じて、例えば、
入出力インタフェース２１１０を介して、LCD(Liquid C
ryStal Display)やスピーカ等で構成される出力部２１
０６から出力、あるいは、通信部２１０８から送信、さ
らには、ハードディスク２１０５に記録等させる。
【０６５３】ここで、本明細書において、コンピュータ
に各種の処理を行わせるためのプログラムを記述する処
理ステップは、必ずしもフローチャートとして記載され
た順序に沿って時系列に処理する必要はなく、並列的あ
るいは個別に実行される処理（例えば、並列処理あるい
はオブジェクトによる処理）も含むものである。
【０６５４】また、プログラムは、１のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
【０６５５】
【発明の効果】本発明の情報処理システムおよび第１の
情報処理方法、並びに第１のプログラムおよび第１の記
録媒体によれば、複数の作動手段または複数の検知手段
が協調して処理を分担するので、情報処理システムが高
機能化される。
【０６５６】本発明の情報処理装置および第２の情報処
理方法、並びに第２のプログラムおよび第２の記録媒体
によれば、作動手段または検知手段が他の情報処理装置
と協調して処理を分担するので、情報処理装置が高機能
化される。
【図面の簡単な説明】
【図１】本発明を適用したＳＨＡＲＮシステムの一実施
の形態の構成例を示すブロック図である。
【図２】本発明を適用したＳＨＡＲＮシステムの他の一
実施の形態の構成例を示すブロック図である。
【図３】ＳＨＡＲＮシステムを適用したＳＨＡＲＮ手術
システムの一実施の形態の構成例を示すブロック図であ
る。
【図４】スレーブマニピュレータ６１とマスタマニピュ
レータ６２の外観構成例を示す斜視図である。
【図５】ロール回転、ピッチ回転、およびヨー回転を説
明する図である。
【図６】目標軌跡、操作軌跡、および平均軌跡を示す図
である。
【図７】スレーブマニピュレータ６１の電気的構成例を
示すブロック図である。
【図８】マスタマニピュレータ６２の電気的構成例を示
すブロック図である。
【図９】スーパドクタデータベース部６４の電気的構成
例を示すブロック図である。
【図１０】スレーブマニピュレータ６１の処理を説明す
るフローチャートである。
【図１１】マスタマニピュレータ６２の処理を説明する
フローチャートである。
【図１２】スーパドクタデータベース部６４の処理を説
明するフローチャートである。
【図１３】ＳＨＡＲＮ手術システムにおける協調分担を
説明するための図である。
【図１４】ＳＨＡＲＮシステムを適用したＳＨＡＲＮデ
ザインシステムの一実施の形態の構成例を示すブロック
図である。
【図１５】擬似スレーブマニピュレータ４１の電気的構
成例を示すブロック図である。
【図１６】マスタマニピュレータ４２の電気的構成例を
示すブロック図である。
【図１７】スーパデザイナデータベース部４４の電気的
構成例を示すブロック図である。
【図１８】デザイン情報を説明する図である。
【図１９】擬似スレーブマニピュレータ４１の処理を説
明するフローチャートである。
【図２０】マスタマニピュレータ４２の処理を説明する
フローチャートである。
【図２１】スーパデザイナデータベース部４４の処理
（制御処理）を説明するフローチャートである。
【図２２】スーパデザイナデータベース部４４の処理
（更新処理）を説明するフローチャートである。
【図２３】ＳＨＡＲＮデザインシステムにおける協調分
担を説明するための図である。
【図２４】ＳＨＡＲＮシステムを適用したＳＨＡＲＮ移
動体システムの構成例を示す図である。
【図２５】ＳＨＡＲＮ移動体システムの機能の概略を説
明するための図である。
【図２６】移動体１０１kの電気的構成例を示すブロッ
ク図である。
【図２７】撮像装置１１１の構成例を示す斜視図であ
る。
【図２８】全方位画像データを示す図である。
【図２９】集光部２０２を構成する双曲面を説明する図
である。
【図３０】集光部２０２と撮像部２０３との位置関係を
説明するための図である。
【図３１】全方位画像データを示す図である。
【図３２】全方位画像データからの切り出しを説明する
ための図である。
【図３３】円周方向の歪みを説明するための図である。
【図３４】半径方向の歪みを説明するための図である。
【図３５】半径方向の歪みを除去する方法を説明するた
めの図である。
【図３６】半径方向の歪みを除去する方法を説明するた
めの図である。
【図３７】半径方向の歪みを除去する全方位画像データ
の変換を説明するための図である。
【図３８】変換対象点における画素値の求め方を説明す
るための図である。
【図３９】スケール加工部１１３の電気的構成例を示す
ブロック図である。
【図４０】タップ係数を学習する学習装置の電気的構成
例を示すブロック図である。
【図４１】座標演算部１２５の電気的構成例を示すブロ
ック図である。
【図４２】撮像ポイントの求め方を説明するための図で
ある。
【図４３】撮像ポイントの求め方を説明するための図で
ある。
【図４４】画像データベース１１４の記憶フォーマット
を示す図である。
【図４５】表示画像加工部１１９の電気的構成例を示す
ブロック図である。
【図４６】主移動体の処理を説明するフローチャートで
ある。
【図４７】全方位画像取得処理を説明するフローチャー
トである。
【図４８】視点指定画像取得処理を説明するフローチャ
ートである。
【図４９】視点可変画像取得処理を説明するフローチャ
ートである。
【図５０】従移動体の処理を説明するフローチャートで
ある。
【図５１】ＳＨＡＲＮ移動体システムにおける協調分担
を説明するための図である。
【図５２】本発明を適用したコンピュータの一実施の形
態の構成例を示すブロック図である。
【符号の説明】
１ 手術台， ２1乃至２4 マイク， ３Ｌ，３Ｒ ス
レーブマニピュレータ部， ４Ｌ，４Ｒ 先端部， ５
カメラ部， ６（６1乃至６5） カメラ，８Ｌ，８Ｒ
マスタマニピュレータ部， ９Ｌ，９Ｒ 操作部，
１０ モニタ， １１ スピーカ， １２ 操作パネ
ル， ２１ 入出力制御装置， ２２姿勢パラメータ登
録部， ２３ 手術経過情報データベース， ２４ 手
術経過情報登録部， ２５ 手術情報データベース，
２６ 更新部， ２７ 手術技術情報データベース，
２８ 姿勢パラメータ制御部， ２９ 検索部， ３０
手術技術情報登録部， ４１ 擬似スレーブマニピュレ
ータ， ４２1乃至４２K マスタマニピュレータ， ４
３ ネットワーク， ４４ スーパデザイナデータベー
ス部， ５１ スレーブマニピュレータ制御装置， ５
２ 入出力制御装置， ５３ マスタマニピュレータ制
御装置， ５４ 入出力制御装置，６１ スレーブマニ
ピュレータ， ６２1乃至６２K マスタマニピュレー
タ，６３ ネットワーク， ６４ スーパドクタデータ
ベース部， ７１ 制御部，７２ 姿勢遷移機構部，
７３ 制御機構部， ７４ 通信部， ７５ センサ，
７６ アクチュエータ， ７７ 擬似スレーブマニピ
ュレータ， ７８デザイン情報データベース， ７９
画像生成部， ８０ 入出力制御装置，８１ 制御部，
８２ 姿勢遷移機構部， ８３ 制御機構部， ８４
通信部， ８５ センサ， ８６ アクチュエータ，
９１ デザイン情報登録部，９２ デザイン情報デー
タベース， ９３ デザイン評価部， ９４ 特異デザ
イン情報データベース， ９５ 流行デザイン情報デー
タベース， ９６ 更新部， １０１1乃至１０１K 移
動体， １０２1乃至１０２K 全方位カメラ，１０３
被写体， １０４ ネットワーク， １０５ 情報処理
装置， １１１撮像装置， １１２ Ａ／Ｄ変換部，
１１３ スケール加工部， １１４画像データベース，
１１５ 操作部， １１６ 送信部， １１７ 受信
部，１１８ 制御部， １１９ 表示画像加工部， １
２０ 比較部， １２１記憶部， １２２ 表示部，
１２３ 位置検出部， １２４ 地図データベース，
１２５ 座標演算部， １２６ 切り出し部， １２７
画像変換部，２０１ 支持体， ２０２ 集光部，
２０３ 撮像部， ２３１ バッファ，２３２ 予測タ
ップ抽出回路， ２３３ クラスタップ抽出回路， ２
３４クラス分類回路， ２３５ 係数記憶部， ２３６
積和演算回路， ２３７制御回路， ２４２ 教師デ
ータメモリ， ２４３ 生徒データ生成回路， ２４４
生徒データメモリ， ２４５ 予測タップ抽出回路，
２４６ クラスタップ抽出回路， ２４７ クラス分
類回路， ２４８ 正規方程式加算回路，２４９ タッ
プ係数決定回路， ２５０ 係数メモリ， ２５１ 制
御回路，２６１ 検索部， ２６２ 撮像ポイント算出
部， ２７１ 画像メモリ， ２７２ スケール加工
部， ２７３ 対応画素演算部， ２７４ 画像生成
部，２７５ 補間フレーム生成部， ２７６ 表示メモ
リ， １００１ ネットワーク， １００２ 合成／統
合部， １００３1乃至１００３K 操作部， １００４
駆動制御部， １００５1乃至１００５M アクチュエ
ータ， １００６ 信号処理部， １００７1乃至１０
０７N センサ， ２１０１ バス， ２１０２CPU，
２１０３ ROM， ２１０４ RAM， ２１０５ ハード
ディスク，２１０６ 出力部， ２１０７ 入力部，
２１０８ 通信部， ２１０９ ドライブ， ２１１０
入出力インタフェース， ２１１１ リムーバブル記
録媒体

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 複数のユーザの操作に応じて作動する複
    数の作動手段と、 前記複数の作動手段が作用する現実世界を検知する複数
    の検知手段と、 前記複数の作動手段または複数の検知手段との間で情報
    を送受信するための通信手段と を備え、 前記複数の作動手段または複数の検知手段が協調して処
    理を分担することにより、高機能化することを特徴とす
    る情報処理システム。
  2. 【請求項２】 前記複数の作動手段の機能が高機能化す
    ることを特徴とする請求項１に記載の情報処理システ
    ム。
  3. 【請求項３】 前記複数の検知手段の機能が高機能化す
    ることを特徴とする請求項１に記載の情報処理システ
    ム。
  4. 【請求項４】 複数のユーザの操作に応じて作動する複
    数の作動手段と、 前記複数の作動手段が作用する現実世界を検知する複数
    の検知手段と、 前記複数の作動手段または複数の検知手段との間で情報
    を送受信するための通信手段とを備える情報処理システ
    ムの情報処理方法であって、 前記複数の作動手段または複数の検知手段に協調して処
    理を分担させることにより、前記情報処理システムを高
    機能化する処理を行う処理ステップを備えることを特徴
    とする情報処理方法。
  5. 【請求項５】 複数のユーザの操作に応じて作動する複
    数の作動手段と、 前記複数の作動手段が作用する現実世界を検知する複数
    の検知手段と、 前記複数の作動手段または複数の検知手段との間で情報
    を送受信するための通信手段とを備える情報処理システ
    ム用のプログラムであって、 前記複数の作動手段または複数の検知手段に協調して処
    理を分担させることにより、前記情報処理システムを高
    機能化する処理を行う処理ステップを備えることを特徴
    とするコンピュータが読み取り可能なプログラム。
  6. 【請求項６】 複数のユーザの操作に応じて作動する複
    数の作動手段と、 前記複数の作動手段が作用する現実世界を検知する複数
    の検知手段と、 前記複数の作動手段または複数の検知手段との間で情報
    を送受信するための通信手段とを備える情報処理システ
    ム用のプログラムが記録されている記録媒体であって、 前記複数の作動手段または複数の検知手段に協調して処
    理を分担させることにより、前記情報処理システムを高
    機能化する処理を行う処理ステップを備えるコンピュー
    タが読み取り可能なプログラムが記録されていることを
    特徴とする記録媒体。
  7. 【請求項７】 所定の情報処理を行う情報処理装置であ
    って、 ユーザの操作に応じて作動する作動手段と、 前記作動手段が作用する現実世界を検知する検知手段
    と、 他の情報処理装置との間で情報を送受信するための通信
    手段とを備え、 前記作動手段または検知手段が前記他の情報処理装置と
    協調して処理を分担することにより、高機能化すること
    を特徴とする情報処理装置。
  8. 【請求項８】 前記作動手段の機能が高機能化すること
    を特徴とする請求項７に記載の情報処理装置。
  9. 【請求項９】 前記検知手段の機能が高機能化すること
    を特徴とする請求項７に記載の情報処理装置。
  10. 【請求項１０】 所定の情報処理を行う情報処理装置の
    情報処理方法であって、 前記情報処理装置は、 ユーザの操作に応じて作動する作動手段と、 前記作動手段が作用する現実世界を検知する検知手段
    と、 他の情報処理装置との間で情報を送受信するための通信
    手段とを備え、 前記作動手段または検知手段に前記他の情報処理装置と
    協調して処理を分担させることにより、前記情報処理装
    置を高機能化する処理を行う処理ステップを備えること
    を特徴とする情報処理方法。
  11. 【請求項１１】 所定の情報処理を行う情報処理装置用
    のプログラムであって、 前記情報処理装置は、 ユーザの操作に応じて作動する作動手段と、 前記作動手段が作用する現実世界を検知する検知手段
    と、 他の情報処理装置との間で情報を送受信する通信手段と
    を備え、 前記作動手段または検知手段に前記他の情報処理装置と
    協調して処理を分担させることにより、前記情報処理装
    置を高機能化する処理を行う処理ステップを備えること
    を特徴とするコンピュータが読み取り可能なプログラ
    ム。
  12. 【請求項１２】 所定の情報処理を行う情報処理装置用
    のプログラムが記録されている記録媒体であって、 前記情報処理装置は、 ユーザの操作に応じて作動する作動手段と、 前記作動手段が作用する現実世界を検知する検知手段
    と、 他の情報処理装置との間で情報を送受信するための通信
    手段とを備え、 前記作動手段または検知手段に前記他の情報処理装置と
    協調して処理を分担させることにより、前記情報処理装
    置を高機能化する処理を行う処理ステップを備えるコン
    ピュータが読み取り可能なプログラムが記録されている
    ことを特徴とする記録媒体。
JP2001343980A 2001-11-09 2001-11-09 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置 Expired - Fee Related JP4032410B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2001343980A JP4032410B2 (ja) 2001-11-09 2001-11-09 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置
US10/494,598 US8255462B2 (en) 2001-11-09 2002-10-23 Information processing system and information processing apparatus
EP02770237A EP1443416A4 (en) 2001-11-09 2002-10-23 INFORMATION PROCESSING SYSTEM AND INFORMATION PROCESSING DEVICE
PCT/JP2002/010979 WO2003040940A1 (fr) 2001-11-09 2002-10-23 Systeme et appareil pour le traitement d'informations

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001343980A JP4032410B2 (ja) 2001-11-09 2001-11-09 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置

Publications (2)

Publication Number Publication Date
JP2003150569A true JP2003150569A (ja) 2003-05-23
JP4032410B2 JP4032410B2 (ja) 2008-01-16

Family

ID=19157569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001343980A Expired - Fee Related JP4032410B2 (ja) 2001-11-09 2001-11-09 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置

Country Status (4)

Country Link
US (1) US8255462B2 (ja)
EP (1) EP1443416A4 (ja)
JP (1) JP4032410B2 (ja)
WO (1) WO2003040940A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011093888A1 (en) * 2010-01-29 2011-08-04 Hewlett-Packard Development Company L.P. Optical sensor networks and methods for fabricating the same
US8094230B2 (en) 2006-09-21 2012-01-10 Sony Corporation Image processing apparatus, image processing method, and program
JPWO2015129474A1 (ja) * 2014-02-28 2017-03-30 ソニー株式会社 ロボットアーム装置、ロボットアーム制御方法及びプログラム
JP2018089736A (ja) * 2016-12-01 2018-06-14 トヨタ自動車株式会社 マスタスレーブシステム
JP2018517506A (ja) * 2015-06-09 2018-07-05 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 外科的処置アトラスを用いた手術システムの構成
JP2019526328A (ja) * 2016-09-06 2019-09-19 ヴェリリー ライフ サイエンシズ エルエルシー 手術ミスを防止するためのシステムおよび方法
JP2020040184A (ja) * 2018-09-12 2020-03-19 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、制御プログラム及び記録媒体
JP2020046893A (ja) * 2018-09-19 2020-03-26 尚紀 北村 手術支援システム及び仮想手術支援システム
US10912619B2 (en) 2015-11-12 2021-02-09 Intuitive Surgical Operations, Inc. Surgical system with training or assist functions
US11992960B2 (en) 2018-09-12 2024-05-28 Canon Kabushiki Kaisha Robot system, control apparatus of robot system, control method of robot system, imaging apparatus, and storage medium

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005026488A1 (ja) * 2003-09-08 2005-03-24 Sony Corporation 制御装置および制御方法、記録媒体、プログラム、並びに建造物
US8660794B2 (en) * 2007-07-13 2014-02-25 Dash Navigation, Inc. System and method for providing shared information about traveled road segments
JP2010079569A (ja) * 2008-09-25 2010-04-08 Canon Inc 情報処理装置、その処理方法及びプログラム
KR101552306B1 (ko) * 2009-04-13 2015-09-10 삼성전자주식회사 휴대 단말기의 태깅 방법 및 장치
EP2453325A1 (en) * 2010-11-16 2012-05-16 Universal Robots ApS Method and means for controlling a robot
JP5800616B2 (ja) * 2011-07-15 2015-10-28 オリンパス株式会社 マニピュレータシステム
EP2760642B1 (en) 2011-09-28 2015-11-18 Universal Robots A/S Calibration and programming of robots
SG11201607059UA (en) 2014-03-04 2016-09-29 Universal Robots As Safety system for industrial robot
KR102431743B1 (ko) 2014-09-26 2022-08-11 테라다인 인코퍼레이티드 파지 그리퍼
KR102603939B1 (ko) 2015-07-08 2023-11-20 유니버셜 로보츠 에이/에스 제3자 기여를 가진 산업용 로봇의 최종 사용자 프로그래밍 확장 방법
US20170090718A1 (en) 2015-09-25 2017-03-30 International Business Machines Corporation Linking selected messages in electronic message threads
TWI805545B (zh) 2016-04-12 2023-06-21 丹麥商環球機器人公司 用於藉由示範來程式化機器人之方法和電腦程式產品

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3539645B2 (ja) * 1995-02-16 2004-07-07 株式会社日立製作所 遠隔手術支援装置
JP3577359B2 (ja) 1995-04-26 2004-10-13 本田技研工業株式会社 車両用撮影システム
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
JP3882858B2 (ja) 1996-07-03 2007-02-21 株式会社セガ 乗り物遊戯装置
US6364888B1 (en) * 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
US6331181B1 (en) * 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
JP3175623B2 (ja) 1997-03-21 2001-06-11 株式会社デンソー ロボットの制御装置
JPH11243508A (ja) 1998-02-25 1999-09-07 Matsushita Electric Ind Co Ltd 画像表示装置
JP3472957B2 (ja) 1998-09-17 2003-12-02 株式会社日立製作所 マスタスレーブマニピュレータ
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6360250B1 (en) * 1998-12-28 2002-03-19 Lucent Technologies Inc. Apparatus and method for sharing information in simultaneously viewed documents on a communication system
US6334141B1 (en) * 1999-02-02 2001-12-25 International Business Machines Corporation Distributed server for real-time collaboration
JP2000242333A (ja) 1999-02-24 2000-09-08 Matsushita Electric Ind Co Ltd 自律走行ロボットの動作管理方法およびシステム
JP2000283785A (ja) 1999-03-31 2000-10-13 Toshiba Corp カーナビゲーションシステムおよび方法
US6594552B1 (en) * 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
JP2000342498A (ja) * 1999-06-09 2000-12-12 Toyota Autom Loom Works Ltd 清掃ロボット
JP3513055B2 (ja) 1999-08-06 2004-03-31 株式会社東芝 データ処理システム
JP2001145637A (ja) 1999-11-24 2001-05-29 Olympus Optical Co Ltd マニピュレータ制御装置
JP2001189927A (ja) 1999-12-28 2001-07-10 Tokyo Gas Co Ltd 移動ステーションおよび制御ステーションならびに擬似体験システム
JP2001285894A (ja) 2000-03-31 2001-10-12 Olympus Optical Co Ltd ３次元画像データの掲載方法
JP2001301592A (ja) * 2000-04-19 2001-10-31 Sumitomo Denko Brake Systems Kk 車両用液圧ブレーキシステムの制御方法
JP2001301552A (ja) 2000-04-24 2001-10-31 Daihatsu Motor Co Ltd 車両用後側方監視装置及びその制御方法
US7299403B1 (en) * 2000-10-11 2007-11-20 Cisco Technology, Inc. Methods and apparatus for obtaining a state of a browser
JP4655175B2 (ja) 2000-12-19 2011-03-23 ソニー株式会社 マニピュレータシステム、マスタマニピュレータ、スレーブマニピュレータ及びそれらの制御方法、並びに記録媒体
US20020129106A1 (en) * 2001-03-12 2002-09-12 Surgency, Inc. User-extensible system for manipulating information in a collaborative environment
US6587750B2 (en) * 2001-09-25 2003-07-01 Intuitive Surgical, Inc. Removable infinite roll master grip handle and touch sensor for robotic surgery

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094230B2 (en) 2006-09-21 2012-01-10 Sony Corporation Image processing apparatus, image processing method, and program
WO2011093888A1 (en) * 2010-01-29 2011-08-04 Hewlett-Packard Development Company L.P. Optical sensor networks and methods for fabricating the same
JPWO2015129474A1 (ja) * 2014-02-28 2017-03-30 ソニー株式会社 ロボットアーム装置、ロボットアーム制御方法及びプログラム
US11633245B2 (en) 2014-02-28 2023-04-25 Sony Corporation Robot arm apparatus and robot arm control method
US10561469B2 (en) 2014-02-28 2020-02-18 Sony Corporation Robot arm apparatus and robot arm control method
US11737841B2 (en) 2015-06-09 2023-08-29 Intuitive Surgical Operations, Inc. Configuring surgical system with surgical procedures atlas
JP2018517506A (ja) * 2015-06-09 2018-07-05 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 外科的処置アトラスを用いた手術システムの構成
JP7166760B2 (ja) 2015-06-09 2022-11-08 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 外科的処置アトラスを用いた手術システムの構成
US11058501B2 (en) 2015-06-09 2021-07-13 Intuitive Surgical Operations, Inc. Configuring surgical system with surgical procedures atlas
US10912619B2 (en) 2015-11-12 2021-02-09 Intuitive Surgical Operations, Inc. Surgical system with training or assist functions
US11751957B2 (en) 2015-11-12 2023-09-12 Intuitive Surgical Operations, Inc. Surgical system with training or assist functions
JP2019526328A (ja) * 2016-09-06 2019-09-19 ヴェリリー ライフ サイエンシズ エルエルシー 手術ミスを防止するためのシステムおよび方法
JP7035309B2 (ja) 2016-12-01 2022-03-15 トヨタ自動車株式会社 マスタスレーブシステム
JP2018089736A (ja) * 2016-12-01 2018-06-14 トヨタ自動車株式会社 マスタスレーブシステム
WO2020054281A1 (ja) * 2018-09-12 2020-03-19 キヤノン株式会社 ロボットシステム、ロボットシステムの制御装置、ロボットシステムの制御方法、撮像装置、制御プログラム及び記録媒体
JP7163115B2 (ja) 2018-09-12 2022-10-31 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
JP2020040184A (ja) * 2018-09-12 2020-03-19 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、制御プログラム及び記録媒体
JP7423726B2 (ja) 2018-09-12 2024-01-29 キヤノン株式会社 ロボットシステム、ロボットシステムの制御方法、ロボットシステムを用いた物品の製造方法、制御装置、操作装置、操作装置の制御方法、撮像装置、撮像装置の制御方法、制御プログラム及び記録媒体
US11992960B2 (en) 2018-09-12 2024-05-28 Canon Kabushiki Kaisha Robot system, control apparatus of robot system, control method of robot system, imaging apparatus, and storage medium
JP2020046893A (ja) * 2018-09-19 2020-03-26 尚紀 北村 手術支援システム及び仮想手術支援システム

Also Published As

Publication number Publication date
EP1443416A1 (en) 2004-08-04
US8255462B2 (en) 2012-08-28
EP1443416A4 (en) 2010-04-07
WO2003040940A1 (fr) 2003-05-15
US20040268264A1 (en) 2004-12-30
JP4032410B2 (ja) 2008-01-16

Similar Documents

Publication Publication Date Title
JP4032410B2 (ja) 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、並びに情報処理装置
EP3781896B1 (en) System for locating and identifying an object in unconstrained environments
Ruesch et al. Multimodal saliency-based bottom-up attention a framework for the humanoid robot icub
US8355816B2 (en) Action teaching system and action teaching method
JP4211292B2 (ja) 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
JP4825980B2 (ja) 魚眼カメラの校正方法。
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
JPH06501585A (ja) 全視野静止カメラオリエンテーションシステム
Berton et al. Anthropomorphic visual sensors
JP4406824B2 (ja) 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム
CN113689577A (zh) 虚拟三维模型与实体模型匹配的方法、系统、设备及介质
JP2003346152A (ja) 物体認識装置及び方法並びにロボット装置
Du et al. Human–robot collaborative control in a virtual-reality-based telepresence system
WO2018116582A1 (ja) 制御装置、制御方法、及び医療用観察システム
JP4123760B2 (ja) 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、情報処理装置、並びに制御装置および制御方法
JP2003346185A (ja) 情報表示システム及び携帯情報端末
JPWO2017179136A1 (ja) 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム
WO2022091787A1 (ja) コミュニケーションシステム、ロボット、及び記憶媒体
Bourbakis et al. A 2D vibration array for sensing dynamic changes and 3D space for Blinds' navigation
JP2003153253A (ja) 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、移動体、並びに情報処理装置
CN115471731A (zh) 图像处理方法、装置、存储介质及设备
JP2023512616A (ja) 顕微鏡システムを制御する装置、方法およびコンピュータプログラム
Gulrez et al. Precision position tracking in virtual reality environments using sensor networks
Sakurai et al. Recognizing pointing behavior using image processing for human-robot interaction
CN115209032B (zh) 基于清洁机器人的图像采集方法、装置、电子设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071014

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4032410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees