JP2004038429A - 合成画像表示システム、合成画像表示方法、合成画像表示プログラム及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】本発明は、画面に表示する物体とカメラで撮影された人物画像とを合成して他のＰＣに提供するときに、あたかも、その人物が物体を操作しているかの如くに見えるようにする新たな合成画像表示技術の提供を目的とする。
【解決手段】カメラの撮影する人物画像と記憶装置に蓄積された物体画像とを合成して表示ＰＣの画面に表示する。このとき、それぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出する。そして、その重なりが検出される場合に、人物画像の持つ特定部位の移動を検出すると、物体画像の表示形態を変更する。これにより、カメラにより撮影される人物は、画面を見ながら指先を物体画像の特定位置にもってくることで、画面に表示される物体を回転させたり、その物体の扉や蓋を開いて内部を表示することが可能となる。
【選択図】　　　　　図９

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示ＰＣの画面に表示するとともに、その合成画像をネットワークを経由して他のＰＣに送信して表示させる合成画像表示システムと、その合成画像表示システムの実現に用いられる合成画像表示方法と、その合成画像表示方法の実現に用いられる合成画像表示プログラムと、その合成画像表示プログラムを記録した記録媒体とに関する。
【０００２】
【従来の技術】
従来の画像表示システムでは、ホームページの表示などに見られるように、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示するような場合には、ユーザにより操作されるマウスなどの操作内容を検出して、それに応じて、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示するようにしている。
【０００３】
また、人の画像と物体の画像とを合成して表示するようなことも行われているが、そのような場合に、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示するような場合には、その表示する人物以外の人により操作されるマウスなどの操作内容を検出して、それに応じて、画面に表示した物体の表示形態を変更したり、その物体に関連する画像を取得して画面に表示することで、あたかも、その合成画面上の人物がその物体を操作しているかの如くに見せるようにしている。
【０００４】
【発明が解決しようとする課題】
最近、画面に表示する物体と撮影カメラで撮影された人物画像とを合成して、あたかも、その人物が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のＰＣに送信するという技術の提供が望まれている。
【０００５】
このような技術が提供されると、例えば、ある製品の操作方法などについてネットワークを介して顧客に説明する場合に、説明者がその製品の扉を開けたりしながら、その製品の操作方法などについて説明したり、説明者がその製品のある箇所に手を触れると、その箇所に関係した画像を表示しながら、その製品の操作方法などについて説明できるようになるというようなことを実現できるようになる。
【０００６】
しかしながら、従来技術に従っていたのでは、他の操作者の支援を受けることなく、この技術を実現することは不可能である。
【０００７】
すなわち、従来技術でも、人の画像と物体の画像とを合成して表示する場合にあって、あたかも、その合成画面上の人物がその物体を操作しているかの如くに見せるようにすることは行われているが、上述したように、それは合成画面上の人物以外の操作者の支援により実現されているものであるからである。
【０００８】
本発明はかかる事情に鑑みてなされたものであって、画面に表示する物体と撮影カメラで撮影された画像（例えば人物画像）とを合成して、他の操作者の支援を受けることなく、あたかも、その撮影カメラで撮影された画像が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のＰＣに送信できるようにする新たな合成画像表示技術の提供を目的とする。
【０００９】
【課題を解決するための手段】
この目的を達成するために、本発明の合成画像表示システムは、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示ＰＣの画面に表示するとともに、その合成画像をネットワークを経由して他のＰＣに送信して表示させるときにあって、▲１▼合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、▲２▼その認識結果に従って、それぞれの画像の持つ特定部位が画面上で重なるのか否かを検出する手段と、▲３▼その重なりが検出される場合に、関連する画像を取得して表示ＰＣの画面に表示する手段とを備えるように構成する。
【００１０】
そして、この目的を達成するために、本発明の合成画像表示システムは、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示ＰＣの画面に表示するとともに、その合成画像をネットワークを経由して他のＰＣに送信して表示させるときにあって、▲１▼合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、▲２▼その認識結果に従って、それぞれの画像の持つ特定部位が画面上で重なるのか否かを検出する手段と、▲３▼その重なりが検出される場合に、合成画像を構成する物体画像の表示形態を変更する手段とを備えるように構成する。
【００１１】
そして、この目的を達成するために、本発明の合成画像表示システムは、撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示ＰＣの画面に表示するとともに、その合成画像をネットワークを経由して他のＰＣに送信して表示させるときにあって、▲１▼合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、▲２▼その認識結果に従って、それぞれの画像の持つ特定部位が画面上で重なるのか否かを検出する手段と、▲３▼その重なりが検出される場合に、合成画像を構成する撮影画像の持つ特定部位の移動を検出する手段と、▲４▼その移動が検出される場合に、合成画像を構成する物体画像の表示形態を変更する手段とを備えるように構成する。
【００１２】
さらに、本発明の合成画像表示システムは、このように構成されるときにあって、合成画像の送信先となるＰＣから接続要求が発行される場合に、複数の表示ＰＣの中から未接続のものを選択する手段を備えたり、物体画像ごとに、表示ＰＣと他のＰＣとの間の接続回数及び／又は接続時間を集計する手段を備えることがある。
【００１３】
以上の各処理手段により実現される本発明の合成画像表示方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供することができる。
【００１４】
このように構成される本発明の合成画像表示システムでは、合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出し、その重なりが検出される場合に、関連する画像を取得して表示ＰＣの画面に表示するように処理する。
【００１５】
ここで、取得した関連画像を、表示ＰＣの画面の他に、他のＰＣの画面にも表示するようにしてもよい。
【００１６】
また、このように構成される本発明の画像合成表示システムでは、合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出し、その重なりが検出される場合に、合成画像を構成する物体画像の表示形態を変更するように処理する。
【００１７】
また、このように構成される本発明の画像合成表示システムでは、合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識して、その認識結果に従って、それらの特定部位が画面上で重なるのか否かを検出し、その重なりが検出される場合に、合成画像を構成する撮影画像の持つ特定部位の移動を検出して、その移動が検出される場合に、合成画像を構成する物体画像の表示形態を変更するように処理する。
【００１８】
このとき、物体画像の表示形態をオン・オフ的に変更するのではなくて、その移動の移動方向や移動量に応じて、物体画像の表示形態を連続的に変更するように処理することがある。
【００１９】
このようにして、本発明の画像合成表示システムによれば、例えば、合成画像に表示される人物は、合成画像を見ながら、▲１▼自分の指先を物体画像の持つ特定部位に重なるようにと空間上を移動させることで、関連する画像を表示できるようになったり、また、▲２▼自分の指先を物体画像の持つ特定部位に重なるようにと空間上を移動させることで、物体画像の持つ扉を開くというように物体画像の表示形態を変更できるようになったり、また、▲３▼自分の指先を物体画像の持つ特定部位に重なるようにと空間上を移動させた後、その位置から指先を移動させることで、物体画像の持つ扉を開くというように物体画像の表示形態を変更できるようになる。
【００２０】
このような形で合成画像の表示を行うときに、複数の企業から提供される物体画像を使って例えば製品の操作方法の説明をするなどのサービスを行う場合には、物体画像ごとに、表示ＰＣと接続要求元ＰＣとの間の接続回数や接続時間を集計できるようになっていることから、それに応じて、それらの企業からサービス利用料金を徴収することができるようになることで、新たなビジネスモデルを構築できるようになる。
【００２１】
このように、本発明によれば、画面に表示する物体と撮影カメラで撮影された画像（例えば人物画像）とを合成して、他の操作者の支援を受けることなく、あたかも、その撮影カメラで撮影された画像が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のＰＣに送信できるようになる。
【００２２】
【発明の実施の形態】
図１に、本発明を具備するシステムの全体構成を図示する。
【００２３】
この図に示すように、本発明を具備するシステムでは、顧客側に設けられる顧客ＰＣ２と受付センタ１に設けられる受付用ＰＣ１０とが、インターネットやＩＰネットワークなどの通信ネットワーク３を介して接続されている。
【００２４】
そして、受付用ＰＣ１０には、受付者を撮影して受付用ＰＣ１０で送信するための撮像カメラ１００が接続されている。
【００２５】
このように構成される本発明を具備するシステムは、例えば、図２に示すように、複数の企業からの業務委託を受けて、受付用ＰＣ１０と顧客ＰＣ２との間で画像を共有しつつ、受付センタ１にいる受付者が各企業の製品の画像を使って、その製品の操作方法などを説明することにより、各企業から手数料の支払いを受け取るというビジネスを実現可能にする。
【００２６】
図３に、受付センタ１のシステム構成の一例を図示する。
【００２７】
この図に示す受付センタ１では、受付用ＰＣ１０は、ＬＡＮ１１を介して合成サーバ１２に接続されている。また、このＬＡＮ１１には、静止画（各企業の製品の静止画）を蓄積する静止画ＤＢ１３と、通信ネットワーク３に接続するためのルータ１４とが接続されている。
【００２８】
ここで、静止画ＤＢ１３に蓄積される静止画の持つ操作可能部位（例えば製品の扉）には、操作可能部位を示すマークが埋め込まれており、このマークには、静止画ＤＢ１３に格納される別の静止画へのアクセスを指示するとか、その操作可能部位についての画面上での回転や拡大や縮小を指示するといったような操作内容が割り付けられている。
【００２９】
図４に、受付センタ１のシステム構成の他の一例を図示する。
【００３０】
この図に示す受付センタ１では、複数の受付用ＰＣ１０がＬＡＮ１１に接続されており、これに合わせて、複数の受付用ＰＣ１０の中で空いているものを探すためのＡＣＤ１５（ａｕｔｏｍａｔｉｃ　ｃａｌｌ　ｄｉｓｔｒｉｂｕｔｏｒ）がＬＡＮ１１に接続されている。
【００３１】
この図４の構成に従う受付センタ１を用いる場合には、顧客ＰＣ２から製品の操作方法についての説明要求が発行されると、その説明要求は合成サーバ１２で受け付けられ、合成サーバ１２からＡＣＤ１５に対して空いている受付用ＰＣ１０の選択指示が発行されることで、空いている受付用ＰＣ１０が選択されて、その選択された受付用ＰＣ１０を操作する受付者（オペレータ）が顧客ＰＣ２から送られてくる質問に応じて、ある企業の製品の操作方法などについて説明を行うことになる。
【００３２】
図５に、ＡＣＤ１５の機能ブロック構成を図示する。
【００３３】
ＡＣＤ１５は、空いている受付用ＰＣ１０の選択処理や各企業に請求する料金の計算処理を行うように処理する。
【００３４】
ＡＣＤ１５は、この処理を行うために、図５に示すように、ＩＰパケット送信部１５０、ＩＰパケット受信部１５１、オーダ分析部１５２、ＰＣ接続／切断監視部１５３、ＰＣ接続カウンタ１５４、料金表保持部１５５、料金計算部１５６、受付用ＰＣ空塞管理部１５７、空きＰＣ選択部１５８を備える。
【００３５】
オーダ分析部１５２は、受信パケットを分析して、▲１▼合成サーバ１２からの空きＰＣ選択指示か、▲２▼着信した受付用ＰＣ１０からの接続開始、終了の通知か、▲３▼管理者などからの料金情報の計算請求かを分析し、それぞれ対応する機能に指示を出す。
【００３６】
ＰＣ接続／切断監視部１５３は、受付用ＰＣ１０からの接続開始、終了の情報を受付用ＰＣ空塞管理部１５７に転送するとともに、ＰＣ接続カウンタ１５４に接続開始、終了の情報を転送する。
【００３７】
ＰＣ接続カウンタ１５４は、受付用ＰＣ１０ごとの接続回数、接続時間を蓄積するとともに、受付者が受付用ＰＣ１０から投入した企業名ごとの接続回数、接続時間の統計を取って記録する。
【００３８】
料金表保持部１５５は、接続回数、接続時間、企業ごとに設定された料金表を保持する。
【００３９】
料金計算部１５６は、管理者などから料金情報の計算要求（各企業にいくら料金を請求するのかについての計算要求）がきた場合、ＰＣ接続カウンタ１５４および料金表保持部１５５の情報を用いて、企業ごとの接続回数、接続時間、料金を計算して返送する。
【００４０】
受付用ＰＣ空塞管理部１５７は、ＰＣ接続／切断監視部１５３から受信した受付用ＰＣ１０の接続開始、終了情報により、受付用ＰＣ１０の空塞を図６に示すようなテーブル構造を持つ受付用ＰＣ空塞管理テーブルを使って管理する。
【００４１】
ここで、図６に示す受付用ＰＣ空塞管理テーブルでは、受付用ＰＣ１０のＩＰアドレスと対応付けて、空き（１）であるのか使用中（０）であるのかを管理するという例を示しているが、ＩＰアドレスの代わりに受付用ＰＣ１０の論理番号を使うことも可能である。
【００４２】
空きＰＣ選択部１５８は、合成サーバ１２からの空きＰＣ選択のオーダに応答して、受付用ＰＣ空塞管理部１５７を検索して空いている受付用ＰＣ１０を選び出し、問い合わせ元である合成サーバ１２に対して、その選んだ受付用ＰＣ１０のＩＰアドレス（あるいは論理番号）を通知する。
【００４３】
この受付用ＰＣ１０の選択の仕方としては、受付用ＰＣ空塞管理テーブルの先頭から順にサーチして空塞表示が空きの受付用ＰＣ１０を選択する方法や、前回選択した受付用ＰＣ１０の次の受付用ＰＣ１０から空塞のチェックを行う方法などを用いることができる。
【００４４】
図７に、合成サーバ１２の機能ブロック構成を図示する。
【００４５】
合成サーバ１２は、受付用ＰＣ１０から送られてくる受付者の画像（映像）と、静止画ＤＢ１３から送られてくる製品の画像とを合成して、受付用ＰＣ１０および顧客ＰＣ２に送信するように処理する。
【００４６】
合成サーバ１２は、この処理を行うために、図７に示すように、受信バッファ１２００、送信バッファ１２０１、ＡＣＤアクセス部１２０２、振り分け部１２０３、オブジェクトバッファ１２０４、映像バッファ１２０５、バッファ制御部１２０６、輪郭検出部１２０７、表示位置検出部１２０８、マーキング位置検出部１２０９、重なり検出部１２１０、動き検出部１２１１、オブジェクト付加属性検索部１２１２、画像合成部１２１３、画像移動処理部１２１４、ＤＢアクセス部１２１５を備える。
【００４７】
ＡＣＤアクセス部１２０２は、顧客ＰＣ２からの着信があった場合に、ＬＡＮ１１を経由してＡＣＤ１５に対して、空いている受付用ＰＣ１０のＩＰアドレス（あるいは論理番号）を要求し、それを受信すると、顧客ＰＣ２のＩＰアドレスとともにバッファ制御部１２０６に通知する。
【００４８】
振り分け部１２０３は、受信したデータが受付用ＰＣ１０の要求した静止画ＤＢ１３から読み出された製品の画像（以下、オブジェクトと称することがある）であるのか、受付用ＰＣ１０から送られてくる受付者の画像（映像）であるのかを判断して、それぞれをオブジェクトバッファ１２０４、映像バッファ１２０５に格納する。
【００４９】
この際、受付用ＰＣ１０からの映像とそれが請求した製品の画像とを、受付用ＰＣ１０に対応付けて用意される対応する映像バッファ１２０５とオブジェクトバッファ１２０４とに格納する。また、バッファ制御部１２０６に対して、受付用ＰＣ１０のＩＰアドレス（あるいは論理番号）とオブジェクトバッファ１２０４および映像バッファ１２０５との対応付け情報を送付する。
【００５０】
オブジェクトバッファ１２０４および映像バッファ１２０５の対は、上述したことから分かるように、受付用ＰＣ１０の数だけ用意される。
【００５１】
輪郭検出部１２０７は、映像バッファ１２０５に格納される受付者の映像から、その受付者の指先を抽出、認識する。この機能は公知の技術で実行可能である。
【００５２】
表示位置検出部１２０８は、輪郭検出部１２０７により認識された指先が画面のどの座標位置に対応するのかを計算する。
【００５３】
マーキング位置検出部１２０９は、オブジェクトバッファ１２０４に格納されるオブジェクトの各操作可能部位にあらかじめ埋め込まれている全てのマークについて、そのマークの画面上での座標位置を計算する。このマークには、上述したように、静止画ＤＢ１３に格納される別の静止画へのアクセスを指示するとか、その操作可能部位についての画面上での回転や拡大や縮小を指示するといったような操作内容が割り付けられている。
【００５４】
重なり検出部１２１０は、表示位置検出部１２０８の検出する指先の座標位置と、マーキング位置検出部１２０９の検出するマークの座標位置とを相互参照して、指先に重なりのあるマークを検出する。
【００５５】
動き検出部１２１１は、表示位置検出部１２０８の検出する指先の画面上での移動を検出（移動の有無の他に、移動方向や移動量を検出することもある）する。
【００５６】
オブジェクト付加属性検索部１２１２は、重なり検出部１２１０により検出されたマーク（指先との重なりの検出されたマーク）と、動き検出部１２１１により検出された指先の移動とから、マークに割り付けられている操作内容が回転、縮小、拡大可能を示すときには、その指先の移動に応じて、オブジェクトを回転、縮小、拡大するようにと画像移動処理部１２１４に通知する。
【００５７】
このとき、指先の移動方向や移動量から、回転や縮小や拡大の大きさを決定するようにしてもよいし、指先の移動方向や移動量に関係なく、移動の有無に応じて、ある定められた大きさの回転や縮小や拡大を決定するようにしてもよい。
【００５８】
一方、オブジェクト付加属性検出部１２１２は、マークに割り付けられる操作内容が別の静止画にアクセスすることを要求している場合には、ＤＢアクセス部１２１５に対して、その指定される静止画にアクセスするように要求し、これにより、その指定される静止画が対応するオブジェクトバッファ１２０４に格納されることになる。
【００５９】
画像移動処理部１２１４は、オブジェクト付加属性検索部１２１２からの通知に従って、オブジェクト（製品の画像）に対して操作を施してオブジェクトバッファ１２０４に格納する。
【００６０】
画像合成部１２１３は、対応するオブジェクトバッファ１２０４および映像バッファ１２０５を一定のタイミングでアクセスして両映像を合成し、バッファ制御部１２０６から指示されたＩＰアドレスに従って、この合成した画像を顧客ＰＣ２および受付用ＰＣ１０に送付する。
【００６１】
なお、ＡＣＤ１５や静止画ＤＢ１３については、合成サーバ１２に実装することも可能である。
【００６２】
図８に、合成サーバ１２の実行する処理フローの一実施形態例を図示する。
【００６３】
次に、この処理フローに従って、このように構成される合成サーバ１２の実行する処理について詳細に説明する。
【００６４】
合成サーバ１２は、データを受信すると、図８の処理フローに示すように、先ず最初に、ステップ１０で、顧客ＰＣ２からの新規の着信であるのか否かを判断して、顧客ＰＣ２からの新規の着信であることを判断するときには、ステップ１１に進んで、ＡＣＤ１５に対して、空いている受付用ＰＣ１０の選択を指示し、続くステップ１２で、発信元の顧客ＰＣ２のＩＰアドレスをバッファ制御部１２０６に通知する。
【００６５】
この空いている受付用ＰＣ１０の選択要求を受けて、ＡＣＤ１５は、上述したように、空いている受付用ＰＣ１０を選択して、その受付用ＰＣ１０のＩＰアドレスを返信してくる。
【００６６】
そして、ＡＣＤ１５により空いている受付用ＰＣ１０が選択されると、その受付用ＰＣ１０を操作する受付者が対応を開始して、顧客は、どの企業のどの製品についての操作方法の提供や相談を望むかについて受付者に通知し、これを受けて、受付者は、静止画ＤＢ１３を検索して該当製品の画像を選択することになる。
【００６７】
このようにして選択された製品の画像や、受付用ＰＣ１０の備える撮像カメラ１００により撮影される受付者の画像（映像）が合成サーバ１２に送られてくることになる。
【００６８】
これから、ステップ１０で、受信データが顧客ＰＣ２からの新規の着信でないことを判断するときには、ステップ１３に進んで、受信データが画像（製品の画像や受付者の画像）であるのか否かを判断して、受信データが画像でないことを判断するとき、すなわち、受信データがステップ１１の処理に応答して返信されてくる空きの受付用ＰＣ１０のＩＰアドレスであることを判断するときには、ステップ１４に進んで、その返信されてくる空きの受付用ＰＣ１０のＩＰアドレスをバッファ制御部１２０６に通知する。
【００６９】
一方、ステップ１３で、受信データが画像であることを判断するときには、ステップ１５に進んで、受信した画像がオブジェクト（製品の画像）であるのか受付者の画像（映像）であるのかを判断して、その判断結果に基づいて、その受信した画像をバッファ制御部１２０６の指示するオブジェクトバッファ１２０４または映像バッファ１２０５に格納する。
【００７０】
このようにして、画像を受信してオブジェクトバッファ１２０４や映像バッファ１２０５に格納すると、ステップ１６に示すように、オブジェクトバッファ１２０４に格納されるオブジェクトと映像バッファ１２０５に格納される映像とを合成して、バッファ制御部１２０６の指示する受付用ＰＣ１０および顧客ＰＣ２（接続要求元の顧客ＰＣ２および、接続先の受付用ＰＣ１０）に送信する。
【００７１】
そして、このようにして、画像を受信してオブジェクトバッファ１２０４や映像バッファ１２０５に格納すると、ステップ１７に示すように、オブジェクトのマーキング位置の画面上の座標を検出して、ステップ１８で示すように、その画面位置が映像から検出された受付者の手や指先の位置（後述するステップ１９で検出する）に重なるのか否かを検出する。
【００７２】
そして、このようにして、画像を受信してオブジェクトバッファ１２０４や映像バッファ１２０５に格納すると、ステップ１９に示すように、受付者の映像から、その受付者の手や指先を認識して、その画面上の座標を検出し、ステップ２０で示すように、その画面位置から受付者の手や指先の動きを検出する。
【００７３】
そして、このようにして、画像を受信してオブジェクトバッファ１２０４や映像バッファ１２０５に格納すると、ステップ２１で示すように、オブジェクトのマーキング位置に割り付けられている付加属性（操作内容）を分析する。
【００７４】
このようにして、ステップ１７ないしステップ２１の処理を実行すると、ステップ２２に進んで、オブジェクトの持つマークと受付者の手や指先との重なりを検出したのか否かを判断して、この重なりを検出しない場合には、何の処理も行わない。
【００７５】
一方、ステップ２２で、オブジェクトの持つマークと受付者の手や指先との重なりを検出した場合には、ステップ２３に進んで、オブジェクトの付加属性の分析結果に基づいて、オブジェクトの全体または一部を回転させたり縮小させたり拡大させたりする動作機能の実行指示が割り付けられているのか否かを判断して、そのような動作機能の実行指示が割り付けられていることを判断するときには、ステップ２４に進んで、検出された受付者の手や指先の動きと割り付けられている動作機能とに従って、オブジェクトバッファ１２０４に格納されるオブジェクト（製品の画像）を動作させる。
【００７６】
一方、ステップ２３で、オブジェクトの動作機能の実行指示が割り付けられていないことを判断するとき、すなわち、別の静止画へのアクセス要求がマークに割り付けられていることを判断する場合には、ステップ２５に進んで、静止画ＤＢ１３にアクセスすることでその静止画を取得するように処理する。
【００７７】
以上に説明した合成サーバ１２の処理に従って、次のようなビジネスを実現できるようになる。
【００７８】
すなわち、顧客が顧客ＰＣ２で接続を要求すると、空いている受付用ＰＣ１０が割り当てられて、その受付用ＰＣ１０の受付者が対応を開始する。顧客は、どの企業のどの製品についての情報提供、相談を望むのかを受付者に話し、それにより受付者が静止画ＤＢ１３を検索して該当製品を選択する。
【００７９】
このとき、顧客が指定した企業の関連全製品の写真が静止画ＤＢ１３からアクセスされて両ＰＣに表示され、これを受けて、受付者は、指で指し示しながら顧客に確認して、該当製品を選択する。この際に、対応する製品の企業情報がＡＣＤ１５内部のＰＣ接続カウンタ１５４に通知される。
【００８０】
続いて、選択された製品の画像が静止画ＤＢ１３から取り出され、受付者と顧客とでその画像を両ＰＣで共有しながら、受付者は、指先の動きに応じて製品の扉や蓋を開けた内部画面などに表示を切り替えながら、顧客に対して、操作方法、接続方法などを説明する。
【００８１】
このようにして、受付者は、例えば図９に示すように、画面を見ながら指先を製品画像の位置にもってくることで、画面に表示される製品を回転させたり、その製品の扉や蓋を開いて内部を表示することが可能となる。
【００８２】
このような表示により、従来電話で説明しても顧客にはわかりにくい内容が視覚的に理解できるようになる。また、受付者も受付用ＰＣ１０の画像を直接見ることで説明が容易になる。さらに、静止画ＤＢ１３に製品マニュアルも併せて格納しておき、例えば受付者の操作する受付用ＰＣ１０にのみマニュアルを表示するといったようなことも可能で、より受付者の利便性を向上できる。このとき、静止画ＤＢ１３から読み出した製品マニュアルを受付用ＰＣ１０のみならず、顧客ＰＣ２にも表示させるようにしてもよい。
【００８３】
上述したように、ＡＣＤ１５には、製品企業ごとの料金集計機能が用意されている。
【００８４】
これから、複数企業の製品を静止画ＤＢ１３に格納して、その操作法や相談に対応することで、各企業に対応料金を請求することが可能である。
【００８５】
したがって、本発明によれば、各企業から受付センタ業者が委託をうけ、顧客からの企業ごとの対応件数、対応時間により委託手数料を受け取るという図２に示したようなビジネスを実現できるようになる。
【００８６】
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものでない。
【００８７】
例えば、実施形態例では、物体画像と受付者の手や指先との重なりが検出される場合に、受付者の手や指先の動きに応答して、物体画像の表示形態を変更するという構成を用いたが、物体画像と受付者の手や指先との重なりが検出されると同時に、受付者の手や指先の動きに関係なく、物体画像の表示形態を変更するという構成を用いてもよい。
【００８８】
また、実施形態例では、撮影カメラにより撮影されるものが人物の画像ということで説明したが、撮影カメラにより撮影されるものは人物の画像に限られるものではない。
【００８９】
【発明の効果】
以上説明したように、本発明によれば、画面に表示する物体と撮影カメラで撮影された画像（例えば人物画像）とを合成して、他の操作者の支援を受けることなく、あたかも、その撮影カメラで撮影された画像が物体を操作しているかの如くに、その物体を扱うことで合成画像を作成して、それをネットワークを経由して他のＰＣに送信できるようになる。
【００９０】
そして、本発明によれば、このような形で合成画像の表示を行うときに、複数の企業から提供される物体画像を使って例えば製品の操作方法の説明をするなどのサービスを行う場合には、物体画像ごとに、表示ＰＣと接続要求元ＰＣとの間の接続回数や接続時間を集計できるようになっていることから、それに応じて、それらの企業からサービス利用料金を徴収することができるようになることで、新たなビジネスモデルを構築できるようになる。
【図面の簡単な説明】
【図１】本発明を具備するシステムの全体構成図である。
【図２】本発明を具備するシステムにより実現されるビジネスの説明図である。
【図３】受付センタのシステム構成の一例である。
【図４】受付センタのシステム構成の他の一例である。
【図５】ＡＣＤの機能ブロック構成図である。
【図６】受付用ＰＣ空塞管理テーブルの説明図である。
【図７】合成サーバの機能ブロック構成図である。
【図８】合成サーバの実行する処理フローの一実施形態例である。
【図９】本発明により実現される合成画像表示処理の説明図である。
【符号の説明】
１　　受付センタ
２　　顧客ＰＣ
３　　通信ネットワーク
１０　受付用ＰＣ
１１　ＬＡＮ
１２　合成サーバ
１３　静止画ＤＢ
１４　ルータ
１５　ＡＣＤ

Claims (12)

1. 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示ＰＣの画面に表示するとともに、該合成画像をネットワークを経由して他のＰＣに送信して表示させる合成画像表示システムであって、
   上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、
   上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する手段と、
   上記重なりが検出される場合に、関連する画像を取得して上記表示ＰＣの画面に表示する手段とを備えることを、
   特徴とする合成画像表示システム。
2. 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示ＰＣの画面に表示するとともに、該合成画像をネットワークを経由して他のＰＣに送信して表示させる合成画像表示システムであって、
   上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、
   上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する手段と、
   上記重なりが検出される場合に、上記合成画像を構成する物体画像の表示形態を変更する手段とを備えることを、
   特徴とする合成画像表示システム。
3. 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示ＰＣの画面に表示するとともに、該合成画像をネットワークを経由して他のＰＣに送信して表示させる合成画像表示システムであって、
   上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する手段と、
   上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する手段と、
   上記重なりが検出される場合に、上記合成画像を構成する撮影画像の持つ上記特定部位の移動を検出する手段と、
   上記移動が検出される場合に、上記合成画像を構成する物体画像の表示形態を変更する手段とを備えることを、
   特徴とする合成画像表示システム。
4. 請求項３記載の合成画像表示システムにおいて、
   上記変更する手段は、上記移動の形態に応じて、上記合成画像を構成する物体画像の表示形態を変更することを、
   特徴とする合成画像表示システム。
5. 請求項１ないし４のいずれか１項に記載の合成画像表示システムにおいて、
   上記合成画像の送信先となるＰＣから接続要求が発行される場合に、複数の表示ＰＣの中から未接続のものを選択する手段を備えることを、
   特徴とする合成画像表示システム。
6. 請求項１ないし４のいずれか１項に記載の合成画像表示システムにおいて、
   上記物体画像ごとに、上記表示ＰＣと上記他のＰＣとの間の接続回数及び／又は接続時間を集計する手段を備えることを、
   特徴とする合成画像表示システム。
7. 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示ＰＣの画面に表示するとともに、該合成画像をネットワークを経由して他のＰＣに送信して表示させる合成画像表示方法であって、
   上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する過程と、
   上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する過程と、
   上記重なりが検出される場合に、関連する画像を取得して上記表示ＰＣの画面に表示する過程とを備えることを、
   特徴とする合成画像表示方法。
8. 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示ＰＣの画面に表示するとともに、該合成画像をネットワークを経由して他のＰＣに送信して表示させる合成画像表示方法であって、
   上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する過程と、
   上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する過程と、
   上記重なりが検出される場合に、上記合成画像を構成する物体画像の表示形態を変更する過程とを備えることを、
   特徴とする合成画像表示方法。
9. 撮像カメラの撮影する画像と記憶装置に蓄積された物体の画像とを合成して表示ＰＣの画面に表示するとともに、該合成画像をネットワークを経由して他のＰＣに送信して表示させる合成画像表示方法であって、
   上記合成画像を構成するそれぞれの画像の持つ特定部位が画面上のどの位置にあるのかを認識する過程と、
   上記認識結果に従って、上記特定部位が画面上で重なるのか否かを検出する過程と、
   上記重なりが検出される場合に、上記合成画像を構成する撮影画像の持つ上記特定部位の移動を検出する過程と、
   上記移動が検出される場合に、上記合成画像を構成する物体画像の表示形態を変更する過程とを備えることを、
   特徴とする合成画像表示方法。
10. 請求項９記載の合成画像表示方法において、
    上記変更する過程では、上記移動の形態に応じて、上記合成画像を構成する物体画像の表示形態を変更することを、
    特徴とする合成画像表示方法。
11. 請求項７ないし１０のいずれか１項に記載の合成画像表示方法の実現に用いられる処理をコンピュータに実行させるための合成画像表示プログラム。
12. 請求項７ないし１０のいずれか１項に記載の合成画像表示方法の実現に用いられる処理をコンピュータに実行させるための合成画像表示プログラムを記録した記録媒体。

Images