JP2017143376A - 画像合成装置および画像合成プログラム - Google Patents
画像合成装置および画像合成プログラム Download PDFInfo
- Publication number
- JP2017143376A JP2017143376A JP2016022730A JP2016022730A JP2017143376A JP 2017143376 A JP2017143376 A JP 2017143376A JP 2016022730 A JP2016022730 A JP 2016022730A JP 2016022730 A JP2016022730 A JP 2016022730A JP 2017143376 A JP2017143376 A JP 2017143376A
- Authority
- JP
- Japan
- Prior art keywords
- image
- room
- indoor
- brightness
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 56
- 230000002194 synthesizing effect Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims 1
- 239000002131 composite material Substances 0.000 abstract description 16
- 238000000034 method Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 210000000746 body region Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】自分側の部屋の室内と画面に映る相手側の室内とが空間的に連続しているかのような臨場感が得られる画像合成装置および画像合成プログラムを提供する。【解決手段】受信部は、第１の室内画像と第２の室内画像とを受信する。第１の室内画像は、第１の画面が設けられる第１の部屋の中を示す画像であって第１の画面が位置する方向から撮像された画像である。第２の室内画像は、第２の画面が設けられる第２の部屋の中を示す画像であって第２の画面が位置する方向から撮像された画像である。加工部は、第２の室内画像のうちの第２の部屋の内面に対応する第２の内面領域に合わせて、第１の内面画像を変形する。第１の内面画像は、第１の室内画像から得られる画像であって第１の部屋の内面を示す画像である。合成部は、変形後の第１の内面画像を第２の室内画像に合成して、第１の画面に表示される合成画像を生成する。【選択図】図１
Description
本発明は、ビデオコミュニケーションシステムに関するものである。
拠点間で、各拠点の映像を観ながら会話を行うビデオコミュニケーションシステムが利用されている。
ビデオコミュニケーションシステムに関して、以下のような技術が提案されている。
特許文献１には、利用者および利用者周辺が映った映像をグラフィカルユーザインタフェースに反映する技術が開示されている。
特許文献２には、拠点間で行われるテレビ会議において、相手側の拠点の映像を自分側の拠点の映像に合成する技術が開示されている。この技術では、各拠点で参加者および背景が映った拠点映像と背景のみが映った背景映像とが撮影され、相手側の拠点映像から参加者の画像が抽出され、抽出された参加者の画像が自分側の背景映像に合成される。
特許文献３には、テレビ会議において、会話している者の視線が合うように画像を表示する技術が開示されている。
特許文献４には、２つの部屋において、相手の部屋内の映像を自分の部屋内に表示する技術が開示されている。この技術では、各部屋に撮影手段が設けられて、各部屋で部屋内の映像が撮影される。そして、自分の部屋内において、自分側の部屋内を撮影した撮影手段が設けられた方向にある壁面に、相手側の部屋内の映像が表示される。
特許文献１には、利用者および利用者周辺が映った映像をグラフィカルユーザインタフェースに反映する技術が開示されている。
特許文献２には、拠点間で行われるテレビ会議において、相手側の拠点の映像を自分側の拠点の映像に合成する技術が開示されている。この技術では、各拠点で参加者および背景が映った拠点映像と背景のみが映った背景映像とが撮影され、相手側の拠点映像から参加者の画像が抽出され、抽出された参加者の画像が自分側の背景映像に合成される。
特許文献３には、テレビ会議において、会話している者の視線が合うように画像を表示する技術が開示されている。
特許文献４には、２つの部屋において、相手の部屋内の映像を自分の部屋内に表示する技術が開示されている。この技術では、各部屋に撮影手段が設けられて、各部屋で部屋内の映像が撮影される。そして、自分の部屋内において、自分側の部屋内を撮影した撮影手段が設けられた方向にある壁面に、相手側の部屋内の映像が表示される。
本発明は、自分側の部屋の室内と画面に映る相手側の室内とが空間的に連続しているかのような臨場感が得られるようにすることを目的とする。
本発明の画像合成装置は、
第１の画面が設けられる第１の部屋の中を示す画像であって前記第１の画面が位置する方向から撮像された画像である第１の室内画像と、第２の画面が設けられる第２の部屋の中を示す画像であって前記第２の画面が位置する方向から撮像された画像である第２の室内画像とを受信する受信部と、
前記第１の室内画像から得られる画像であって前記第１の部屋の内面を示す画像である第１の内面画像を、前記第２の室内画像のうちの前記第２の部屋の内面に対応する第２の内面領域に合わせて、変形する加工部と、
変形後の第１の内面画像を前記第２の室内画像に合成して、前記第１の画面に表示される合成画像を生成する合成部とを備える。
第１の画面が設けられる第１の部屋の中を示す画像であって前記第１の画面が位置する方向から撮像された画像である第１の室内画像と、第２の画面が設けられる第２の部屋の中を示す画像であって前記第２の画面が位置する方向から撮像された画像である第２の室内画像とを受信する受信部と、
前記第１の室内画像から得られる画像であって前記第１の部屋の内面を示す画像である第１の内面画像を、前記第２の室内画像のうちの前記第２の部屋の内面に対応する第２の内面領域に合わせて、変形する加工部と、
変形後の第１の内面画像を前記第２の室内画像に合成して、前記第１の画面に表示される合成画像を生成する合成部とを備える。
前記第１の内面画像は、前記第１の部屋の壁面を示す第１の壁面画像と、前記第１の部屋の床面を示す第１の床面画像と、前記第１の部屋の天井面を示す第１の天井面画像とであり、
前記第２の内面領域は、前記第２の部屋の壁面に対応する第２の壁面領域と、前記第２の部屋の床面に対応する第２の床面領域と、前記第２の部屋の天井面に対応する第２の天井面領域とであり、
前記加工部は、前記第１の壁面画像を前記第２の壁面領域に合わせて変形し、前記第１の床面画像を前記第２の床面領域に合わせて変形し、前記第１の天井面画像を前記第２の天井面領域に合わせて変形する。
前記第２の内面領域は、前記第２の部屋の壁面に対応する第２の壁面領域と、前記第２の部屋の床面に対応する第２の床面領域と、前記第２の部屋の天井面に対応する第２の天井面領域とであり、
前記加工部は、前記第１の壁面画像を前記第２の壁面領域に合わせて変形し、前記第１の床面画像を前記第２の床面領域に合わせて変形し、前記第１の天井面画像を前記第２の天井面領域に合わせて変形する。
第１の部品が、前記第１の部屋の内面に設けられ、
前記画像合成装置は、
前記第１の内面画像から、前記第１の部品を示す部分を第１の部品画像として抽出する抽出部を備え、
前記合成部は、前記第２の部屋の奥行距離に対応する個数の前記第１の部品画像を、変形後の第１の内面画像に対応する奥行の方向に並べて、変形後の第１の内面画像に合成し、合成後の第１の内面画像を前記第２の室内画像に合成する。
前記画像合成装置は、
前記第１の内面画像から、前記第１の部品を示す部分を第１の部品画像として抽出する抽出部を備え、
前記合成部は、前記第２の部屋の奥行距離に対応する個数の前記第１の部品画像を、変形後の第１の内面画像に対応する奥行の方向に並べて、変形後の第１の内面画像に合成し、合成後の第１の内面画像を前記第２の室内画像に合成する。
前記加工部は、並べられた第１の部品画像の各々を、並べられた位置に対応する大きさに縮小し、
前記合成部は、縮小して並べられた第１の部品画像を、変形後の第１の内面画像に合成する。
前記合成部は、縮小して並べられた第１の部品画像を、変形後の第１の内面画像に合成する。
前記第１の部屋が、照明が設けられた天井面を内面として有し、
前記第１の部品が、前記第１の部屋の天井面に設けられた照明である。
前記第１の部品が、前記第１の部屋の天井面に設けられた照明である。
前記加工部は、前記第２の室内画像の明度が前記第１の室内画像の明度より明るい場合、前記第１の部品画像を、点灯している照明を示す点灯画像に置き換え、前記第２の室内画像の明度が前記第１の室内画像の明度より暗い場合、前記第１の部品画像を、消灯している照明を示す消灯画像に置き換える。
前記加工部は、前記第１の室内画像の明度と前記第２の室内画像の明度との明度差が明度閾値より大きい場合、前記第１の部品画像を前記点灯画像または前記消灯画像に置き換え、前記明度差が前記明度閾値より小さい場合、前記第２の室内画像の明度を前記第１の室内画像の明度に合わせて補正する。
前記第１の部屋が、窓が設けられた壁面を内面として有し、
前記第１の部品が、前記第１の部屋の壁面に設けられた窓である。
前記第１の部品が、前記第１の部屋の壁面に設けられた窓である。
前記加工部は、前記第２の室内画像の明度が前記第１の室内画像の明度より明るい場合、前記第１の部品画像を、覆いで覆われていない窓を示す採光画像に置き換えて、前記第２の室内画像の明度が前記第１の室内画像の明度より暗い場合、前記第１の部品画像を、覆いで覆われた窓を示す遮光画像に置き換える。
前記加工部は、前記第１の室内画像の明度と前記第２の室内画像の明度との明度差が明度閾値より大きい場合、前記第１の部品領域を前記採光画像または前記遮光画像に置き換え、前記明度差が前記明度閾値より小さい場合、前記第２の室内画像の明度を前記第１の室内画像の明度に合わせて補正する。
本発明の画像合成プログラムは、
第１の画面が設けられる第１の部屋の中を示す画像であって前記第１の画面が位置する方向から撮像された画像である第１の室内画像と、第２の画面が設けられる第２の部屋の中を示す画像であって前記第２の画面が位置する方向から撮像された画像である第２の室内画像とを受信する受信部と、
前記第１の室内画像から得られる画像であって前記第１の部屋の内面を示す画像である第１の内面画像を、前記第２の室内画像のうちの前記第２の部屋の内面に対応する第２の内面領域に合わせて、変形する加工部と、
変形後の第１の内面画像を前記第２の室内画像に合成して、前記第１の画面に表示される合成画像を生成する合成部として、コンピュータを機能させる。
第１の画面が設けられる第１の部屋の中を示す画像であって前記第１の画面が位置する方向から撮像された画像である第１の室内画像と、第２の画面が設けられる第２の部屋の中を示す画像であって前記第２の画面が位置する方向から撮像された画像である第２の室内画像とを受信する受信部と、
前記第１の室内画像から得られる画像であって前記第１の部屋の内面を示す画像である第１の内面画像を、前記第２の室内画像のうちの前記第２の部屋の内面に対応する第２の内面領域に合わせて、変形する加工部と、
変形後の第１の内面画像を前記第２の室内画像に合成して、前記第１の画面に表示される合成画像を生成する合成部として、コンピュータを機能させる。
本発明によれば、自分側の部屋（第１の部屋）の内面が相手側の部屋（第２の部屋）の内面の大きさ及び形状に合わせて相手側の室内画像に合成されて、合成画像が生成される。この合成画像が画面に表示されることにより、自分側の部屋の室内と画面に映る相手側の部屋の室内とが空間的に連続しているかのような臨場感を得ることができる。
実施の形態１．
ビデオコミュニケーションシステム１００について、図１から図１２に基づいて説明する。
ビデオコミュニケーションシステム１００は、テレビ会議などに用いられるシステムである。
ビデオコミュニケーションシステム１００について、図１から図１２に基づいて説明する。
ビデオコミュニケーションシステム１００は、テレビ会議などに用いられるシステムである。
＊＊＊概要の説明＊＊＊
図１に基づいて、ビデオコミュニケーションシステム１００の概要について説明する。
図１の（１）は、相手側の部屋１１０の室内画像が、自分側の部屋１１０の画面１１２に表示された様子を示している。
自分側の部屋１１０と相手側の部屋１１０とは、壁面１９１に設けられる窓１９５の有無、天井面１９２に設けられる照明１９４の配置および床面１９３の模様などが異なる。
そのため、図１の（１）では、自分側の部屋１１０と相手側の部屋１１０とが空間的に連続しているかのような臨場感を得ることはできない。
図１に基づいて、ビデオコミュニケーションシステム１００の概要について説明する。
図１の（１）は、相手側の部屋１１０の室内画像が、自分側の部屋１１０の画面１１２に表示された様子を示している。
自分側の部屋１１０と相手側の部屋１１０とは、壁面１９１に設けられる窓１９５の有無、天井面１９２に設けられる照明１９４の配置および床面１９３の模様などが異なる。
そのため、図１の（１）では、自分側の部屋１１０と相手側の部屋１１０とが空間的に連続しているかのような臨場感を得ることはできない。
図１の（２）は、相手側の部屋１１０の室内画像が、自分側の部屋１１０の様子に合わせて加工された様子を示している。
自分側の部屋１１０と相手側の部屋１１０の室内画像とは、壁面１９１に設けられる窓１９５の有無、天井面１９２に設けられる照明１９４の配置および床面１９３の模様などが統一されている。
そのため、図１の（２）では、自分側の部屋１１０と相手側の部屋１１０とが空間的に連続しているかのような臨場感を得ることができる。
自分側の部屋１１０と相手側の部屋１１０の室内画像とは、壁面１９１に設けられる窓１９５の有無、天井面１９２に設けられる照明１９４の配置および床面１９３の模様などが統一されている。
そのため、図１の（２）では、自分側の部屋１１０と相手側の部屋１１０とが空間的に連続しているかのような臨場感を得ることができる。
実施の形態１におけるビデオコミュニケーションシステム１００では、図１の（２）のように、相手側の部屋１１０の室内画像が、自分側の部屋１１０の様子に合わせて加工されて、自分側の部屋１１０の画面１１２に表示される。
＊＊＊構成の説明＊＊＊
図２に基づいて、ビデオコミュニケーションシステム１００の構成について説明する。
ビデオコミュニケーションシステム１００は、複数の部屋１１０を有する。部屋１１０はビデオ会議が行われる拠点である。
図２に基づいて、ビデオコミュニケーションシステム１００の構成について説明する。
ビデオコミュニケーションシステム１００は、複数の部屋１１０を有する。部屋１１０はビデオ会議が行われる拠点である。
各々の部屋１１０の中には、画像合成装置２００と、表示装置１１１と、画面１１２と、カメラ１１３と、距離センサ１１４とが設けられる。
画像合成装置２００は、相手側の室内を示す画像に自分側の室内の壁面等を示す画像を合成する装置である。画像合成装置２００の詳細については後述する。
表示装置１１１は、合成して得られた画像を画面１１２に表示する。具体的には、表示装置１１１は、ディスプレイまたはプロジェクタなどである。表示装置１１１はスピーカを備え、スピーカは相手側の室内の音声を出力する。
画面１１２は、合成後の画像が表示される範囲である。表示装置１１１がディスプレイである場合、画面１１２はディスプレイに備わる表示面である。表示装置１１１がプロジェクタである場合、画面１１２は画像が投影されるスクリーンまたは壁面などである。
カメラ１１３は、画面１１２の付近に設けられて、画面１１２が位置する方から室内を撮像して、室内が映った画像を得る。また、カメラ１１３はマイクを備え、マイクは室内の音声を得る。
距離センサ１１４は、室内の奥行を計測する。
画像合成装置２００は、相手側の室内を示す画像に自分側の室内の壁面等を示す画像を合成する装置である。画像合成装置２００の詳細については後述する。
表示装置１１１は、合成して得られた画像を画面１１２に表示する。具体的には、表示装置１１１は、ディスプレイまたはプロジェクタなどである。表示装置１１１はスピーカを備え、スピーカは相手側の室内の音声を出力する。
画面１１２は、合成後の画像が表示される範囲である。表示装置１１１がディスプレイである場合、画面１１２はディスプレイに備わる表示面である。表示装置１１１がプロジェクタである場合、画面１１２は画像が投影されるスクリーンまたは壁面などである。
カメラ１１３は、画面１１２の付近に設けられて、画面１１２が位置する方から室内を撮像して、室内が映った画像を得る。また、カメラ１１３はマイクを備え、マイクは室内の音声を得る。
距離センサ１１４は、室内の奥行を計測する。
画像合成装置２００は、ネットワーク１０１を介して、相手側の画像合成装置２００と通信を行う。具体的には、ネットワーク１０１は、構内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、社内イントラネットまたはインターネットなどである。
また、画像合成装置２００は、自分側の部屋１１０の表示装置１１１、カメラ１１３および距離センサ１１４と通信を行う。
また、画像合成装置２００は、自分側の部屋１１０の表示装置１１１、カメラ１１３および距離センサ１１４と通信を行う。
図３に基づいて、画像合成装置２００の構成について説明する。
画像合成装置２００は、プロセッサ９０１とメモリ９０２と補助記憶装置９０３と通信装置９０４と入力装置９０７とディスプレイ９０８といったハードウェアを備えるコンピュータである。プロセッサ９０１は、信号線を介して他のハードウェアと接続されている。
画像合成装置２００は、プロセッサ９０１とメモリ９０２と補助記憶装置９０３と通信装置９０４と入力装置９０７とディスプレイ９０８といったハードウェアを備えるコンピュータである。プロセッサ９０１は、信号線を介して他のハードウェアと接続されている。
プロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、他のハードウェアを制御する。具体的には、プロセッサ９０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称であり、ＤＳＰはＤｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称であり、ＧＰＵはＧｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
メモリ９０２は揮発性の記憶装置である。メモリ９０２は、主記憶装置またはメインメモリとも呼ばれる。具体的には、メモリ９０２はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
補助記憶装置９０３は不揮発性の記憶装置である。具体的には、補助記憶装置９０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称であり、ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
通信装置９０４は、通信を行う装置であり、レシーバ９０５とトランスミッタ９０６とを備える。具体的には、通信装置９０４は通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
入力装置９０７は、入力を受け付ける装置である。具体的には、入力装置９０７は、キーボード、マウス、テンキーまたはタッチパネルである。
ディスプレイ９０８は、画像を表示する表示装置である。具体的には、ディスプレイ９０８は液晶ディスプレイである。
メモリ９０２は揮発性の記憶装置である。メモリ９０２は、主記憶装置またはメインメモリとも呼ばれる。具体的には、メモリ９０２はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
補助記憶装置９０３は不揮発性の記憶装置である。具体的には、補助記憶装置９０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称であり、ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
通信装置９０４は、通信を行う装置であり、レシーバ９０５とトランスミッタ９０６とを備える。具体的には、通信装置９０４は通信チップまたはＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
入力装置９０７は、入力を受け付ける装置である。具体的には、入力装置９０７は、キーボード、マウス、テンキーまたはタッチパネルである。
ディスプレイ９０８は、画像を表示する表示装置である。具体的には、ディスプレイ９０８は液晶ディスプレイである。
画像合成装置２００は、検出部２１０と抽出部２２０と加工部２３０と合成部２４０と取得部２５０といった「部」を機能構成の要素として備える。「部」の機能はソフトウェアで実現される。「部」の機能については後述する。
補助記憶装置９０３には、「部」の機能を実現するプログラムが記憶されている。「部」の機能を実現するプログラムは、メモリ９０２にロードされて、プロセッサ９０１によって実行される。
さらに、補助記憶装置９０３にはＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が記憶されている。ＯＳの少なくとも一部は、メモリ９０２にロードされて、プロセッサ９０１によって実行される。
つまり、プロセッサ９０１は、ＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
「部」の機能を実現するプログラムを実行して得られるデータは、メモリ９０２、補助記憶装置９０３、プロセッサ９０１内のレジスタまたはプロセッサ９０１内のキャッシュメモリといった記憶装置に記憶される。これらの記憶装置は、データを記憶する記憶部２９１として機能する。
なお、画像合成装置２００が複数のプロセッサ９０１を備えて、複数のプロセッサ９０１が「部」の機能を実現するプログラムを連携して実行してもよい。
さらに、補助記憶装置９０３にはＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が記憶されている。ＯＳの少なくとも一部は、メモリ９０２にロードされて、プロセッサ９０１によって実行される。
つまり、プロセッサ９０１は、ＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
「部」の機能を実現するプログラムを実行して得られるデータは、メモリ９０２、補助記憶装置９０３、プロセッサ９０１内のレジスタまたはプロセッサ９０１内のキャッシュメモリといった記憶装置に記憶される。これらの記憶装置は、データを記憶する記憶部２９１として機能する。
なお、画像合成装置２００が複数のプロセッサ９０１を備えて、複数のプロセッサ９０１が「部」の機能を実現するプログラムを連携して実行してもよい。
メモリ９０２には、画像合成装置２００で使用、生成、入出力または送受信されるデータが記憶される。
具体的には、メモリ９０２には、第１の室内データ１２０、第１の付加データ１３０、第２の室内データ１４０、第２の付加データ１５０および合成画像１６０等が記憶される。メモリ９０２に記憶されるデータの内容については後述する。
具体的には、メモリ９０２には、第１の室内データ１２０、第１の付加データ１３０、第２の室内データ１４０、第２の付加データ１５０および合成画像１６０等が記憶される。メモリ９０２に記憶されるデータの内容については後述する。
通信装置９０４はデータを通信する通信部として機能し、レシーバ９０５はデータを受信する受信部２９２として機能し、トランスミッタ９０６はデータを送信する送信部２９３として機能する。
入力装置９０７は入力を受け付ける受付部２９４として機能する。
ディスプレイ９０８はデータを表示する表示部２９５として機能する。
入力装置９０７は入力を受け付ける受付部２９４として機能する。
ディスプレイ９０８はデータを表示する表示部２９５として機能する。
プロセッサ９０１とメモリ９０２と補助記憶装置９０３とをまとめたハードウェアを「プロセッシングサーキットリ」という。
「部」は「処理」または「工程」に読み替えてもよい。「部」の機能はファームウェアで実現してもよい。
「部」の機能を実現するプログラムは、磁気ディスク、光ディスクまたはフラッシュメモリ等の不揮発性の記憶媒体に記憶することができる。
「部」は「処理」または「工程」に読み替えてもよい。「部」の機能はファームウェアで実現してもよい。
「部」の機能を実現するプログラムは、磁気ディスク、光ディスクまたはフラッシュメモリ等の不揮発性の記憶媒体に記憶することができる。
＊＊＊動作の説明＊＊＊
画像合成装置２００の動作は画像合成方法に相当する。また、画像合成方法の手順は画像合成プログラムの手順に相当する。
画像合成装置２００の動作は画像合成方法に相当する。また、画像合成方法の手順は画像合成プログラムの手順に相当する。
以下、自分側の部屋１１０に関する名称に「第１」を付し、相手側の部屋１１０に関する名称に「第２」を付して説明を行う。
図４に基づいて、画像合成方法について説明する。
ステップＳ１１０は第１のデータ取得処理である。
ステップＳ１１０において、画像合成装置２００は、第１の室内データ１２０と第１の付加データ１３０とを取得する。
ステップＳ１１０は第１のデータ取得処理である。
ステップＳ１１０において、画像合成装置２００は、第１の室内データ１２０と第１の付加データ１３０とを取得する。
図５に基づいて、第１の室内データ１２０および第１の付加データ１３０の構成について説明する。
第１の室内データ１２０は、第１の室内画像１２１と、第１の室内音声１２２とを含む。
第１の付加データ１３０は、第１の動体領域情報１３１と、第１の指定領域情報１３２と、第１の内面領域情報１３３と、第１の画像明度１３４と、第１の撮像角度１３５と、第１の奥行距離１３６と、第１の部品画像群１３７とを含む。
第１の室内データ１２０は、第１の室内画像１２１と、第１の室内音声１２２とを含む。
第１の付加データ１３０は、第１の動体領域情報１３１と、第１の指定領域情報１３２と、第１の内面領域情報１３３と、第１の画像明度１３４と、第１の撮像角度１３５と、第１の奥行距離１３６と、第１の部品画像群１３７とを含む。
図６に基づいて、第１のデータ取得処理（Ｓ１１０）の手順について説明する。
ステップＳ１１１において、画像合成装置２００は、第１の室内画像１２１と第１の室内音声１２２とを取得する。
ステップＳ１１１において、画像合成装置２００は、第１の室内画像１２１と第１の室内音声１２２とを取得する。
第１の室内画像１２１は、第１のカメラ１１３から見える第１の部屋１１０の中を示す画像である。
第１の室内画像１２１には、第１の部屋１１０にいる人間、第１の部屋１１０にある家具および第１の部屋１１０の内面などが映っている。
部屋１１０の内面は、壁面、床面および天井面である。壁面には、右の壁面、左の壁面および奥の壁面がある。
第１の室内音声１２２は、第１の部屋１１０の中の音声である。
第１の室内画像１２１には、第１の部屋１１０にいる人間、第１の部屋１１０にある家具および第１の部屋１１０の内面などが映っている。
部屋１１０の内面は、壁面、床面および天井面である。壁面には、右の壁面、左の壁面および奥の壁面がある。
第１の室内音声１２２は、第１の部屋１１０の中の音声である。
具体的には、画像合成装置２００は、第１の室内画像１２１と第１の室内音声１２２とを以下のように取得する。
第１のカメラ１１３は、第１の室内画像１２１と第１の室内音声１２２とを得て、第１の室内画像１２１と第１の室内音声１２２とを画像合成装置２００に送信する。
そして、画像合成装置２００の受信部２９２は、第１の室内画像１２１と第１の室内音声１２２とを受信する。
第１のカメラ１１３は、第１の室内画像１２１と第１の室内音声１２２とを得て、第１の室内画像１２１と第１の室内音声１２２とを画像合成装置２００に送信する。
そして、画像合成装置２００の受信部２９２は、第１の室内画像１２１と第１の室内音声１２２とを受信する。
また、加工部２３０は、第１の室内画像１２１に対して視点変換を行う。視点変換は、第１の視点から見た像を示す画像を第２の視点から見た像を示す画像に変換する画像処理である。視点は、画像を撮像したカメラの位置に相当する。
具体的には、加工部２３０は、第１の撮像角度１３５に基づいて、第１の室内画像１２１を、視線方向から見た第１の部屋１１０の中を示す画像に補正する。
第１の撮像角度１３５は、第１のカメラ１１３が第１の部屋１１０の中を撮像する方向を示す３次元の角度である。後述するように、第１の撮像角度１３５は記憶部２９１に予め記憶されている。
視線方向は、画面１１２に対応する方向である。具体的には、視線方向は、画面１１２と直交する方向、または、画面１１２とおおよそ直交するする方向である。
具体的には、加工部２３０は、第１の撮像角度１３５に基づいて、第１の室内画像１２１を、視線方向から見た第１の部屋１１０の中を示す画像に補正する。
第１の撮像角度１３５は、第１のカメラ１１３が第１の部屋１１０の中を撮像する方向を示す３次元の角度である。後述するように、第１の撮像角度１３５は記憶部２９１に予め記憶されている。
視線方向は、画面１１２に対応する方向である。具体的には、視線方向は、画面１１２と直交する方向、または、画面１１２とおおよそ直交するする方向である。
図７に、カメラ１１３の設置位置と室内画像との関係を示す。
図７の（Ａ）のように、カメラ１１３が部屋の正面に設けられた場合、図７の（Ｂ）のように、視線方向から見た室内の様子を示す画像が得られる。このような画像が相手側の画面１１２に表示されると、相手側の部屋１１０の室内と相手側の画面１１２に映る室内とによって空間的な連続性が創り出されて、違和感が減少する。
図７の（Ｃ）のように、カメラ１１３が部屋の隅に設けられた場合、図７の（Ｄ）のように、視線方向とは異なる方向から見た室内の様子を示す画像が得られる。このような画像が相手側の画面１１２に表示されると、相手側の部屋１１０の室内と相手側の画面１１２に映る室内とによって空間的な連続性が創り出されず、違和感が増大する。
そこで、加工部２３０は、図７の（Ｄ）のような室内画像を図７の（Ｂ）のような室内画像に補正する。
図７の（Ａ）のように、カメラ１１３が部屋の正面に設けられた場合、図７の（Ｂ）のように、視線方向から見た室内の様子を示す画像が得られる。このような画像が相手側の画面１１２に表示されると、相手側の部屋１１０の室内と相手側の画面１１２に映る室内とによって空間的な連続性が創り出されて、違和感が減少する。
図７の（Ｃ）のように、カメラ１１３が部屋の隅に設けられた場合、図７の（Ｄ）のように、視線方向とは異なる方向から見た室内の様子を示す画像が得られる。このような画像が相手側の画面１１２に表示されると、相手側の部屋１１０の室内と相手側の画面１１２に映る室内とによって空間的な連続性が創り出されず、違和感が増大する。
そこで、加工部２３０は、図７の（Ｄ）のような室内画像を図７の（Ｂ）のような室内画像に補正する。
図６に戻り、ステップＳ１１２から説明を続ける。
ステップＳ１１２において、画像合成装置２００は、第１の動体領域情報１３１を取得する。
第１の動体領域情報１３１は、第１の動体領域を示す情報である。第１の動体領域は、第１の室内画像１２１のうちの動体領域である。動体領域は、動体を示す部分である。動体は動く物体である。具体的な動体は人間である。
ステップＳ１１２において、画像合成装置２００は、第１の動体領域情報１３１を取得する。
第１の動体領域情報１３１は、第１の動体領域を示す情報である。第１の動体領域は、第１の室内画像１２１のうちの動体領域である。動体領域は、動体を示す部分である。動体は動く物体である。具体的な動体は人間である。
具体的には、画像合成装置２００の検出部２１０が、第１の動体領域情報１３１を以下のように取得する。
まず、検出部２１０は、今回取得された第１の室内画像１２１を、前回以前に取得された第１の室内画像１２１と比較する。
次に、検出部２１０は、比較結果に基づいて、今回の第１の室内画像１２１から、前回以前の第１の室内画像１２１と異なる部分を検出する。検出される部分が動体領域である。具体的には、検出部２１０は、差分の値が閾値より大きい部分を動体領域として検出する。閾値は、外光または照明光のゆらぎ等が動体として検出されないように、予め決められた値である。
そして、検出部２１０は、動体領域を示す情報を生成する。生成される情報が第１の動体領域情報１３１である。
まず、検出部２１０は、今回取得された第１の室内画像１２１を、前回以前に取得された第１の室内画像１２１と比較する。
次に、検出部２１０は、比較結果に基づいて、今回の第１の室内画像１２１から、前回以前の第１の室内画像１２１と異なる部分を検出する。検出される部分が動体領域である。具体的には、検出部２１０は、差分の値が閾値より大きい部分を動体領域として検出する。閾値は、外光または照明光のゆらぎ等が動体として検出されないように、予め決められた値である。
そして、検出部２１０は、動体領域を示す情報を生成する。生成される情報が第１の動体領域情報１３１である。
ステップＳ１１３において、画像合成装置２００は、第１の指定領域情報１３２を取得する。
第１の指定領域情報１３２は、第１の指定領域を示す情報である。第１の指定領域は、第１の室内画像１２１のうちの指定領域である。指定領域は、加工される対象とならない領域として指定された部分である。具体的には、テーブルセット（テーブルと椅子）または書棚などの家具を示す部分が、指定領域として指定される。
第１の指定領域情報１３２は、第１の指定領域を示す情報である。第１の指定領域は、第１の室内画像１２１のうちの指定領域である。指定領域は、加工される対象とならない領域として指定された部分である。具体的には、テーブルセット（テーブルと椅子）または書棚などの家具を示す部分が、指定領域として指定される。
第１の指定領域情報１３２は記憶部２９１に予め記憶されて、画像合成装置２００の取得部２５０が第１の指定領域情報１３２を記憶部２９１から取得する。
第１の指定領域情報１３２は、以下のように記憶部２９１に記憶される。
まず、利用者は、入力装置９０７を操作して、画像合成装置２００に表示命令を入力する。画像合成装置２００において、受付部２９４は表示命令を受け付けて、表示部２９５は第１の室内画像１２１を表示する。
次に、利用者は、入力装置９０７を操作して、画像合成装置２００に第１の指定領域情報１３２を入力する。具体的には、利用者は、マウスを操作して、指定したい領域を囲う。但し、利用者が指定したい領域内の一点を指定し、検出部２１０が指定された一点を含んだ領域を検出してもよい。
そして、画像合成装置２００において、受付部２９４は第１の指定領域情報１３２を受け付けて、記憶部２９１は第１の指定領域情報１３２を記憶する。
まず、利用者は、入力装置９０７を操作して、画像合成装置２００に表示命令を入力する。画像合成装置２００において、受付部２９４は表示命令を受け付けて、表示部２９５は第１の室内画像１２１を表示する。
次に、利用者は、入力装置９０７を操作して、画像合成装置２００に第１の指定領域情報１３２を入力する。具体的には、利用者は、マウスを操作して、指定したい領域を囲う。但し、利用者が指定したい領域内の一点を指定し、検出部２１０が指定された一点を含んだ領域を検出してもよい。
そして、画像合成装置２００において、受付部２９４は第１の指定領域情報１３２を受け付けて、記憶部２９１は第１の指定領域情報１３２を記憶する。
ステップＳ１１４において、画像合成装置２００は、第１の内面領域情報１３３を取得する。
第１の内面領域情報１３３は、第１の内面領域を示す情報である。第１の内面領域は、第１の室内画像１２１のうちの内面領域である。内面領域は内面を示す部分である。具体的な内面は、壁面、床面および天井面である。
第１の内面領域情報１３３は、第１の内面領域を示す情報である。第１の内面領域は、第１の室内画像１２１のうちの内面領域である。内面領域は内面を示す部分である。具体的な内面は、壁面、床面および天井面である。
具体的には、画像合成装置２００の検出部２１０が、第１の内面領域情報１３３を以下のように取得する。
検出部２１０は、第１の室内画像１２１から境界線を検出し、検出した境界線を繋げて四角領域を検出する。検出される四角領域が内面領域である。四角領域は四角形の部分である。境界線はエッジともいう。右の四角領域が右の壁面を示す部分であり、左の四角領域が左の壁面を示す部分であり、中央の四角領域が奥の壁面を示す部分である。また、上の四角領域が天井面を示す部分であり、下の四角領域が床面を示す部分である。
そして、検出部２１０は、検出した四角領域を示す情報を生成する。生成される情報が第１の内面領域情報１３３である。
検出部２１０は、第１の室内画像１２１から境界線を検出し、検出した境界線を繋げて四角領域を検出する。検出される四角領域が内面領域である。四角領域は四角形の部分である。境界線はエッジともいう。右の四角領域が右の壁面を示す部分であり、左の四角領域が左の壁面を示す部分であり、中央の四角領域が奥の壁面を示す部分である。また、上の四角領域が天井面を示す部分であり、下の四角領域が床面を示す部分である。
そして、検出部２１０は、検出した四角領域を示す情報を生成する。生成される情報が第１の内面領域情報１３３である。
また、柱のような突起物が内面にある場合、検出部２１０は、内面領域から突起領域を検出する。突起領域は、突起物を示す部分である。
突起領域が検出された場合、加工部２３０は、内面領域を、突起物がない状態に加工する。つまり、加工部２３０は、内面領域を、平らな内面を示す画像に加工する。
突起領域が検出された場合、加工部２３０は、内面領域を、突起物がない状態に加工する。つまり、加工部２３０は、内面領域を、平らな内面を示す画像に加工する。
ステップＳ１１５において、画像合成装置２００は、第１の画像明度１３４を取得する。
第１の画像明度１３４は、第１の室内画像１２１の明度である。
第１の画像明度１３４は、第１の室内画像１２１の明度である。
具体的には、画像合成装置２００の取得部２５０が、第１の室内画像１２１を用いて、第１の画像明度１３４を算出する。
ステップＳ１１６において、画像合成装置２００は、第１の撮像角度１３５を取得する。
第１の撮像角度１３５は、第１のカメラ１１３が第１の部屋１１０の中を撮像する方向を示す３次元の角度である。
第１の撮像角度１３５は、第１のカメラ１１３が第１の部屋１１０の中を撮像する方向を示す３次元の角度である。
具体的には、画像合成装置２００の取得部２５０が、記憶部２９１から第１の撮像角度１３５を取得する。
第１の撮像角度１３５は、第１のカメラ１１３から画像合成装置２００に送信されて、記憶部２９１に予め記憶される。
第１の撮像角度１３５は、第１のカメラ１１３から画像合成装置２００に送信されて、記憶部２９１に予め記憶される。
ステップＳ１１７において、画像合成装置２００は、第１の奥行距離１３６を取得する。
第１の奥行距離１３６は、第１の部屋１１０の奥行の長さである。
第１の奥行距離１３６は、第１の部屋１１０の奥行の長さである。
具体的には、画像合成装置２００の取得部２５０が，記憶部２９１から第１の奥行距離１３６を取得する。
第１の奥行距離１３６は、第１の距離センサ１１４から画像合成装置２００に送信されて、記憶部２９１に予め記憶される。
第１の奥行距離１３６は、第１の距離センサ１１４から画像合成装置２００に送信されて、記憶部２９１に予め記憶される。
ステップＳ１１８において、画像合成装置２００は、第１の部品画像群１３７を取得する。
第１の部品画像群１３７は、１つ以上の第１の部品画像である。第１の部品画像は、第１の部品を示す画像である。第１の部品は、第１の部屋１１０の内面に設けられた部品である。具体的な部品は、天井面に設けられた照明および壁面に設けられた窓である。
第１の部品画像群１３７は、１つ以上の第１の部品画像である。第１の部品画像は、第１の部品を示す画像である。第１の部品は、第１の部屋１１０の内面に設けられた部品である。具体的な部品は、天井面に設けられた照明および壁面に設けられた窓である。
第１の部品画像は以下のように取得される。
検出部２１０は、第１の室内画像１２１内の内面領域から第１の部品領域を検出する。第１の部品領域は第１の部品を示す部分である。具体的には、検出部２１０は、第１の室内画像１２１内の内面領域から境界線を検出し、検出された境界線で囲われた部分を検出する。検出される部分が第１の部品領域となる。
抽出部２２０は、第１の室内画像１２１内の内面領域から、第１の部品領域を抽出する。抽出される第１の部品領域が第１の部品画像となる。
検出部２１０は、第１の室内画像１２１内の内面領域から第１の部品領域を検出する。第１の部品領域は第１の部品を示す部分である。具体的には、検出部２１０は、第１の室内画像１２１内の内面領域から境界線を検出し、検出された境界線で囲われた部分を検出する。検出される部分が第１の部品領域となる。
抽出部２２０は、第１の室内画像１２１内の内面領域から、第１の部品領域を抽出する。抽出される第１の部品領域が第１の部品画像となる。
図４に戻り、ステップＳ１２０から説明を続ける。
ステップＳ１２０において、送信部２９３は、第１の室内データ１２０と第１の付加データ１３０とを相手側の画像合成装置２００に送信する。
ステップＳ１２０において、送信部２９３は、第１の室内データ１２０と第１の付加データ１３０とを相手側の画像合成装置２００に送信する。
ステップＳ１３０において、相手側の画像合成装置２００から、第２の室内データ１４０および第２の付加データ１５０が送信される。
そして、受信部２９２は、第２の室内データ１４０と第２の付加データ１５０とを受信する。
そして、受信部２９２は、第２の室内データ１４０と第２の付加データ１５０とを受信する。
図８に基づいて、第２の室内データ１４０および第２の付加データ１５０の構成について説明する。
第２の室内データ１４０および第２の付加データ１５０は、相手側の画像合成装置２００で取得された第１の室内データ１２０および第１の付加データ１３０である。
第２の室内データ１４０および第２の付加データ１５０は、相手側の画像合成装置２００で取得された第１の室内データ１２０および第１の付加データ１３０である。
第２の室内データ１４０は、第２の室内画像１４１と、第２の室内音声１４２とを含む。
第２の室内画像１４１は、第２のカメラ１１３から見える第２の部屋１１０の中を示す画像である。
第２の室内音声１４２は、第２の部屋１１０の中の音声である。
第２の室内画像１４１は、第２のカメラ１１３から見える第２の部屋１１０の中を示す画像である。
第２の室内音声１４２は、第２の部屋１１０の中の音声である。
第２の付加データ１５０は、第２の動体領域情報１５１と、第２の指定領域情報１５２と、第２の内面領域情報１５３と、第２の画像明度１５４と、第２の撮像角度１５５と、第２の奥行距離１５６と、第２の部品画像群１５７とを含む。
第２の動体領域情報１５１は、第２の動体領域を示す情報である。第２の動体領域は、第２の室内画像１４１のうちの動体領域である。動体領域は、前述の通り、人間のような動体を示す部分である。
第２の指定領域情報１５２は、第２の指定領域を示す情報である。第２の指定領域は、第２の室内画像１４１のうちの指定領域である。指定領域は、前述の通り、テーブルセットまたは書棚などの家具を示す部分である。
第２の内面領域情報１５３は、第２の内面領域を示す情報である。第２の内面領域は、第２の室内画像１４１のうちの内面領域である。内面領域は、前述の通り、壁面、床面および天井面などの内面を示す部分である。
第２の画像明度１５４は、第２の室内画像１４１の明度である。
第２の撮像角度１５５は、第２のカメラ１１３が第２の部屋１１０の中を撮像する方向を示す３次元の角度である。
第２の奥行距離１５６は、第２の部屋１１０の奥行の長さである。
第２の部品画像群１５７は、１つ以上の第２の部品画像である。第２の部品画像は、第２の部品を示す画像である。第２の部品は、第２の部屋１１０の内面に設けられた部品である。部品は、前述の通り、照明および窓である。
第２の動体領域情報１５１は、第２の動体領域を示す情報である。第２の動体領域は、第２の室内画像１４１のうちの動体領域である。動体領域は、前述の通り、人間のような動体を示す部分である。
第２の指定領域情報１５２は、第２の指定領域を示す情報である。第２の指定領域は、第２の室内画像１４１のうちの指定領域である。指定領域は、前述の通り、テーブルセットまたは書棚などの家具を示す部分である。
第２の内面領域情報１５３は、第２の内面領域を示す情報である。第２の内面領域は、第２の室内画像１４１のうちの内面領域である。内面領域は、前述の通り、壁面、床面および天井面などの内面を示す部分である。
第２の画像明度１５４は、第２の室内画像１４１の明度である。
第２の撮像角度１５５は、第２のカメラ１１３が第２の部屋１１０の中を撮像する方向を示す３次元の角度である。
第２の奥行距離１５６は、第２の部屋１１０の奥行の長さである。
第２の部品画像群１５７は、１つ以上の第２の部品画像である。第２の部品画像は、第２の部品を示す画像である。第２の部品は、第２の部屋１１０の内面に設けられた部品である。部品は、前述の通り、照明および窓である。
図４に戻り、ステップＳ１４０から説明を続ける。
ステップＳ１４０は合成画像生成処理である。
ステップＳ１４０において、加工部２３０は、第１の内面画像を第２の内面領域に合わせて変形する。
第１の内面画像は、第１の室内画像１２１から得られる画像であって第１の部屋１１０の内面を示す画像である。
第２の内面領域は、第２の室内画像１４１のうちの第２の部屋１１０の内面に対応する部分である。
ステップＳ１４０は合成画像生成処理である。
ステップＳ１４０において、加工部２３０は、第１の内面画像を第２の内面領域に合わせて変形する。
第１の内面画像は、第１の室内画像１２１から得られる画像であって第１の部屋１１０の内面を示す画像である。
第２の内面領域は、第２の室内画像１４１のうちの第２の部屋１１０の内面に対応する部分である。
具体的には、第１の内面画像は、第１の壁面画像、第１の床面画像および第１の天井面画像である。第１の壁面画像は、第１の部屋１１０の壁面を示す画像である。第１の床面画像は、第１の部屋１１０の床面を示す画像である。第１の天井面画像は、第１の部屋１１０の天井面を示す画像である。
また、第２の内面領域は、第２の壁面領域、第２の床面領域および第２の天井面領域である。第２の壁面領域は、第２の部屋の壁面に対応する領域である。第２の床面領域は、第２の部屋の床面に対応する領域である。第２の天井面領域は、第２の天井面に対応する領域である。
加工部２３０は、第１の壁面画像を第２の壁面領域に合わせて変形し、第１の床面画像を第２の床面領域に合わせて変形し、第１の天井面画像を第２の天井面領域に合わせて変形する。
また、第２の内面領域は、第２の壁面領域、第２の床面領域および第２の天井面領域である。第２の壁面領域は、第２の部屋の壁面に対応する領域である。第２の床面領域は、第２の部屋の床面に対応する領域である。第２の天井面領域は、第２の天井面に対応する領域である。
加工部２３０は、第１の壁面画像を第２の壁面領域に合わせて変形し、第１の床面画像を第２の床面領域に合わせて変形し、第１の天井面画像を第２の天井面領域に合わせて変形する。
そして、合成部２４０は、変形後の第１の内面画像を第２の室内画像１４１に合成して、合成画像１６０を生成する。
合成画像１６０は、第１の画面１１２に表示される画像である。
合成画像１６０は、第１の画面１１２に表示される画像である。
図９に基づいて、合成画像生成処理（Ｓ１４０）の概要を説明する。
（１）に示すように、第１の室内画像１２１から得られる天井面画像は、第２の室内画像１４１の天井面領域に合わせて変形されて、第２の室内画像１４１の天井面領域に合成される。
（２）に示すように、第１の室内画像１２１から得られる壁面画像は、第２の室内画像１４１の壁面領域に合わせて変形されて、第２の室内画像１４１の壁面領域に合成される。
（３）に示すように、第１の室内画像１２１から得られる床面画像は、第２の室内画像１４１の床面領域に合わせて変形されて、第２の室内画像１４１の床面領域に合成される。
（１）に示すように、第１の室内画像１２１から得られる天井面画像は、第２の室内画像１４１の天井面領域に合わせて変形されて、第２の室内画像１４１の天井面領域に合成される。
（２）に示すように、第１の室内画像１２１から得られる壁面画像は、第２の室内画像１４１の壁面領域に合わせて変形されて、第２の室内画像１４１の壁面領域に合成される。
（３）に示すように、第１の室内画像１２１から得られる床面画像は、第２の室内画像１４１の床面領域に合わせて変形されて、第２の室内画像１４１の床面領域に合成される。
合成画像生成処理（Ｓ１４０）の詳細については後述する。
図４に戻り、ステップＳ１５０を説明する。
ステップＳ１５０において、画像合成装置２００は、合成画像１６０を第１の画面１１２に表示し、第２の室内音声１４２を第１のスピーカから出力する。
具体的には、画像合成装置２００の送信部２９３が合成画像１６０と第２の室内音声１４２とを第１の表示装置１１１に送信し、第１の表示装置１１１が合成画像１６０と第２の室内音声１４２とを受信する。そして、第１の表示装置１１１が、合成画像１６０を第１の画面１１２に表示し、第２の室内音声１４２を第１のスピーカから出力する。
ステップＳ１５０において、画像合成装置２００は、合成画像１６０を第１の画面１１２に表示し、第２の室内音声１４２を第１のスピーカから出力する。
具体的には、画像合成装置２００の送信部２９３が合成画像１６０と第２の室内音声１４２とを第１の表示装置１１１に送信し、第１の表示装置１１１が合成画像１６０と第２の室内音声１４２とを受信する。そして、第１の表示装置１１１が、合成画像１６０を第１の画面１１２に表示し、第２の室内音声１４２を第１のスピーカから出力する。
図１０に基づいて、合成画像生成処理（Ｓ１４０）の手順を説明する。
ステップＳ１４１において、加工部２３０は、第１の室内画像１２１を用いて、第１の内面画像を生成する。
ステップＳ１４１において、加工部２３０は、第１の室内画像１２１を用いて、第１の内面画像を生成する。
具体的には、第１の内面画像は、以下のように生成される。
まず、抽出部２２０は、第１の内面領域情報１３３が示す第１の内面領域を、第１の室内画像１２１から抽出する。抽出される第１の内面領域が第１の内面画像となる。
次に、検出部２１０は、第１の内面画像から、第１の部品領域を検出する。第１の部品領域を検出する方法は、ステップＳ１１８における方法と同じである。
次に、抽出部２２０は、第１の内面画像から、第１の部品領域以外の領域の一部を抽出する。
そして、加工部２３０は、抽出された部分を用いて、第１の部品領域を塗りつぶす。
まず、抽出部２２０は、第１の内面領域情報１３３が示す第１の内面領域を、第１の室内画像１２１から抽出する。抽出される第１の内面領域が第１の内面画像となる。
次に、検出部２１０は、第１の内面画像から、第１の部品領域を検出する。第１の部品領域を検出する方法は、ステップＳ１１８における方法と同じである。
次に、抽出部２２０は、第１の内面画像から、第１の部品領域以外の領域の一部を抽出する。
そして、加工部２３０は、抽出された部分を用いて、第１の部品領域を塗りつぶす。
ステップＳ１４２において、加工部２３０は、第１の内面画像を第２の内面領域に合わせて変形する。
具体的には、加工部２３０は、第２の内面領域情報１５３が示す第２の内面領域の大きさ及び形状に合わせて、第１の内面画像を変形する。
具体的には、加工部２３０は、第２の内面領域情報１５３が示す第２の内面領域の大きさ及び形状に合わせて、第１の内面画像を変形する。
ステップＳ１４３において、加工部２３０は、第１の室内画像１２１の明度と第２の室内画像１４１の明度との明度差を、第１の閾値と比較する。
具体的には、加工部２３０は、第１の画像明度１３４と第２の画像明度１５４との明度差を算出し、算出した明度差を第１の閾値と比較する。
明度差が第１の閾値より大きい場合、処理はステップＳ１４４に進む。
明度差が第１の閾値以下である場合、処理はステップＳ１４７に進む。
具体的には、加工部２３０は、第１の画像明度１３４と第２の画像明度１５４との明度差を算出し、算出した明度差を第１の閾値と比較する。
明度差が第１の閾値より大きい場合、処理はステップＳ１４４に進む。
明度差が第１の閾値以下である場合、処理はステップＳ１４７に進む。
ステップＳ１４４において、加工部２３０は、第１の室内画像１２１の明度と第２の室内画像１４１の明度との明度差を、第２の閾値と比較する。第２の閾値は、第１の閾値よりも大きい値である。
明度差が第２の閾値より大きい場合、処理はステップＳ１４５に進む。
明度差が第２の閾値以下である場合、処理はステップＳ１４６に進む。
明度差が第２の閾値より大きい場合、処理はステップＳ１４５に進む。
明度差が第２の閾値以下である場合、処理はステップＳ１４６に進む。
ステップＳ１４５において、加工部２３０は、第１の部品画像を他の部品画像に置き換える。
具体的には、加工部２３０は、第１の部品画像群１３７に含まれる第１の照明画像と、第１の部品画像群１３７に含まれる第１の窓画像とを、以下のように置き換える。
加工部２３０は、第２の室内画像１４１の明度を第１の室内画像１２１の明度と比較する。つまり、加工部２３０は、第２の画像明度１５４を、第１の画像明度１３４と比較する。
第２の室内画像１４１の明度が第１の室内画像１２１の明度より明るい場合、加工部２３０は、第１の照明画像を点灯画像に置き換える。点灯画像は、予め用意される画像であり、点灯している状態の第１の照明を示す画像である。また、加工部２３０は、第１の窓画像を採光画像に置き換える。採光画像は、予め用意される画像であり、覆いで覆われていない状態の第１の窓を示す画像である。具体的には、覆いは、カーテンまたはブラインドである。
第２の室内画像１４１の明度が第１の室内画像１２１の明度より暗い場合、加工部２３０は、第１の照明画像を消灯画像に置き換える。消灯画像は、予め用意される画像であり、消灯している状態の第１の照明を示す画像である。また、加工部２３０は、第１の窓画像を遮光画像に置き換える。遮光画像は、予め用意される画像であり、覆いで覆われている状態の第１の窓を示す画像である。
加工部２３０は、第２の室内画像１４１の明度を第１の室内画像１２１の明度と比較する。つまり、加工部２３０は、第２の画像明度１５４を、第１の画像明度１３４と比較する。
第２の室内画像１４１の明度が第１の室内画像１２１の明度より明るい場合、加工部２３０は、第１の照明画像を点灯画像に置き換える。点灯画像は、予め用意される画像であり、点灯している状態の第１の照明を示す画像である。また、加工部２３０は、第１の窓画像を採光画像に置き換える。採光画像は、予め用意される画像であり、覆いで覆われていない状態の第１の窓を示す画像である。具体的には、覆いは、カーテンまたはブラインドである。
第２の室内画像１４１の明度が第１の室内画像１２１の明度より暗い場合、加工部２３０は、第１の照明画像を消灯画像に置き換える。消灯画像は、予め用意される画像であり、消灯している状態の第１の照明を示す画像である。また、加工部２３０は、第１の窓画像を遮光画像に置き換える。遮光画像は、予め用意される画像であり、覆いで覆われている状態の第１の窓を示す画像である。
ステップＳ１４６において、加工部２３０は、第２の室内画像１４１の明度を第２の室内画像１４１の明度に合わせて補正する。
具体的には、加工部２３０は、第１の画像明度１３４と同じになるように、第２の室内画像１４１の明度を補正する。
具体的には、加工部２３０は、第１の画像明度１３４と同じになるように、第２の室内画像１４１の明度を補正する。
ステップＳ１４７において、加工部２３０は、第２の奥行距離１５６に対応する個数の第１の部品画像を、変形後の第１の内面画像に対応する奥行の方向に並べる。第２の奥行距離１５６に対応する個数は、第２の奥行距離１５６を用いて算出される値であり、第２の奥行距離１５６が長いほど多い。
次に、加工部２３０は、並べられた第１の部品画像の各々を、並べられた位置に対応する大きさに縮小する。奥に並べられた第１の部品画像ほど小さくなる。
そして、合成部２４０は、並べられた第１の部品画像を、変形後の第１の内面画像に合成する。
次に、加工部２３０は、並べられた第１の部品画像の各々を、並べられた位置に対応する大きさに縮小する。奥に並べられた第１の部品画像ほど小さくなる。
そして、合成部２４０は、並べられた第１の部品画像を、変形後の第１の内面画像に合成する。
図１１に基づいて、ステップＳ１４７の概要について説明する。
図１１の（１）に示す天井面画像１８２は、天井面１９２を示す画像を変形して得られる画像である。図１１の（１）において、天井面１９２と天井面画像１８２との連続性は損なわれている。
図１１の（２）に示す天井面画像１８２は、天井面１９２を示す画像を変形して得られる画像において、照明の個数および大きさが加工された画像である図１１の（２）において、天井面１９２と天井面画像１８２との連続性は保たれている。
そこで、加工部２３０および合成部２４０は、図１１の（２）に示すような天井面画像１８２を生成する。
また、加工部２３０および合成部２４０は、壁面画像も同様に生成する。天井面画像１８２と同様に生成される壁面画像は、壁面１９１を示す画像を変形して得られる画像において、窓の個数および大きさが加工された画像である。
図１１の（１）に示す天井面画像１８２は、天井面１９２を示す画像を変形して得られる画像である。図１１の（１）において、天井面１９２と天井面画像１８２との連続性は損なわれている。
図１１の（２）に示す天井面画像１８２は、天井面１９２を示す画像を変形して得られる画像において、照明の個数および大きさが加工された画像である図１１の（２）において、天井面１９２と天井面画像１８２との連続性は保たれている。
そこで、加工部２３０および合成部２４０は、図１１の（２）に示すような天井面画像１８２を生成する。
また、加工部２３０および合成部２４０は、壁面画像も同様に生成する。天井面画像１８２と同様に生成される壁面画像は、壁面１９１を示す画像を変形して得られる画像において、窓の個数および大きさが加工された画像である。
図１０に戻り、ステップＳ１４８を説明する。
ステップＳ１４８において、抽出部２２０は、第２の動体領域情報１５１と第２の指定領域情報１５２とを用いて、第２の室内画像１４１から、第２の動体領域と第２の指定領域とを抽出する。
次に、合成部２４０は、第２の内面領域情報１５３を用いて、第２の室内画像１４１のうちの第２の内面領域に、合成後の第１の内面画像を合成する。
さらに、合成部２４０は、抽出された第２の動体領域を第２の動体領域情報１５１を用いて第２の室内画像１４１に合成し、抽出された第２の指定領域を第２の指定領域情報１５２を用いて第２の室内画像１４１に合成する。
ステップＳ１４８において、抽出部２２０は、第２の動体領域情報１５１と第２の指定領域情報１５２とを用いて、第２の室内画像１４１から、第２の動体領域と第２の指定領域とを抽出する。
次に、合成部２４０は、第２の内面領域情報１５３を用いて、第２の室内画像１４１のうちの第２の内面領域に、合成後の第１の内面画像を合成する。
さらに、合成部２４０は、抽出された第２の動体領域を第２の動体領域情報１５１を用いて第２の室内画像１４１に合成し、抽出された第２の指定領域を第２の指定領域情報１５２を用いて第２の室内画像１４１に合成する。
＊＊＊実施の形態１の効果＊＊＊
自分側の部屋１１０の内面が相手側の部屋１１０の内面の大きさ及び形状に合わせて相手側の室内画像に合成されて、合成画像１６０が生成される。この合成画像１６０が画面１１２に表示されることにより、自分側の部屋１１０の室内と画面１１２に映る相手側の部屋１１０の室内とが空間的に連続しているかのような臨場感を得ることができる。
自分側の部屋１１０の内面が相手側の部屋１１０の内面の大きさ及び形状に合わせて相手側の室内画像に合成されて、合成画像１６０が生成される。この合成画像１６０が画面１１２に表示されることにより、自分側の部屋１１０の室内と画面１１２に映る相手側の部屋１１０の室内とが空間的に連続しているかのような臨場感を得ることができる。
＊＊＊他の構成＊＊＊
図１２に基づいて、ビデオコミュニケーションシステム１００の構成例を説明する。
各々の部屋１１０には、画像合成装置２００の代わりにゲートウェイ装置１１５が設けられてもよい。
画像合成装置２００は、ネットワーク１０１に接続し、ゲートウェイ装置１１５を介して、表示装置１１１、カメラ１１３および距離センサ１１４と通信を行う。
このような構成は、クラウドサービスの提供に適している。
図１２に基づいて、ビデオコミュニケーションシステム１００の構成例を説明する。
各々の部屋１１０には、画像合成装置２００の代わりにゲートウェイ装置１１５が設けられてもよい。
画像合成装置２００は、ネットワーク１０１に接続し、ゲートウェイ装置１１５を介して、表示装置１１１、カメラ１１３および距離センサ１１４と通信を行う。
このような構成は、クラウドサービスの提供に適している。
＊＊＊実施の形態の補足＊＊＊
実施の形態において、画像合成装置２００の機能はハードウェアで実現してもよい。
また、画像合成装置２００の機能は、ソフトウェアとハードウェアとの組み合わせで実現してもよい。つまり、「部」の一部をソフトウェアで実現し、「部」の残りをハードウェアで実現してもよい。
実施の形態において、画像合成装置２００の機能はハードウェアで実現してもよい。
また、画像合成装置２００の機能は、ソフトウェアとハードウェアとの組み合わせで実現してもよい。つまり、「部」の一部をソフトウェアで実現し、「部」の残りをハードウェアで実現してもよい。
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
１００ ビデオコミュニケーションシステム、１０１ ネットワーク、１１０ 部屋、１１１ 表示装置、１１２ 画面、１１３ カメラ、１１４ 距離センサ、１１５ ゲートウェイ装置、１２０ 第１の室内データ、１２１ 第１の室内画像、１２２ 第１の室内音声、１３０ 第１の付加データ、１３１ 第１の動体領域情報、１３２ 第１の指定領域情報、１３３ 第１の内面領域情報、１３４ 第１の画像明度、１３５ 第１の撮像角度、１３６ 第１の奥行距離、１３７ 第１の部品画像群、１４０ 第２の室内データ、１４１ 第２の室内画像、１４２ 第２の室内音声、１５０ 第２の付加データ、１５１ 第２の動体領域情報、１５２ 第２の指定領域情報、１５３ 第２の内面領域情報、１５４ 第２の画像明度、１５５ 第２の撮像角度、１５６ 第２の奥行距離、１５７ 第２の部品画像群、１６０ 合成画像、１８２ 天井面画像、１９１ 壁面、１９２ 天井面、１９３ 床面、１９４ 照明、１９５ 窓、２００ 画像合成装置、２１０ 検出部、２２０ 抽出部、２３０ 加工部、２４０ 合成部、２５０ 取得部、２９１ 記憶部、２９２ 受信部、２９３ 送信部、２９４ 受付部、２９５ 表示部、９０１ プロセッサ、９０２ メモリ、９０３ 補助記憶装置、９０４ 通信装置、９０５ レシーバ、９０６ トランスミッタ、９０７ 入力装置、９０８ ディスプレイ。
Claims (13)
- 第１の画面が設けられる第１の部屋の中を示す画像であって前記第１の画面が位置する方向から撮像された画像である第１の室内画像と、第２の画面が設けられる第２の部屋の中を示す画像であって前記第２の画面が位置する方向から撮像された画像である第２の室内画像とを受信する受信部と、
前記第１の室内画像から得られる画像であって前記第１の部屋の内面を示す画像である第１の内面画像を、前記第２の室内画像のうちの前記第２の部屋の内面に対応する第２の内面領域に合わせて、変形する加工部と、
変形後の第１の内面画像を前記第２の室内画像に合成して、前記第１の画面に表示される合成画像を生成する合成部と
を備える画像合成装置。 - 前記第１の内面画像は、前記第１の部屋の壁面を示す第１の壁面画像と、前記第１の部屋の床面を示す第１の床面画像と、前記第１の部屋の天井面を示す第１の天井面画像とであり、
前記第２の内面領域は、前記第２の部屋の壁面に対応する第２の壁面領域と、前記第２の部屋の床面に対応する第２の床面領域と、前記第２の部屋の天井面に対応する第２の天井面領域とであり、
前記加工部は、前記第１の壁面画像を前記第２の壁面領域に合わせて変形し、前記第１の床面画像を前記第２の床面領域に合わせて変形し、前記第１の天井面画像を前記第２の天井面領域に合わせて変形する
請求項１に記載の画像合成装置。 - 第１の部品が、前記第１の部屋の内面に設けられ、
前記画像合成装置は、
前記第１の内面画像から、前記第１の部品を示す部分を第１の部品画像として抽出する抽出部を備え、
前記合成部は、前記第２の部屋の奥行距離に対応する個数の前記第１の部品画像を、変形後の第１の内面画像に対応する奥行の方向に並べて、変形後の第１の内面画像に合成し、合成後の第１の内面画像を前記第２の室内画像に合成する
請求項１に記載の画像合成装置。 - 前記加工部は、並べられた第１の部品画像の各々を、並べられた位置に対応する大きさに縮小し、
前記合成部は、縮小して並べられた第１の部品画像を、変形後の第１の内面画像に合成する
請求項３に記載の画像合成装置。 - 前記第１の部屋が、照明が設けられた天井面を内面として有し、
前記第１の部品が、前記第１の部屋の天井面に設けられた照明である
請求項３または請求項４に記載の画像合成装置。 - 前記加工部は、前記第２の室内画像の明度が前記第１の室内画像の明度より明るい場合、前記第１の部品画像を、点灯している照明を示す点灯画像に置き換え、前記第２の室内画像の明度が前記第１の室内画像の明度より暗い場合、前記第１の部品画像を、消灯している照明を示す消灯画像に置き換える
請求項５に記載の画像合成装置。 - 前記加工部は、前記第１の室内画像の明度と前記第２の室内画像の明度との明度差が明度閾値より大きい場合、前記第１の部品画像を前記点灯画像または前記消灯画像に置き換え、前記明度差が前記明度閾値より小さい場合、前記第２の室内画像の明度を前記第１の室内画像の明度に合わせて補正する
請求項６に記載の画像合成装置。 - 前記第１の部屋が、窓が設けられた壁面を内面として有し、
前記第１の部品が、前記第１の部屋の壁面に設けられた窓である
請求項３または請求項４に記載の画像合成装置。 - 前記加工部は、前記第２の室内画像の明度が前記第１の室内画像の明度より明るい場合、前記第１の部品画像を、覆いで覆われていない窓を示す採光画像に置き換えて、前記第２の室内画像の明度が前記第１の室内画像の明度より暗い場合、前記第１の部品画像を、覆いで覆われた窓を示す遮光画像に置き換える
請求項８に記載の画像合成装置。 - 前記加工部は、前記第１の室内画像の明度と前記第２の室内画像の明度との明度差が明度閾値より大きい場合、前記第１の部品画像を前記採光画像または前記遮光画像に置き換え、前記明度差が前記明度閾値より小さい場合、前記第２の室内画像の明度を前記第１の室内画像の明度に合わせて補正する
請求項９に記載の画像合成装置。 - 前記第１の部屋の内面に突起部分がある場合に、前記第１の室内画像から、前記突起部分を示す突起領域を検出する検出部を備え、
前記加工部は、前記突起領域を、平らな内面を示す画像に加工する
請求項１に記載の画像合成装置。 - 前記加工部は、前記第１の室内画像に対して視点変換を行う
請求項１に記載の画像合成装置。 - 第１の画面が設けられる第１の部屋の中を示す画像であって前記第１の画面が位置する方向から撮像された画像である第１の室内画像と、第２の画面が設けられる第２の部屋の中を示す画像であって前記第２の画面が位置する方向から撮像された画像である第２の室内画像とを受信する受信部と、
前記第１の室内画像から得られる画像であって前記第１の部屋の内面を示す画像である第１の内面画像を、前記第２の室内画像のうちの前記第２の部屋の内面に対応する第２の内面領域に合わせて、変形する加工部と、
変形後の第１の内面画像を前記第２の室内画像に合成して、前記第１の画面に表示される合成画像を生成する合成部として、
コンピュータを機能させるための画像合成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016022730A JP6552978B2 (ja) | 2016-02-09 | 2016-02-09 | 画像合成装置および画像合成プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016022730A JP6552978B2 (ja) | 2016-02-09 | 2016-02-09 | 画像合成装置および画像合成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017143376A true JP2017143376A (ja) | 2017-08-17 |
| JP6552978B2 JP6552978B2 (ja) | 2019-07-31 |
Family
ID=59628767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016022730A Active JP6552978B2 (ja) | 2016-02-09 | 2016-02-09 | 画像合成装置および画像合成プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6552978B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020031742A1 (ja) * | 2018-08-10 | 2020-02-13 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006318015A (ja) * | 2005-05-10 | 2006-11-24 | Sony Corp | 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム |
| JP2014175837A (ja) * | 2013-03-08 | 2014-09-22 | Kddi Corp | 被写体画像抽出および合成装置 |
| JP2015162708A (ja) * | 2014-02-26 | 2015-09-07 | Kddi株式会社 | 空間共有装置、空間共有システム、空間共有方法、およびプログラム |
-
2016
- 2016-02-09 JP JP2016022730A patent/JP6552978B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006318015A (ja) * | 2005-05-10 | 2006-11-24 | Sony Corp | 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム |
| JP2014175837A (ja) * | 2013-03-08 | 2014-09-22 | Kddi Corp | 被写体画像抽出および合成装置 |
| JP2015162708A (ja) * | 2014-02-26 | 2015-09-07 | Kddi株式会社 | 空間共有装置、空間共有システム、空間共有方法、およびプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020031742A1 (ja) * | 2018-08-10 | 2020-02-13 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6552978B2 (ja) | 2019-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10834359B2 (en) | Information processing apparatus, information processing method, and program | |
| US20200184653A1 (en) | Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects | |
| US10148909B2 (en) | Immersive telepresence anywhere | |
| EP3804301A1 (en) | Re-creation of virtual environment through a video call | |
| US10659728B2 (en) | Information processing apparatus and information processing method | |
| US10291848B2 (en) | Image display system and image display method | |
| JP2017034502A (ja) | 通信装置、通信方法、プログラムおよび通信システム | |
| US9900568B2 (en) | Remote communication system, method for controlling remote communication system, and storage medium | |
| JP2017085372A (ja) | 通信システム、通信装置、通信方法およびプログラム | |
| US10600218B2 (en) | Display control system, display control apparatus, display control method, and storage medium | |
| JP7074056B2 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
| JP6946684B2 (ja) | 電子情報ボードシステム、画像処理装置、及びプログラム | |
| JP2011217350A (ja) | 描画画像共有装置、データ処理方法、プログラムおよび記録媒体 | |
| JP2009071478A (ja) | 情報通信端末および情報通信システム | |
| JP6090917B2 (ja) | 被写体画像抽出および合成装置、および方法 | |
| KR20150066883A (ko) | 이미지 처리 방법 및 장치 | |
| JP2011097447A (ja) | コミュニケーションシステム | |
| JP6552978B2 (ja) | 画像合成装置および画像合成プログラム | |
| US11695819B2 (en) | Securing image data from unintended disclosure at a videoconferencing endpoint | |
| JP2016213675A (ja) | 遠隔コミュニケーションシステム、その制御方法、及びプログラム | |
| US20230199380A1 (en) | Virtual space connection device | |
| JP5924833B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置 | |
| JP2003244669A (ja) | 視線検出機能を有するテレビ会議システム | |
| US10986310B2 (en) | Information processing apparatus, information processing method, and program | |
| US9560313B2 (en) | Dialogue system and dialogue method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190703 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6552978 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |