JP2005065051A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2005065051A JP2005065051A JP2003294638A JP2003294638A JP2005065051A JP 2005065051 A JP2005065051 A JP 2005065051A JP 2003294638 A JP2003294638 A JP 2003294638A JP 2003294638 A JP2003294638 A JP 2003294638A JP 2005065051 A JP2005065051 A JP 2005065051A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- camera
- virtual viewpoint
- pixel position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
【解決手段】 撮影対象を少なくとも2台のカメラにより互いに異なる角度から撮像し、撮像した各画像から撮影対象を含む前景画像領域とその背景画像とをそれぞれ分離し、分離した各前景画像領域間において撮影対象と関連させつつ画素位置毎に対応付けを行い、各カメラに対する撮影対象の相対的な位置関係を示す相対位置情報を生成し、互いに対応付けされた画素位置並びにその輝度成分から、生成した相対位置情報に応じて新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求め、求めた画素位置並びにその輝度成分により構成される仮想視点画像を外部へ送信する。
【選択図】図2
Description
上記各カメラにより撮像された各画像から上記撮影対象を含む前景画像領域とその背景画像とをそれぞれ分離する画像分離手段と、上記画像分離手段により分離された各前景画像領域間において上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、上記各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成する情報生成手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から上記生成された相対位置情報に応じて新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、上記画像生成手段により求められた画素位置並びにその輝度成分により構成される仮想視点画像を上記ネットワークを介して送信する送信手段とを有する画像処理装置とを備える。
k=D/B・・・・・・・・(1)
情報生成部30は、図示しない操作部を介して入力される情報に応じて距離Dを決定することができ、また状況に応じて任意にこの距離Dを決定することができる。
(xt,yt)=(1−k)×(x1,y1)+k×(x2,y2)・・・(2)
また画素位置P11、P11’における輝度成分をそれぞれJ11, J11’としたときに、かかる仮想視点画像Ima上の画素位置Phにおける輝度成分Ptを以下の式(3)により決定することができる。
このように仮想視点画像生成部31は、仮想視点画像Imaを構成する各画素の座標並びにその輝度成分につき、相対位置情報としてのkに応じて決定することができる。ここでkは、仮想カメラにおける仮想視点がカメラ11aに近くなるにつれて小さくなり、また仮想視点がカメラ12aに近くなるにつれて大きくなる。
の両側に配設すれば足り、また被写体の3次元情報をその都度抽出する必要もなくなるため、システム全体が複雑化することがなくなるという利点もある。
Claims (21)
- 撮影対象を互いに異なる角度から撮像する少なくとも2台のカメラを含む撮像手段と、
上記撮像手段における各カメラにより撮像された各画像から、上記撮影対象を含む前景画像領域とその背景画像とをそれぞれ分離する画像分離手段と、
上記画像分離手段により分離された各前景画像領域間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
上記各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、
上記画像生成手段により求められた画素位置並びにその輝度成分により構成される仮想視点画像を外部へ送信する送信手段とを備えること
を特徴とする撮像装置。 - 上記撮像手段は、上記撮影対象として画面を視認するユーザを撮像し、
上記情報生成手段は、上記撮像手段により撮像されたユーザの上記画面に対する視線方向に基づいて上記相対位置情報を生成すること
を特徴とする請求項1記載の撮像装置。 - 上記情報生成手段は、外部入力された情報に基づいて上記相対位置情報を生成すること
を特徴とする請求項1記載の撮像装置。 - 少なくとも上記各カメラ間の幾何学的な位置関係に基づき、上記撮像手段により撮像された画像を補正する画像補正手段をさらに備えること
を特徴とする請求項1記載の撮像装置。 - 上記画像分離手段は、上記撮影対象の色相並びに彩度の分布特性に応じた基準値を予め決定し、上記撮像手段における各カメラにより撮像された各画像の色相並びに彩度を上記基準値との関係において画素位置毎に識別し、上記識別した結果に応じて上記前景画像領域とその背景画像とをそれぞれ分離すること
を特徴とする請求項1記載の撮像装置。 - 上記画像分離手段は、上記撮像手段における各カメラにより撮像された各画像から、予め取得された背景画像を差し引くことにより、上記前景画像領域を分離すること
を特徴とする請求項1記載の撮像装置。 - 上記画像分離手段は、各カメラに対する被写体の距離を識別し、識別した距離に基づいて上記前景画像領域とその背景画像とをそれぞれ分離すること
を特徴とする請求項1記載の撮像装置。 - 上記マッチング手段は、上記各前景画像領域から解像度を下げた参照用画像をそれぞれ生成し、上記生成した各参照用画像間において上記撮影対象と関連させつつ画素位置毎に対応付けを行い、上記参照用画像間の対応付けに基づいて上記各前景画像領域間における上記対応付けを行うこと
を特徴とする請求項1記載の撮像装置。 - 上記撮像手段は、光学中心を結ぶ直線距離がBである第1のカメラと第2のカメラとを含み、
上記画像分離手段は、上記第1のカメラにより撮像された画像から前景画像領域T1を分離し、また上記第2のカメラにより撮像された画像から前景画像領域T2を分離し、
上記情報生成手段は、上記第1のカメラに対する仮想視点の距離をDとしたとき、上記相対位置情報としてk(=D/B)を生成し、
上記画像生成手段は、上記マッチング手段により互いに対応付けされた前景画像領域T1における画素位置(x1,y1),前景画像領域T2における画素位置(x2,y2)並びにその輝度成分J1,J1’から、上記仮想視点画像を構成する画素位置(xt,yt)並びにその輝度成分Ptを以下の式
(xt,yt)=(1−k)×(x1,y1)+k×(x2,y2)
Pt=(1−k)×J1+k×J1’
に基づいて求めること
を特徴とする請求項1記載の撮像装置。 - 上記仮想視点画像とその背景画像とを合成する画像合成手段をさらに備え、
上記送信手段は、上記画像合成手段により合成された画像を外部へ送信すること
を特徴とする請求項1記載の撮像装置。 - 上記仮想視点画像と合成する背景画像を、上記画像分離手段により分離された各背景画像に基づいて作成する背景画像作成手段をさらに備えること
を特徴とする請求項10記載の撮像装置。 - 上記背景画像作成手段は、外部入力された情報に基づいて上記作成する背景画像の解像度を変化させること
を特徴とする請求項11記載の撮像装置。 - 上記送信手段は、上記撮像手段における各カメラにより撮像された各画像、上記画像合成手段により合成された画像の何れか或いは全てを、外部入力された情報に応じて送信すること
を特徴とする請求項10記載の撮像装置。 - 外部から受信した仮想視点画像を表示画面上へ表示させる表示制御手段をさらに備えること
を特徴とする請求項1記載の撮像装置。 - 外部から受信した仮想視点画像とその背景画像とを合成する画像合成手段をさらに備え、
上記表示制御手段は、上記画像合成手段により合成された画像を上記表示画面上へ表示させること
を特徴とする請求項14記載の撮像装置。 - 撮影対象を少なくとも2台のカメラにより互いに異なる角度から撮像する撮像ステップと、
上記撮像ステップにおいて各カメラにより撮像した各画像から、上記撮影対象を含む前景画像領域とその背景画像とをそれぞれ分離する画像分離ステップと、
上記画像分離ステップにおいて分離した各前景画像領域間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、
上記各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、
上記マッチングステップにおいて互いに対応付けされた画素位置並びにその輝度成分から、上記生成した相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップと、
上記画像生成ステップにおいて求めた画素位置並びにその輝度成分により構成される仮想視点画像を外部へ送信する送信ステップとを有すること
を特徴とする撮像方法。 - 撮影対象を少なくとも2台のカメラにより互いに異なる角度から撮像することにより生成された各画像を処理する画像処理装置において、
上記生成された各画像から、上記撮影対象を含む前景画像領域とその背景画像とをそれぞれ分離する画像分離手段と、
上記画像分離手段により分離された各前景画像領域間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、
上記各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成する情報生成手段と、
上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から、上記生成された相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、
上記画像生成手段により求められた画素位置並びにその輝度成分により構成される仮想視点画像を外部へ送信する送信手段とを備えること
を特徴とする画像処理装置。 - 撮影対象を少なくとも2台のカメラにより互いに異なる角度から撮像することにより生成された各画像を処理する画像処理方法において、
上記生成された各画像から、上記撮影対象を含む前景画像領域とその背景画像とをそれぞれ分離する画像分離ステップと、
上記画像分離ステップにおいて分離した各前景画像領域間において、上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチングステップと、
上記各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成する情報生成ステップと、
上記マッチングステップにおいて互いに対応付けされた画素位置並びにその輝度成分から、上記生成した相対位置情報に応じて、新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成ステップと、
上記画像生成ステップにおいて求めた画素位置並びにその輝度成分により構成される仮想視点画像を外部へ送信する送信ステップとを有すること
を特徴とする画像処理方法。 - ネットワークを介して画像を双方向で送受信する通信システムにおいて、
上記ネットワークを介して相手側から受信した画像を互いに表示するための表示装置と、
上記各表示装置を視認するユーザを撮影対象とし、少なくとも2台のカメラにより互いに異なる角度からこれを撮像する撮像装置と、
上記各カメラにより撮像された各画像から上記撮影対象を含む前景画像領域とその背景画像とをそれぞれ分離する画像分離手段と、上記画像分離手段により分離された各前景画像領域間において上記撮影対象と関連させつつ画素位置毎に対応付けを行うマッチング手段と、上記各カメラに対する上記撮影対象の相対的な位置関係を示す相対位置情報を生成する情報生成手段と、上記マッチング手段により互いに対応付けされた画素位置並びにその輝度成分から上記生成された相対位置情報に応じて新たに生成すべき仮想視点画像を構成する画素位置並びにその輝度成分を求める画像生成手段と、上記画像生成手段により求められた画素位置並びにその輝度成分により構成される仮想視点画像を上記ネットワークを介して送信する送信手段とを有する画像処理装置とを備えること
を特徴とする通信システム。 - 上記画像処理装置は、上記仮想視点画像とその背景画像とを合成する画像合成手段をさらに有し、
上記送信手段は、上記画像合成手段により合成された画像を上記ネットワークを介して送信すること
を特徴とする請求項19記載の通信システム。 - 上記画像処理装置は、上記ネットワークを介して相手側から受信した仮想視点画像とその背景画像とを合成する画像合成手段とをさらに有すること
を特徴とする請求項19記載の通信システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003294638A JP4461739B2 (ja) | 2003-08-18 | 2003-08-18 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003294638A JP4461739B2 (ja) | 2003-08-18 | 2003-08-18 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005065051A true JP2005065051A (ja) | 2005-03-10 |
JP4461739B2 JP4461739B2 (ja) | 2010-05-12 |
Family
ID=34371147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003294638A Expired - Fee Related JP4461739B2 (ja) | 2003-08-18 | 2003-08-18 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4461739B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007053496A (ja) * | 2005-08-16 | 2007-03-01 | Sony Corp | 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置 |
JP2009147823A (ja) * | 2007-12-17 | 2009-07-02 | Taito Corp | 異種カメラによる画像形成方法,該画像形成方法を用いたマルチカメラ装置および該マルチカメラ装置を備えたプリントシール機 |
JP2011097447A (ja) * | 2009-10-30 | 2011-05-12 | Sharp Corp | コミュニケーションシステム |
WO2011091755A1 (zh) * | 2010-01-29 | 2011-08-04 | 华为终端有限公司 | 多画面视频图像处理方法和装置 |
JP2012114557A (ja) * | 2010-11-22 | 2012-06-14 | Nec Saitama Ltd | 表示装置、表示制御方法、プログラム及び電子機器 |
KR20140049980A (ko) * | 2011-02-17 | 2014-04-28 | 아이락 인크. | 단일 센서를 이용하여 장면 이미지 및 홍채 이미지를 획득하기 위한 효율적인 방법 및 시스템 |
JP2016174633A (ja) * | 2015-03-18 | 2016-10-06 | 株式会社タイトー | ダンス装置 |
JP2016174632A (ja) * | 2015-03-18 | 2016-10-06 | 株式会社タイトー | 撮影装置 |
JP2016174631A (ja) * | 2015-03-18 | 2016-10-06 | 株式会社タイトー | ダンス装置 |
JP2016192688A (ja) * | 2015-03-31 | 2016-11-10 | 大和ハウス工業株式会社 | 映像表示システム及び映像表示方法 |
JP2017527230A (ja) * | 2014-05-29 | 2017-09-14 | ネクストブイアール・インコーポレイテッド | コンテンツを配信および/または再生するための方法及び装置 |
JP2018010677A (ja) * | 2013-09-24 | 2018-01-18 | シャープ株式会社 | 画像処理装置、画像表示装置およびプログラム |
CN112489182A (zh) * | 2017-12-14 | 2021-03-12 | 佳能株式会社 | 用于生成图像的系统、方法和存储介质 |
US11336966B2 (en) | 2014-05-29 | 2022-05-17 | Nevermind Capital Llc | Methods and apparatus for delivering content and/or playing back content |
US11494971B2 (en) | 2019-02-12 | 2022-11-08 | Canon Kabushiki Kaisha | Material generation apparatus, image generation apparatus, and image processing apparatus |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6429829B2 (ja) | 2016-05-25 | 2018-11-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
KR101827998B1 (ko) * | 2017-04-24 | 2018-02-12 | 에스케이플래닛 주식회사 | 얼굴 특징 기반의 가상 체험 시스템 및 그 방법 |
-
2003
- 2003-08-18 JP JP2003294638A patent/JP4461739B2/ja not_active Expired - Fee Related
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4645356B2 (ja) * | 2005-08-16 | 2011-03-09 | ソニー株式会社 | 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置 |
US8159527B2 (en) | 2005-08-16 | 2012-04-17 | Sony Corporation | Method of displaying pictures, program for displaying pictures, recording medium holding the program, and display unit |
JP2007053496A (ja) * | 2005-08-16 | 2007-03-01 | Sony Corp | 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置 |
JP2009147823A (ja) * | 2007-12-17 | 2009-07-02 | Taito Corp | 異種カメラによる画像形成方法,該画像形成方法を用いたマルチカメラ装置および該マルチカメラ装置を備えたプリントシール機 |
JP2011097447A (ja) * | 2009-10-30 | 2011-05-12 | Sharp Corp | コミュニケーションシステム |
US8947498B2 (en) | 2010-01-29 | 2015-02-03 | Huawei Device Co., Ltd. | Method and device for processing multi-picture video image |
WO2011091755A1 (zh) * | 2010-01-29 | 2011-08-04 | 华为终端有限公司 | 多画面视频图像处理方法和装置 |
JP2012114557A (ja) * | 2010-11-22 | 2012-06-14 | Nec Saitama Ltd | 表示装置、表示制御方法、プログラム及び電子機器 |
KR102024949B1 (ko) * | 2011-02-17 | 2019-09-24 | 아이락 엘엘씨 | 단일 센서를 이용하여 장면 이미지 및 홍채 이미지를 획득하기 위한 효율적인 방법 및 시스템 |
KR20140049980A (ko) * | 2011-02-17 | 2014-04-28 | 아이락 인크. | 단일 센서를 이용하여 장면 이미지 및 홍채 이미지를 획득하기 위한 효율적인 방법 및 시스템 |
JP2018010677A (ja) * | 2013-09-24 | 2018-01-18 | シャープ株式会社 | 画像処理装置、画像表示装置およびプログラム |
JP2017527230A (ja) * | 2014-05-29 | 2017-09-14 | ネクストブイアール・インコーポレイテッド | コンテンツを配信および/または再生するための方法及び装置 |
US11336966B2 (en) | 2014-05-29 | 2022-05-17 | Nevermind Capital Llc | Methods and apparatus for delivering content and/or playing back content |
US11871085B2 (en) | 2014-05-29 | 2024-01-09 | Nevermind Capital Llc | Methods and apparatus for delivering content and/or playing back content |
JP2016174633A (ja) * | 2015-03-18 | 2016-10-06 | 株式会社タイトー | ダンス装置 |
JP2016174632A (ja) * | 2015-03-18 | 2016-10-06 | 株式会社タイトー | 撮影装置 |
JP2016174631A (ja) * | 2015-03-18 | 2016-10-06 | 株式会社タイトー | ダンス装置 |
JP2016192688A (ja) * | 2015-03-31 | 2016-11-10 | 大和ハウス工業株式会社 | 映像表示システム及び映像表示方法 |
CN112489182A (zh) * | 2017-12-14 | 2021-03-12 | 佳能株式会社 | 用于生成图像的系统、方法和存储介质 |
US11494971B2 (en) | 2019-02-12 | 2022-11-08 | Canon Kabushiki Kaisha | Material generation apparatus, image generation apparatus, and image processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP4461739B2 (ja) | 2010-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4069855B2 (ja) | 画像処理装置及び方法 | |
CN109952759B (zh) | 用于具有hmd的视频会议的改进的方法和系统 | |
US7330584B2 (en) | Image processing apparatus and method | |
JP4461739B2 (ja) | 撮像装置 | |
TWI479452B (zh) | 修正數位影像的裝置及方法 | |
CN104885125B (zh) | 信息处理设备、信息处理系统和信息处理方法 | |
US20230206531A1 (en) | Avatar display device, avatar generating device, and program | |
US20170180680A1 (en) | Object following view presentation method and system | |
WO2018225518A1 (ja) | 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム | |
JP2010250452A (ja) | 任意視点画像合成装置 | |
US9380263B2 (en) | Systems and methods for real-time view-synthesis in a multi-camera setup | |
WO2017141584A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
JP2013025649A (ja) | 画像処理装置及び画像処理方法、プログラム | |
JP2009246408A (ja) | 対話装置、画像処理モジュール、画像処理方法およびプログラム | |
JP4617965B2 (ja) | 画像処理方法、その装置およびプログラム | |
CN113112407B (zh) | 基于电视的照镜视野生成方法、系统、设备及介质 | |
JP4595313B2 (ja) | 撮像表示装置及び方法、画像送受信システム | |
KR20100134288A (ko) | 입체 영상 시스템 및 입체 영상 처리 방법 | |
JP7452434B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2005142765A (ja) | 撮像装置及び方法 | |
JP4211097B2 (ja) | 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置 | |
JP2005174148A (ja) | 撮像装置及び方法、撮像システム | |
JP5924833B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置 | |
JP4586447B2 (ja) | 画像処理装置及び方法、プログラム | |
KR20160101762A (ko) | 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091229 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100126 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100208 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |