JP5506371B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP5506371B2 JP5506371B2 JP2009293471A JP2009293471A JP5506371B2 JP 5506371 B2 JP5506371 B2 JP 5506371B2 JP 2009293471 A JP2009293471 A JP 2009293471A JP 2009293471 A JP2009293471 A JP 2009293471A JP 5506371 B2 JP5506371 B2 JP 5506371B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- image
- information
- calculation unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Image Generation (AREA)
Description
まず、図1を参照しながら、本実施形態に係る画像処理装置の概要について説明する。図1は、本発明の実施形態に係る画像処理装置の概観を示す図である。
図2を参照しながら、本発明の実施形態に係る画像処理装置の機能構成について説明する。図2は、本発明の実施形態に係る画像処理装置の機能構成を示す図である。
図3を参照しながら、本発明の実施形態に係る画像処理装置の光源個数算出部の機能について説明する。図3は、本発明の実施形態に係る画像処理装置の光源個数算出部の機能について説明するための図である。
図4を参照しながら、本発明の実施形態に係る画像処理装置の光源情報算出部の機能について説明する。図4は、本発明の実施形態に係る画像処理装置の光源情報算出部の機能について説明するための図である。
図5Aを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例(光源が1つ存在する場合)について説明する。図5Aは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例(光源が1つ存在する場合)を示す図である。
図5Bを参照しながら、一般的な画像処理装置によって表示された画像の表示例(光源が1つ存在する場合)について説明する。図5Bは、一般的な画像処理装置によって表示された画像の表示例(光源が1つ存在する場合)を示す図である。
図6Aを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例(点光源が1つ存在する場合)について説明する。図6Aは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例(点光源が1つ存在する場合)を示す図である。
図6Bを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例(点光源が2つ存在する場合)について説明する。図6Bは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例(点光源が2つ存在する場合)を示す図である。
図6Cを参照しながら、本発明の実施形態に係る画像処理装置によって処理された画像の表示例(点光源1つと面光源1つが存在する場合)について説明する。図6Cは、本発明の実施形態に係る画像処理装置によって処理された画像の表示例(点光源1つと面光源1つが存在する場合)を示す図である。
図7を参照しながら、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の方位を算出する手法について説明する。図7は、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の方位を算出する手法を説明するための図である。ここでは、画像処理装置100が使用する魚眼レンズ111は1つであることを想定している。
図8を参照しながら、光源の方位を算出するために使用する仰角および方位角について説明する。図8は、光源の方位を算出するために使用する仰角および方位角について説明するための図である。
図9を参照しながら、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の位置を算出する手法について説明する。図9は、本発明の実施形態に係る画像処理装置の光源情報算出部が光源情報として光源の位置を算出する手法を説明するための図である。ここでは、画像処理装置100が使用する魚眼レンズ111は複数であることを想定している。
110 撮影部
111 魚眼レンズ
112 撮像素子
120 光源個数算出部
130 記憶部
131 3次元CGモデル情報(3次元モデル情報)
140 光源情報算出部
150 3次元CG作成部(3次元画像作成部)
160 表示部
Claims (13)
- 魚眼レンズを有するとともに前記魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、
3次元空間を規定する3次元モデル情報を記憶する記憶部と、
前記撮影部によって撮影された前記画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した前記個数分に相当する前記光源の前記画像における位置を示す光源座標情報を算出する光源個数算出部と、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源に関する実空間におけるパラメータを前記3次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う光源情報算出部と、
前記記憶部によって記憶されている前記3次元モデル情報と前記光源情報算出部によって算出された前記光源情報とに基づいて、3次元画像を作成する3次元画像作成部と、
前記3次元画像作成部によって作成された前記3次元画像を表示する表示部と、
を備え、
前記光源個数算出部は、前記画像に写されている光源候補領域の包絡線を検出し、当該包絡線に囲まれる領域が所定以上の面積を有する光源候補領域の個数を光源の個数として算出する、
ことを特徴とする、画像処理装置。 - 前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、射影変換により前記撮影部の位置を基準とした前記光源の前記実空間における方位を示す方位情報を、前記光源情報として算出する方位情報算出処理を行う、
ことを特徴とする、請求項1に記載の画像処理装置。 - 前記光源情報算出部は、
前記方位情報と所定値とに基づいて、前記光源の前記実空間における位置を示す位置情報を、前記光源情報として算出する、
ことを特徴とする、請求項2に記載の画像処理装置。 - 前記撮影部は、
前記魚眼レンズを複数有し、複数の前記魚眼レンズを通して自装置の外部から受光してそれぞれの画像を撮影し、
前記光源個数算出部は、
前記撮影部によって撮影されたそれぞれの前記画像について前記光源個数算出処理と前記光源情報算出処理とを行い、
前記光源情報算出部は、
前記撮影部によって撮影されたそれぞれの前記画像について前記方位情報算出処理を行い、算出された複数の前記方位情報に基づいて前記光源の前記実空間における位置を示す位置情報を、前記光源情報として算出する、
ことを特徴とする、請求項2に記載の画像処理装置。 - 前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源から発せられる光の強度および色の少なくともいずれか一方を、前記光源情報としてさらに算出する、
ことを特徴とする、請求項2〜4のいずれか1項に記載の画像処理装置。 - 前記光源個数算出部は、
算出した前記個数分に相当する光源領域を前記画像から検出し、検出した前記光源領域の前記画像における位置を光源領域座標情報として算出し、
前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源領域座標情報に基づいて、前記光源から発せられる光の広がりを、前記光源情報としてさらに算出する、
ことを特徴とする、請求項2〜4のいずれか1項に記載の画像処理装置。 - 前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源領域座標情報に基づいて、前記光源領域を2つのベクトルで近似し、前記2つのベクトルによって前記光の広がりとして使用する、
ことを特徴とする、請求項6に記載の画像処理装置。 - 前記光源情報算出部は、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、実空間における環境光の強さおよび色の少なくともいずれか一方を前記3次元空間におけるパラメータである環境光情報としてさらに算出し、
前記3次元画像作成部は、
前記光源情報算出部によって算出された前記環境光情報に基づいて、前記3次元空間における物体色を特定し、特定した前記物体色を有する3次元画像を作成する、
ことを特徴とする、請求項1に記載の画像処理装置。 - 前記3次元画像作成部は、
前記光源情報算出部によって算出された前記光源情報と前記記憶部によって記憶されている前記3次元モデル情報とに基づいて、前記3次元空間に生じる影の向きおよび個数を算出し、算出した前記影の向きおよび個数に基づいて影領域を特定し、特定した前記影領域に影を有する3次元画像を作成する、
ことを特徴とする、請求項1に記載の画像処理装置。 - 前記3次元画像作成部は、
前記光源情報算出部によって前記光源情報として算出された前記位置情報と前記記憶部によって記憶されている前記3次元モデル情報とに基づいて、前記3次元空間に生じる半影領域を特定し、特定した前記半影領域に半影を有する3次元画像を作成する、
ことを特徴とする、請求項3または4に記載の画像処理装置。 - 前記光源情報算出部は、
前記3次元画像の作成に前回用いられた前記光源情報である前回の光源情報と比較して、現在の前記光源情報が変化したか否かを判断し、
前記3次元画像作成部は、
前記光源情報算出部によって前記現在の光源情報が前記前回の光源情報から変化したと判断された場合に、前記3次元画像を作成し直し、
前記表示部は、
前記3次元画像作成部によって作成し直された前記3次元画像を表示し直す、
ことを特徴とする、請求項1に記載の画像処理装置。 - 魚眼レンズを有するとともに前記魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、3次元空間を規定する3次元モデル情報を記憶する記憶部と、光源個数算出部と、光源情報算出部と、3次元画像作成部と、表示部とを備える、画像処理装置が、前記光源個数算出部により、前記撮影部によって撮影された前記画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した前記個数分に相当する前記光源の前記画像における位置を示す光源座標情報を算出するステップと、
前記光源情報算出部により、前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源に関する実空間におけるパラメータを前記3次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行うステップと、
前記3次元画像作成部により、前記記憶部によって記憶されている前記3次元モデル情報と前記光源情報算出部によって算出された前記光源情報とに基づいて、3次元画像を作成するステップと、
前記表示部により、前記3次元画像作成部によって作成された前記3次元画像を表示するステップと、
を含み、
前記光源個数算出部により、前記画像に写されている光源候補領域の包絡線を検出し、当該包絡線に囲まれる領域が所定以上の面積を有する光源候補領域の個数を光源の個数として算出するステップを含むことを特徴とする、画像処理方法。 - コンピュータを、
魚眼レンズを有するとともに前記魚眼レンズを通して自装置の外部から受光して画像を撮影する撮影部と、
3次元空間を規定する3次元モデル情報を記憶する記憶部と、
前記撮影部によって撮影された前記画像に写されている光源の個数を算出する光源個数算出処理を行い、算出した前記個数分に相当する前記光源の前記画像における位置を示す光源座標情報を算出する光源個数算出部と、
前記光源個数算出部によって算出された前記光源座標情報に基づいて、前記光源に関する実空間におけるパラメータを前記3次元空間におけるパラメータである光源情報として算出する光源情報算出処理を行う光源情報算出部と、
前記記憶部によって記憶されている前記3次元モデル情報と前記光源情報算出部によって算出された前記光源情報とに基づいて、3次元画像を作成する3次元画像作成部と、
前記3次元画像作成部によって作成された前記3次元画像を表示する表示部と、
を備え、
前記光源個数算出部は、前記画像に写されている光源候補領域の包絡線を検出し、当該包絡線に囲まれる領域が所定以上の面積を有する光源候補領域の個数を光源の個数として算出する、画像処理装置として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009293471A JP5506371B2 (ja) | 2009-12-24 | 2009-12-24 | 画像処理装置、画像処理方法およびプログラム |
KR1020100127873A KR20110074442A (ko) | 2009-12-24 | 2010-12-14 | 화상 처리 장치, 화상 처리 방법 및 기록매체 |
US12/978,281 US20110157314A1 (en) | 2009-12-24 | 2010-12-23 | Image Processing Apparatus, Image Processing Method and Recording Medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009293471A JP5506371B2 (ja) | 2009-12-24 | 2009-12-24 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011134133A JP2011134133A (ja) | 2011-07-07 |
JP5506371B2 true JP5506371B2 (ja) | 2014-05-28 |
Family
ID=44346787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009293471A Active JP5506371B2 (ja) | 2009-12-24 | 2009-12-24 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5506371B2 (ja) |
KR (1) | KR20110074442A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102010396B1 (ko) * | 2011-11-29 | 2019-08-14 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
JP6812271B2 (ja) * | 2017-02-27 | 2021-01-13 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2019083266A1 (ko) * | 2017-10-24 | 2019-05-02 | 엘지전자 주식회사 | 피쉬아이 비디오 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5797475A (en) * | 1980-12-10 | 1982-06-17 | Meidensha Electric Mfg Co Ltd | Measuring method for position of energy source |
JPH01106284A (ja) * | 1987-10-20 | 1989-04-24 | Fujitsu Ltd | 3次元画像表示制御装置 |
JPH04222076A (ja) * | 1990-03-16 | 1992-08-12 | Hewlett Packard Co <Hp> | 半影部を備えたイメージに正反射を加えるためのコンピュータグラフィックス法 |
US6226006B1 (en) * | 1997-06-27 | 2001-05-01 | C-Light Partners, Inc. | Method and apparatus for providing shading in a graphic display system |
US6647146B1 (en) * | 1997-08-05 | 2003-11-11 | Canon Kabushiki Kaisha | Image processing apparatus |
JPH11175762A (ja) * | 1997-12-08 | 1999-07-02 | Katsushi Ikeuchi | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 |
US8100552B2 (en) * | 2002-07-12 | 2012-01-24 | Yechezkal Evan Spero | Multiple light-source illuminating system |
EP1635297B1 (en) * | 2003-05-30 | 2012-06-13 | Lattice Technology, Inc. | 3-dimensional graphics data display device |
JP4436101B2 (ja) * | 2003-09-29 | 2010-03-24 | 学校法人東京理科大学 | ロボット |
US7750936B2 (en) * | 2004-08-06 | 2010-07-06 | Sony Corporation | Immersive surveillance system interface |
JP2006107093A (ja) * | 2004-10-05 | 2006-04-20 | Konica Minolta Medical & Graphic Inc | 画像処理装置、およびプログラム |
JP2008041107A (ja) * | 2007-09-10 | 2008-02-21 | Sanyo Electric Co Ltd | 撮像装置及び画像合成装置 |
US8289318B1 (en) * | 2008-08-29 | 2012-10-16 | Adobe Systems Incorporated | Determining three-dimensional shape characteristics in a two-dimensional image |
KR20110068469A (ko) * | 2009-12-16 | 2011-06-22 | 인하대학교 산학협력단 | 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법 |
-
2009
- 2009-12-24 JP JP2009293471A patent/JP5506371B2/ja active Active
-
2010
- 2010-12-14 KR KR1020100127873A patent/KR20110074442A/ko not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
JP2011134133A (ja) | 2011-07-07 |
KR20110074442A (ko) | 2011-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11182961B2 (en) | Method and system for representing a virtual object in a view of a real environment | |
US6930685B1 (en) | Image processing method and apparatus | |
JP6685827B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2015166684A1 (ja) | 画像処理装置と画像処理方法 | |
US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
JP2016537901A (ja) | ライトフィールド処理方法 | |
US20140118353A1 (en) | Image processing apparatus and method | |
KR100834157B1 (ko) | 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체 | |
CN107093204A (zh) | 一种基于全景画面影响虚拟对象光影效果的方法 | |
JPH11175762A (ja) | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 | |
JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP5762015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5506371B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN109427089B (zh) | 基于环境光照条件的混合现实对象呈现 | |
JP2020523957A (ja) | マルチ・ビュー・コンテンツを観察するユーザに情報を提示する方法及び機器 | |
JP5441752B2 (ja) | 環境内の3d物体の3d姿勢を推定する方法及び装置 | |
JP3387856B2 (ja) | 画像処理方法、画像処理装置および記憶媒体 | |
Czajkowski et al. | Two-edge-resolved three-dimensional non-line-of-sight imaging with an ordinary camera | |
JP5865092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Ji et al. | Virtual Home Staging: Inverse Rendering and Editing an Indoor Panorama under Natural Illumination | |
WO2017058662A1 (en) | Method, device and program to display 3d representations of an object based on orientation information of the display | |
US20110157314A1 (en) | Image Processing Apparatus, Image Processing Method and Recording Medium | |
JP6859763B2 (ja) | プログラム、情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131022 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5506371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |