JP2019201325A - 撮像装置、その制御方法、および、プログラム - Google Patents
撮像装置、その制御方法、および、プログラム Download PDFInfo
- Publication number
- JP2019201325A JP2019201325A JP2018094758A JP2018094758A JP2019201325A JP 2019201325 A JP2019201325 A JP 2019201325A JP 2018094758 A JP2018094758 A JP 2018094758A JP 2018094758 A JP2018094758 A JP 2018094758A JP 2019201325 A JP2019201325 A JP 2019201325A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- imaging
- subject image
- composite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Abstract
Description
前記複数の撮像部のそれぞれは、隣接する撮像部と撮像画角の一部が重複するように配置され、
前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する合成手段と、
を備え、
前記合成手段は、前記合成画像に同一の被写体の被写体像が重複して含まれることになる場合に、第1の被写体像のみが前記合成画像に含まれるようにするために、第2の被写体像の位置に対応する背景画像を用いて、前記合成画像から前記第2の被写体像を消去する。
以下の実施形態では、複数の撮像部で撮像した画像を合成して得られる広角画像または広角動画像を生成可能な撮像装置に発明を適用した実施形態について説明する。
上記実施形態1では、合成画像において被写体像の重複が発生する場合について記載したが、本実施形態では、被写体像の重複と欠損とが両方発生する場合について説明する。
本実施形態では、背景画像を合成する基準となる被写体よりも手前に被写体像被写体が存在している場合の画像合成処理について説明を行う。図5を参照して説明したように合成位置の基準となる被写体より手前の像は欠損を発生する可能性がある。本実施形態に対応する画像合成処理では、このような合成画像上での被写体像の欠損を防止することを可能とする。
本実施形態では、合成する2つの画像上を被写体像が横断する場合の表示被写体の選択方法について説明する。本実施形態における撮像装置の構成は実施形態1における図1及び図2で示した構成と同様である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (13)
- 複数の撮像部を備える撮像装置であって、
前記複数の撮像部のそれぞれは、隣接する撮像部と撮像画角の一部が重複するように配置され、
前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する合成手段と、
を備え、
前記合成手段は、前記合成画像に同一の被写体の被写体像が重複して含まれることになる場合に、第1の被写体像のみが前記合成画像に含まれるようにするために、第2の被写体像の位置に対応する背景画像を用いて、前記合成画像から前記第2の被写体像を消去することを特徴とする撮像装置。 - 前記合成手段は、前記第2の被写体像の位置に対応する背景画像を前記合成画像に重畳することにより、前記合成画像から前記第2の被写体像を消去することを特徴とする請求項1に記載の撮像装置。
- 前記合成手段は、前記第2の被写体像の位置に対応する背景画像を前記第2の被写体像を含む前記撮像された画像に重畳し、前記背景画像が重畳された画像を用いて前記合成処理を行うことにより、前記合成画像から前記第2の被写体像を消去することを特徴とする請求項1に記載の撮像装置。
- 前記合成手段は、
前記合成画像において被写体像が重複して含まれ得る第1の領域を設定し、
前記第1の領域に被写体像が含まれない合成画像における前記第1の領域の画像を前記背景画像とし、前記背景画像から得られた前記第2の被写体像の位置に対応する画像を前記合成画像から前記第2の被写体像を消去するために用いる
ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。 - 前記合成手段は、前記第1の被写体像が欠損して前記合成画像に含まれることになる場合に、該被写体像を含む前記撮像された画像から得られる欠損していない被写体像を前記合成画像に更に重畳することを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
- 前記合成手段は、前記同一の被写体の被写体像が重複して含まれることになる場合に、それぞれの被写体像の欠損の度合い、または、前記合成画像における位置に応じて前記第1の被写体像と前記第2の被写体像とを決定することを特徴とする請求項1から5のいずれか1項に記載の撮像装置。
- 前記合成手段は、前記欠損の度合いがより小さい被写体像を前記第1の被写体像とすることを特徴とする請求項6に記載の撮像装置。
- 前記合成手段は、同一の被写体の被写体像が前記合成画像における結合された画像の境界をまたいで移動していく場合に、前記第1の被写体像と前記第2の被写体像とを前記境界を基準に切り替えることを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
- 前記画像の境界は、撮像された第1の画像と第2の画像とが結合された境界あって、前記被写体像が、前記合成画像における前記第1の画像が含まれる第1の部分から前記境界をまたいで前記第2の画像が含まれる第2の部分に移動する場合に、
前記合成手段は、前記被写体像が前記第1の部分に対応する第1の画像に含まれる場合に、前記第1の画像における被写体像を前記第1の被写体像に決定し、前記被写体像が前記第2の部分に対応する第2の画像に含まれる場合に、前記第2の画像における被写体像を前記第1の被写体像に決定する
ことを特徴とする請求項8に記載の撮像装置。 - 前記合成手段は、前記被写体像が前記第1の部分に対応する第1の画像に含まれている間は、前記第1の画像における被写体像を前記第1の被写体像に決定することを特徴とする請求項9に記載の撮像装置。
- 前記合成手段は、前記被写体像が前記第1の部分に対応する前記第1の画像に含まれなくなっても、前記被写体像が前記第2の部分に対応する前記第2の画像に含まれていない場合、前記第2の画像における被写体像を前記第1の被写体像に決定し、かつ、前記被写体像を前記境界の位置において前記合成画像に重畳することを特徴とする請求項9または10に記載の撮像装置。
- 隣接する撮像部と撮像画角の一部が重複するように配置された複数の撮像部を備える撮像装置の制御方法であって、
前記複数の撮像部のそれぞれが、撮像を行って画像を生成する工程と、
合成手段が、前記複数の撮像部のそれぞれで撮像された画像を結合する合成処理を行って合成画像を生成する合成工程と
を含み、
前記合成工程では、前記合成画像に同一の被写体の被写体像が重複して含まれることになる場合に、第1の被写体像のみが前記合成画像に含まれるようにするために、第2の被写体像の位置に対応する背景画像を用いて、前記合成画像から前記第2の被写体像が消去されることを特徴とする撮像装置の制御方法。 - コンピュータを請求項1から11のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018094758A JP7080103B2 (ja) | 2018-05-16 | 2018-05-16 | 撮像装置、その制御方法、および、プログラム |
CN201910359398.0A CN110505415A (zh) | 2018-05-16 | 2019-04-30 | 摄像设备及其控制方法和非暂时性计算机可读存储介质 |
US16/407,586 US10691012B2 (en) | 2018-05-16 | 2019-05-09 | Image capturing apparatus, method of controlling image capturing apparatus, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018094758A JP7080103B2 (ja) | 2018-05-16 | 2018-05-16 | 撮像装置、その制御方法、および、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019201325A true JP2019201325A (ja) | 2019-11-21 |
JP2019201325A5 JP2019201325A5 (ja) | 2021-06-17 |
JP7080103B2 JP7080103B2 (ja) | 2022-06-03 |
Family
ID=68532603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018094758A Active JP7080103B2 (ja) | 2018-05-16 | 2018-05-16 | 撮像装置、その制御方法、および、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10691012B2 (ja) |
JP (1) | JP7080103B2 (ja) |
CN (1) | CN110505415A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018155670A1 (ja) * | 2017-02-27 | 2018-08-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
JP7204499B2 (ja) | 2019-01-21 | 2023-01-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、および、プログラム |
JP7403242B2 (ja) | 2019-06-10 | 2023-12-22 | キヤノン株式会社 | 画像処理システム、画像処理方法、及びプログラム |
KR102282117B1 (ko) * | 2020-01-31 | 2021-07-27 | 엘지전자 주식회사 | 인공지능 디스플레이 장치 |
JP2021136664A (ja) | 2020-02-28 | 2021-09-13 | キヤノン株式会社 | デバイス、制御方法、およびプログラム |
JP2021136666A (ja) | 2020-02-28 | 2021-09-13 | キヤノン株式会社 | 撮像装置、デバイス、制御方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06141237A (ja) * | 1992-10-22 | 1994-05-20 | Canon Inc | 複眼撮像装置 |
JP2016048573A (ja) * | 2015-11-20 | 2016-04-07 | 株式会社リコー | 画像処理システム |
JP2016208306A (ja) * | 2015-04-23 | 2016-12-08 | パナソニックIpマネジメント株式会社 | 画像処理装置及びこれを備えた撮像システムならびに画像処理方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006229789A (ja) | 2005-02-18 | 2006-08-31 | Toshiba Corp | カメラ監視システム及びそれに用いられる映像合成方法、映像合成プログラム |
SG150414A1 (en) * | 2007-09-05 | 2009-03-30 | Creative Tech Ltd | Methods for processing a composite video image with feature indication |
US20100097444A1 (en) * | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
CN101673395B (zh) * | 2008-09-10 | 2012-09-05 | 华为终端有限公司 | 图像拼接方法及装置 |
US20110085141A1 (en) * | 2009-06-19 | 2011-04-14 | Lenny Lipton | System for the projection of stereoscopic motion pictures |
US9521395B2 (en) * | 2011-10-04 | 2016-12-13 | Canon Kabushiki Kaisha | Imaging apparatus and method for controlling same |
CN104145479B (zh) * | 2012-02-07 | 2017-10-27 | 诺基亚技术有限公司 | 从图像去除对象 |
JP5806623B2 (ja) * | 2012-02-07 | 2015-11-10 | オリンパス株式会社 | 撮像装置、撮像方法およびプログラム |
CN106815802A (zh) * | 2016-12-23 | 2017-06-09 | 深圳超多维科技有限公司 | 一种图像拼接方法及装置 |
-
2018
- 2018-05-16 JP JP2018094758A patent/JP7080103B2/ja active Active
-
2019
- 2019-04-30 CN CN201910359398.0A patent/CN110505415A/zh active Pending
- 2019-05-09 US US16/407,586 patent/US10691012B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06141237A (ja) * | 1992-10-22 | 1994-05-20 | Canon Inc | 複眼撮像装置 |
JP2016208306A (ja) * | 2015-04-23 | 2016-12-08 | パナソニックIpマネジメント株式会社 | 画像処理装置及びこれを備えた撮像システムならびに画像処理方法 |
JP2016048573A (ja) * | 2015-11-20 | 2016-04-07 | 株式会社リコー | 画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
US20190354003A1 (en) | 2019-11-21 |
CN110505415A (zh) | 2019-11-26 |
JP7080103B2 (ja) | 2022-06-03 |
US10691012B2 (en) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7080103B2 (ja) | 撮像装置、その制御方法、および、プログラム | |
US11228748B2 (en) | Application processor for disparity compensation between images of two cameras in digital photographing apparatus | |
JP6108176B2 (ja) | 画像処理装置及び画像処理方法 | |
US8472667B2 (en) | Editing apparatus and method | |
CN102959943A (zh) | 立体全景图像合成装置、图像捕获装置、立体全景图像合成方法、记录介质、以及计算机程序 | |
JP2019125929A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
EP3198863A1 (en) | Transmission of three-dimensional video | |
GB2485036A (en) | Preventing subject occlusion in a dual lens camera PIP display | |
JP2013254432A (ja) | 画像処理装置及び画像処理方法 | |
JP5963006B2 (ja) | 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 | |
JP2011130328A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2011035638A (ja) | 仮想現実空間映像制作システム | |
JP6700935B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2013093836A (ja) | 撮像装置、画像処理装置およびその方法 | |
JP6584237B2 (ja) | 制御装置、制御方法、およびプログラム | |
JP6004978B2 (ja) | 被写体画像抽出装置および被写体画像抽出・合成装置 | |
JP2020136774A (ja) | 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム | |
JP2016111561A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
JP6545229B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP7389558B2 (ja) | 情報処理装置およびその制御方法ならびにプログラム | |
JP2009027437A (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP2019201324A (ja) | 撮像装置、情報処理装置、それらの制御方法、および、プログラム | |
JP7458769B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP2019009574A (ja) | 画像処理装置 | |
JP6818734B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220524 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7080103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |