JP2015035799A - 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム - Google Patents
情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP2015035799A JP2015035799A JP2014082017A JP2014082017A JP2015035799A JP 2015035799 A JP2015035799 A JP 2015035799A JP 2014082017 A JP2014082017 A JP 2014082017A JP 2014082017 A JP2014082017 A JP 2014082017A JP 2015035799 A JP2015035799 A JP 2015035799A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- unit
- unnecessary object
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 97
- 230000010365 information processing Effects 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims description 104
- 239000013598 vector Substances 0.000 description 29
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の第一の実施例は、複数の撮像部を備え、不要物の形状に応じて画像取得に使用する撮像部を選択する多眼カメラに適用される。本実施例の多眼カメラは、画像合成による不要物除去に適当な視点を効率よく選択して画像の取得および処理を行うため、情報処理量と消費電力量の削減を行うことができる。
第一の実施例は、ユーザの操作により不要物の形状が取得されたが、第二の実施例では、ユーザの操作ではなく画像認識によって不要物の形状が取得される。
第一の実施例においては、不要物に曲線状のものが含まれたり、直線状のものが3本以上含まれている場合、全視点の画像を用いて不要物除去処理を行うとした。しかし、座標変換処理には多大な処理が必要となるため、上記の場合においても、全視点の画像を使用せずに不要物除去処理を行えることが望ましい。そこで、本実施におけるカメラでは、画像を複数の小領域のパッチに分割し、不要物除去に用いる視点をパッチごとに選択することで、不要物に曲線状のものが含まれている場合であっても使用視点数が効率よく選択できるようにした。
第一の実施例をそのまま用いて不要物除去を行った時、全視点の画像を用いて不要物除去処理を行っても、不要物の像が完全に除去できない場合がある。これは例えば、画像中に格子状の不要物が含まれ、その格子を形成する各直線の角度と、多眼カメラに含まれる各視点の配置の対象軸の角度が一致しており、かつ多眼カメラに含まれる視点数が少ない場合などに発生する。これは、上述の条件においては全視点を用いた場合であっても過半数の視点で不要物に隠れてしまう点が存在することに起因する。図18(a)にその例を示す。図18(a)は、水平方向と垂直方向に延びる格子状の不要物が存在するシーンを、水平方向と垂直方向に均等な間隔で配置された3×3の視点から撮像した画像を示す図である。画像1801〜画像1809は、それぞれ順番に左上視点、中央上視点、右上視点、中央左視点、中央視点、中央右視点、左下視点、中央下視点、右下視点から撮像された画像である。画像中の文字ABCDEは目的の被写体を示し、交差する直線は目的の被写体の前に存在する格子状の不要物を示している。画像1801〜1809はそれぞれ異なる視点から撮像されているため、互いに視差を有している。不要物は目的の被写体に比べて、画像を撮影したカメラの近くに存在するため、目的の被写体を基準に各画像の位置合わせを行うと、不要物の像が互いにずれた画像群を得ることができる。多視点画像を用いた不要物除去では、この不要物の像のずれを利用して不要物の像の除去を行うが、図18(a)の場合のように、不要物の像の方向と視点の配置の対象軸が一致している場合、各画像間の不要物の像のずれが打ち消されてしまう。そのため、このような画像群に対してベクトルメディアンフィルタを施しても、画像1810のように不要物の像が除去できない点が残ってしまう。
y=ax+yA−axA
また、基準直線に重なる2視点とその他1視点からなる視点グループを用いてベクトルメディアンフィルタ処理を行うと、不要物の像として直線と点が残る。この時、基準直線に重ならない1視点の座標を(xc,yc)、第一の処理後に残る直線と点は以下の式で表わされる。
実施例は上記の構成に限定されるものではなく、上記の複数の実施例を組み合わせた構成であってもよい。例えば、第三の実施例において、各パッチ内の不要物の直線近似が画像認識処理により行われてもよい。
101〜125 撮像部
301 操作部
302 不要物形状取得部
303 視点選択部
306 不要物除去部
320 情報処理部
Claims (19)
- 撮像によって得られた、異なる視点位置に対応する複数の画像を処理する情報処理装置であって、
前記複数の画像に含まれる不要物の形状に関する情報を取得する取得手段と、
前記不要物の形状に関する情報に基づいて、前記撮像によって画像を取得可能な視点位置の中から、複数の視点位置を選択する選択手段と、
前記選択された複数の視点位置に対応する複数の画像を用いて、前記不要物の像の少なくとも一部が含まれない画像データを生成する生成手段とを備えることを特徴とする情報処理装置。 - 前記不要物の形状に関する情報は、前記被写体の長手方向を示す情報を含むことを特徴とする請求項1に記載の情報処理装置。
- 前記選択手段は、選択した視点位置の中に、視点位置どうしをつないだ直線の方向が前記長手方向と同じ方向になるような視点位置の組を含まないように、前記複数の視点位置を選択することを特徴とする請求項1又は2に記載の情報処理装置。
- 前記選択手段は、前記撮像によって画像を取得可能な視点位置の中から、それぞれが複数の視点位置を含む複数の視点位置グループを選択し、
前記生成手段は、前記不要物の像の少なくとも一部が含まれない画像データとして、それぞれが前記複数の視点位置グループのうちのいずれかに対応する、複数の第一画像データを生成する第一の処理手段と、前記複数の第一画像データを用いて、前記複数の第一画像データのそれぞれに含まれる不要物の像の少なくとも一部を除去した画像データである、第二画像データを生成する第二の処理手段とを備えることを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。 - 前記不要物の形状に関する情報は、前記不要物の像を直線形状とみなした場合の、該直線の傾きに関する情報を含むことを特徴とする請求項1乃至4のいずれか一項に記載の情報処理装置。
- 前記情報処理装置によって処理される画像は、異なる視点位置に対応する複数の撮像部を有する撮像装置によって取得された画像であることを特徴とする請求項1乃至5のいずれか一項に記載の情報処理装置。
- 前記複数の撮像部のうちの、前記選択手段によって選択された視点位置に対応する撮像部を、前記撮像装置による画像の取得に用いる撮像部として指定する指定手段を更に有し、
前記生成手段は、前記指定手段が指定した撮像部によって取得された画像を用いて、前記不要物の像の少なくとも一部が含まれない画像を生成することを特徴とする請求項6に記載の情報処理装置。 - 前記生成手段は、前記撮像によって得られた複数の画像の中から、前記選択手段によって選択された視点位置に対応する画像を選択し、前記選択された画像を用いて、前記不要物の像の少なくとも一部が含まれない画像を生成することを特徴とする請求項1乃至6のいずれか一項に記載の情報処理装置。
- 操作を入力する操作手段を更に備え、
前記取得手段は、前記不要物の形状に関する情報を、前記操作手段の操作に基づいて取得することを特徴とする請求項1乃至8のいずれか一項に記載の情報処理装置。 - 前記操作手段はタッチパネルであり、前記不要物の形状に関する情報は、前記タッチパネル上のタッチ位置の軌跡に基づいて取得されることを特徴とする請求項1乃至9のいずれか一項に記載の情報処理装置。
- 前記不要物の像を含む画像を表示する表示手段を更に備え、
前記タッチパネルは、前記表示手段と一体に構成されていることを特徴とする請求項10に記載の情報処理装置。 - 前記不要物の形状に関する情報は、前記撮像によって取得された画像を用いた画像認識により取得されることを特徴とする請求項1乃至11のいずれか一項に記載の情報処理装置。
- 前記選択手段によって選択された複数の視点に対応する複数の画像は、該画像中に含まれる前記不要物の像に対応する画素領域が、互いに異なる領域である組み合わせを含むことを特徴とする請求項1乃至12のいずれか一項に記載の情報処理装置。
- 請求項1乃至13のいずれか一項に記載の情報処理装置としての機能を有し、複数の撮像部を更に有することを特徴とする撮像装置。
- 撮像装置と情報処理装置とを含む情報処理システムであって、
異なる視点位置に対応する複数の画像を撮像により取得する撮像手段と、
前記複数の画像に含まれる不要物の形状に関する情報を取得する取得手段と、
前記不要物の形状に関する情報に基づいて、前記撮像によって画像を取得可能な視点位置の中から、複数の視点位置を選択する選択手段と、
前記選択された複数の視点位置に対応する複数の画像を用いて、前記不要物の像の少なくとも一部が含まれない画像データを生成する生成手段とを備えることを特徴とする情報処理システム。 - 撮像によって得られた、異なる視点位置に対応する複数の画像を取得するステップと、
前記複数の画像に含まれる不要物の形状に関する情報を取得するステップと、
前記不要物の形状に関する情報に基づいて、前記撮像によって画像を取得可能な視点位置の中から、複数の視点位置を選択するステップと、
前記選択された複数の視点位置に対応する複数の画像を用いて、前記不要物の像の少なくとも一部が含まれない画像データを生成するステップとを含む情報処理方法。 - 情報処理装置にプログラムコードとして読み込ませることにより、処理を実行させるプログラムであって、
前記処理は、
撮像によって得られた、異なる視点位置に対応する複数の画像を取得するステップと、
前記複数の画像に含まれる不要物の形状に関する情報を取得するステップと、
前記不要物の形状に関する情報に基づいて、前記撮像によって画像を取得可能な視点位置の中から、複数の視点位置を選択するステップと、
前記選択された複数の視点位置に対応する複数の画像を用いて、前記不要物の像の少なくとも一部が含まれない画像データを生成するステップとを含む情報処理方法。 - 請求項17に記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。
- 異なる視点位置に対応する複数の画像を用いて、前記複数の画像に含まれる不要物の像の少なくとも一部が除去された画像を生成する情報処理装置であって、
ユーザの操作により方向を入力する入力手段と、
前記入力手段により入力された方向に基づいて、前記不要物の像の少なくとも一部が除去された画像の生成に用いる画像を決定する決定手段とを備えることを特徴とする情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014082017A JP6429483B2 (ja) | 2013-07-09 | 2014-04-11 | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム |
US14/325,138 US9773188B2 (en) | 2013-07-09 | 2014-07-07 | Information processing apparatus, imaging apparatus, information processing system, information processing method, and program for removing unwanting objects from images |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013143695 | 2013-07-09 | ||
JP2013143695 | 2013-07-09 | ||
JP2014082017A JP6429483B2 (ja) | 2013-07-09 | 2014-04-11 | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018205143A Division JP6622886B2 (ja) | 2013-07-09 | 2018-10-31 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015035799A true JP2015035799A (ja) | 2015-02-19 |
JP6429483B2 JP6429483B2 (ja) | 2018-11-28 |
Family
ID=52276777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014082017A Active JP6429483B2 (ja) | 2013-07-09 | 2014-04-11 | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9773188B2 (ja) |
JP (1) | JP6429483B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10334511B2 (en) * | 2016-12-30 | 2019-06-25 | Intel IP Corporation | Methods for scanning in directive multi-gigabit network |
DE102017212214A1 (de) * | 2017-07-17 | 2019-01-17 | Carl Zeiss Microscopy Gmbh | Verfahren zum Aufzeichnen eines Bildes unter Verwendung eines Teilchenmikroskops und Teilchenmikroskop |
US10284789B2 (en) * | 2017-09-15 | 2019-05-07 | Sony Corporation | Dynamic generation of image of a scene based on removal of undesired object present in the scene |
CN113747048B (zh) * | 2020-05-30 | 2022-12-02 | 华为技术有限公司 | 一种图像内容的去除方法及相关装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000088523A (ja) * | 1998-09-09 | 2000-03-31 | Tech Res & Dev Inst Of Japan Def Agency | 特徴ベクトルを利用した物体の認識装置および方法 |
JP2006113807A (ja) * | 2004-10-14 | 2006-04-27 | Canon Inc | 多視点画像の画像処理装置および画像処理プログラム |
JP2008117305A (ja) * | 2006-11-07 | 2008-05-22 | Olympus Corp | 画像処理装置 |
JP2010041586A (ja) * | 2008-08-07 | 2010-02-18 | Olympus Corp | 撮像装置 |
JP2011023814A (ja) * | 2009-07-13 | 2011-02-03 | Sharp Corp | 撮像装置 |
JP2011151798A (ja) * | 2009-12-24 | 2011-08-04 | Sharp Corp | 多眼撮像装置および多眼撮像方法 |
JP2012186718A (ja) * | 2011-03-07 | 2012-09-27 | Nikon Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
US20120262569A1 (en) * | 2011-04-12 | 2012-10-18 | International Business Machines Corporation | Visual obstruction removal with image capture |
JP2013093836A (ja) * | 2011-10-03 | 2013-05-16 | Canon Inc | 撮像装置、画像処理装置およびその方法 |
US20150213636A1 (en) * | 2012-09-05 | 2015-07-30 | Fayteq Ag | Method and image processing system for removing a visual object from an image |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2192546A1 (en) * | 2008-12-01 | 2010-06-02 | Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO | Method for recognizing objects in a set of images recorded by one or more cameras |
US8514491B2 (en) * | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
WO2013191689A1 (en) * | 2012-06-20 | 2013-12-27 | Image Masters, Inc. | Presenting realistic designs of spaces and objects |
-
2014
- 2014-04-11 JP JP2014082017A patent/JP6429483B2/ja active Active
- 2014-07-07 US US14/325,138 patent/US9773188B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000088523A (ja) * | 1998-09-09 | 2000-03-31 | Tech Res & Dev Inst Of Japan Def Agency | 特徴ベクトルを利用した物体の認識装置および方法 |
JP2006113807A (ja) * | 2004-10-14 | 2006-04-27 | Canon Inc | 多視点画像の画像処理装置および画像処理プログラム |
JP2008117305A (ja) * | 2006-11-07 | 2008-05-22 | Olympus Corp | 画像処理装置 |
JP2010041586A (ja) * | 2008-08-07 | 2010-02-18 | Olympus Corp | 撮像装置 |
JP2011023814A (ja) * | 2009-07-13 | 2011-02-03 | Sharp Corp | 撮像装置 |
JP2011151798A (ja) * | 2009-12-24 | 2011-08-04 | Sharp Corp | 多眼撮像装置および多眼撮像方法 |
JP2012186718A (ja) * | 2011-03-07 | 2012-09-27 | Nikon Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
US20120262569A1 (en) * | 2011-04-12 | 2012-10-18 | International Business Machines Corporation | Visual obstruction removal with image capture |
JP2013093836A (ja) * | 2011-10-03 | 2013-05-16 | Canon Inc | 撮像装置、画像処理装置およびその方法 |
US20150213636A1 (en) * | 2012-09-05 | 2015-07-30 | Fayteq Ag | Method and image processing system for removing a visual object from an image |
Also Published As
Publication number | Publication date |
---|---|
US20150015678A1 (en) | 2015-01-15 |
US9773188B2 (en) | 2017-09-26 |
JP6429483B2 (ja) | 2018-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
JP6371553B2 (ja) | 映像表示装置および映像表示システム | |
CN102592124B (zh) | 文本图像的几何校正方法、装置和双目立体视觉系统 | |
JP5792157B2 (ja) | 画像処理装置、方法、プログラム及び記録媒体 | |
CN107392958B (zh) | 一种基于双目立体摄像机确定物体体积的方法及装置 | |
JP5762211B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP7159384B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
EP2757789A1 (en) | Image processing system, image processing method, and image processing program | |
US20150103145A1 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
CN104205826A (zh) | 用于重建高密度三维图像的设备和方法 | |
JP6429483B2 (ja) | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム | |
EP3035242B1 (en) | Method and electronic device for object tracking in a light-field capture | |
JPWO2018147059A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
KR20160149160A (ko) | 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치 | |
US8908012B2 (en) | Electronic device and method for creating three-dimensional image | |
CN103632131B (zh) | 用于提取对象的设备和方法 | |
US20200267374A1 (en) | Data recording apparatus, image capturing apparatus, data recording method, and storage medium | |
JP6622886B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR101718309B1 (ko) | 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법 | |
JP6161874B2 (ja) | 撮像装置、長さ計測方法及びプログラム | |
CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
US20200141720A1 (en) | Laser guided scanning systems and methods for scanning of symmetrical and unsymmetrical objects | |
KR102267442B1 (ko) | 가변 시점에서 촬영된 카메라 왜곡 보정 방법 및 이를 이용한 블록 3차원 모델링 방법 | |
JP6118295B2 (ja) | マーカ埋め込み装置、マーカ検出装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181030 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6429483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |