JP2014524074A - 同一シーンの複数の画像を処理するための方法 - Google Patents
同一シーンの複数の画像を処理するための方法 Download PDFInfo
- Publication number
- JP2014524074A JP2014524074A JP2014515832A JP2014515832A JP2014524074A JP 2014524074 A JP2014524074 A JP 2014524074A JP 2014515832 A JP2014515832 A JP 2014515832A JP 2014515832 A JP2014515832 A JP 2014515832A JP 2014524074 A JP2014524074 A JP 2014524074A
- Authority
- JP
- Japan
- Prior art keywords
- image
- token
- association information
- images
- cpu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 133
- 238000012545 processing Methods 0.000 title claims abstract description 16
- 230000003595 spectral effect Effects 0.000 claims description 49
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 239000000463 material Substances 0.000 description 82
- 238000005286 illumination Methods 0.000 description 73
- 230000000875 corresponding effect Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 20
- 230000009466 transformation Effects 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 15
- 238000002310 reflectometry Methods 0.000 description 14
- 238000013507 mapping Methods 0.000 description 12
- 239000000126 substance Substances 0.000 description 12
- 239000003086 colorant Substances 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 210000003739 neck Anatomy 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010129 solution processing Methods 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
Abstract
Description
− 汎用のアンカ制約。この制約では、[b]は、任意の指定値でよく、トークンの物質色が[b]内の値であるべきであることを示し、ここで、その値は、画像からの値またはユーザによって指定された任意の値でよく、例えば、人の顔の場合、ユーザが、スキントークンに関して値0.4を指定することができる(それにより、すべての顔が、画像内にあるものとして記憶されるように妥当な強度で現れる)。
− 同一物質制約。この制約では、[b]内の値は0であり、関連の式は、2つのトークンの物質色の差が0であることを指定している。
− 同一照明制約。この制約では、[b]内の値は、元の画像内の各トークンに関して測定された2つの色の差であり、関連の式は、元の画像内の2つのトークンの差が、それらの物質色の差であることを示す(これは、照明の差が0であることを意味する)。
− 平滑照明制約。この制約では、[b]内の値は、例えば平滑照明の場合にはフィルタ応答の出力として、または他のバージョンの平滑照明制約の場合には近隣の画素の差の平均として、元の画像から計算される何らかの値である。
− ユーザが、陰影領域内および照明領域内の同一物質を識別し、識別された領域からの画素色値の関数として特性スペクトル比を計算する。
− 例えば米国特許第7,672,530号明細書に開示されている自動技法など、特性スペクトル比を決定するための自動技法がCPU12によって実行される。
− 暗色および明色画素をサンプルし、それらのサンプルを使用して妥当な特性スペクトル比を計算するようにCPU12を動作させる。
− 暗色および明色画素をサンプルし、それらのサンプルをミーンシフトなどの技法で使用して特性スペクトル比を識別するようにCPU12を動作させる。
1)第1の画像(I0)に関して単独で求解し、決定された反射率を、(トークン対応付けによって)すべての後続画像に関する固定アンカとして使用する(400a)。
2)ユーザに、1つまたは複数のトークンの反射率を示す入力値を提供させ、次いで、これを使用して、(トークン対応付けによって)すべての後続画像をアンカする(400b)、または
3)1組の対応するアンカに関して画素値を解析し、例えば最大値、90パーセンタイル、中央値、または平均値など、その組の何らかの関数を得る(400c)。
Claims (23)
- 画像を処理するための自動化され、コンピュータ化された方法であって、
コンピュータメモリに、同一シーンの画像を示す画像ファイルのシーケンスを提供するステップと、
画像シーケンスにわたって、前記同一シーンに関連する対応付け情報を決定するステップと、
前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するステップと
を含む、方法。 - 前記画像シーケンスの各画像内のトークン領域を識別するさらなるステップを含み、前記対応付け情報が、前記画像シーケンスにわたるマッチングトークン情報を含む、請求項1に記載の方法。
- 対応付け情報を決定するステップが、粗い対応付け技法を実行することによって実施される、請求項1に記載の方法。
- 対応付け情報を決定するステップが、密な対応付け技法を実行することによって行われる、請求項1に記載の方法。
- 前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するステップが、アンカ制約を実行することによって行われる、請求項1に記載の方法。
- 前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するステップが、マルチ画像求解技法を実行することによって行われる、請求項1に記載の方法。
- 前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するステップが、空間スペクトル演算子/制約/ソルバモデルに従って固有画像プロセスを実行し、前記対応付け情報を使用して、生成された固有画像に対して後処理技法を実施することによって行われる、請求項1に記載の方法。
- 前記粗い対応付け技法が、パッチ登録技法、ヒストグラムベースの対応付け技法およびスペクトル比ベースの対応付け技法からなる群から選択される、請求項3に記載の方法。
- CPUと、同一シーンの画像を示す画像ファイルのシーケンスを記憶するメモリとを備えるコンピュータシステムであって、
前記CPUが、画像シーケンスにわたって前記同一シーンに関連する対応付け情報を決定し、前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するルーチンを実行するように、配置および構成される、
コンピュータシステム。 - 非一時的なコンピュータ可読媒体に配置されたコンピュータプログラム製品であって、コンピュータメモリに、同一シーンの画像を示す画像ファイルのシーケンスを提供し、画像シーケンスにわたって、前記同一シーンに関連する対応付け情報を決定し、前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するように、コンピュータを制御するよう動作可能なコンピュータ実行可能プロセスステップを含むコンピュータプログラム製品。
- 前記画像シーケンスの各画像内のトークン領域を識別するさらなるステップを含み、前記対応付け情報が、前記画像シーケンスにわたるマッチングトークン情報を含む、請求項10に記載のコンピュータプログラム製品。
- 対応付け情報を決定するプロセスステップが、粗い対応付け技法を実行することによって実施される、請求項10に記載のコンピュータプログラム製品。
- 対応付け情報を決定するプロセスステップが、密な対応付け技法を実行することによって実施される、請求項10に記載のコンピュータプログラム製品。
- 前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するプロセスステップが、アンカ制約を実行することによって行われる、請求項10に記載のコンピュータプログラム製品。
- 前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するプロセスステップが、マルチ画像求解技法を実行することによって行われる、請求項10に記載のコンピュータプログラム製品。
- 前記対応付け情報に応じて、前記画像シーケンスの各画像に関して個別の固有画像を生成するプロセスステップが、空間スペクトル演算子/制約/ソルバモデルに従って固有画像プロセスを実行し、前記対応付け情報を使用して、生成された固有画像に対して後処理技法を実施することによって行われる、請求項10に記載のコンピュータプログラム製品。
- 前記粗い対応付け技法が、パッチ登録技法、ヒストグラムベースの対応付け技法およびスペクトル比ベースの対応付け技法からなる群から選択される、請求項12に記載のコンピュータプログラム製品。
- 前記同一シーンが物体を含む、請求項1に記載の方法。
- 前記物体が予め選択される、請求項18に記載の方法。
- 前記同一シーンが物体を含む、請求項9に記載のコンピュータシステム。
- 前記物体が予め選択される、請求項20に記載のコンピュータシステム。
- 前記同一シーンが物体を含む、請求項10に記載のコンピュータプログラム製品。
- 前記物体が予め選択される、請求項22に記載のコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/162,192 | 2011-06-16 | ||
US13/162,192 US8606050B2 (en) | 2011-06-16 | 2011-06-16 | Method for processing multiple images of a same scene |
PCT/US2012/038604 WO2012173743A1 (en) | 2011-06-16 | 2012-05-18 | Method for processing multiple images of a same scene |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014524074A true JP2014524074A (ja) | 2014-09-18 |
JP6047561B2 JP6047561B2 (ja) | 2016-12-21 |
Family
ID=47353725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014515832A Active JP6047561B2 (ja) | 2011-06-16 | 2012-05-18 | 同一シーンの複数の画像を処理するための方法、コンピュータシステム、およびコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (2) | US8606050B2 (ja) |
EP (1) | EP2721555A4 (ja) |
JP (1) | JP6047561B2 (ja) |
WO (1) | WO2012173743A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017059233A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社リコー | 画像合成方法及び装置 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9014470B2 (en) * | 2011-08-31 | 2015-04-21 | Adobe Systems Incorporated | Non-rigid dense correspondence |
WO2013100779A1 (en) * | 2011-12-29 | 2013-07-04 | Intel Corporation | Generalized robust multichannel feature detector |
US8837861B2 (en) * | 2012-12-13 | 2014-09-16 | Microsoft Corporation | Bayesian approach to alignment-based image hallucination |
US9460357B2 (en) | 2014-01-08 | 2016-10-04 | Qualcomm Incorporated | Processing text images with shadows |
KR102166334B1 (ko) * | 2014-02-19 | 2020-10-15 | 삼성전자주식회사 | 영상 데이터 처리 방법 및 디바이스 |
US11962908B2 (en) | 2015-03-17 | 2024-04-16 | Microsoft Technology Licensing, Llc. | Automatic image frame processing possibility detection |
US10848920B1 (en) | 2019-09-17 | 2020-11-24 | Microsoft Technology Licensing, Llc | Generation of precise geospatial coordinates |
CN111798376B (zh) * | 2020-07-08 | 2023-10-17 | 泰康保险集团股份有限公司 | 图像识别方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7433540B1 (en) * | 2002-10-25 | 2008-10-07 | Adobe Systems Incorporated | Decomposing natural image sequences |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2317803A1 (en) | 1998-11-05 | 2000-05-18 | Myoung-Jin Kim | Method for inspecting inferiority in shape |
US6563959B1 (en) | 1999-07-30 | 2003-05-13 | Pixlogic Llc | Perceptual similarity image retrieval method |
US7146036B2 (en) | 2003-02-03 | 2006-12-05 | Hewlett-Packard Development Company, L.P. | Multiframe correspondence estimation |
JP4783795B2 (ja) | 2005-01-27 | 2011-09-28 | タンデント ビジョン サイエンス インコーポレーティッド | 照明および反射境界の区別 |
US8976173B2 (en) | 2006-01-27 | 2015-03-10 | Tandent Vision Science, Inc. | Bi-illuminant dichromatic reflection model for image manipulation |
US7596266B2 (en) | 2006-04-13 | 2009-09-29 | Tandent Vision Science, Inc. | Method and system for separating illumination and reflectance using a log color space |
US8144978B2 (en) | 2007-08-01 | 2012-03-27 | Tandent Vision Science, Inc. | System and method for identifying complex tokens in an image |
US8175390B2 (en) * | 2008-03-28 | 2012-05-08 | Tandent Vision Science, Inc. | System and method for illumination invariant image segmentation |
AU2009281762A1 (en) | 2008-08-15 | 2010-02-18 | Brown University | Method and apparatus for estimating body shape |
US8139850B2 (en) | 2008-12-05 | 2012-03-20 | Tandent Vision Science, Inc. | Constraint generation for use in image segregation |
US8139867B2 (en) | 2008-12-05 | 2012-03-20 | Tandent Vision Science, Inc. | Image segregation system architecture |
US8478029B2 (en) * | 2009-05-26 | 2013-07-02 | Tandent Vision Science, Inc. | Multi-resolution analysis in image segregation |
US8311338B2 (en) * | 2009-09-15 | 2012-11-13 | Tandent Vision Science, Inc. | Method and system for learning a same-material constraint in an image |
US9563815B2 (en) | 2009-09-15 | 2017-02-07 | Tandent Vision Science, Inc. | Method and system for processing an image received from a remote source |
US8452109B2 (en) * | 2010-01-11 | 2013-05-28 | Tandent Vision Science, Inc. | Image segregation system with method for handling textures |
-
2011
- 2011-06-16 US US13/162,192 patent/US8606050B2/en active Active
-
2012
- 2012-05-18 JP JP2014515832A patent/JP6047561B2/ja active Active
- 2012-05-18 WO PCT/US2012/038604 patent/WO2012173743A1/en unknown
- 2012-05-18 EP EP12800142.7A patent/EP2721555A4/en not_active Ceased
-
2013
- 2013-11-01 US US14/069,916 patent/US9230332B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7433540B1 (en) * | 2002-10-25 | 2008-10-07 | Adobe Systems Incorporated | Decomposing natural image sequences |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017059233A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社リコー | 画像合成方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
US20140056514A1 (en) | 2014-02-27 |
EP2721555A4 (en) | 2015-03-18 |
US8606050B2 (en) | 2013-12-10 |
US9230332B2 (en) | 2016-01-05 |
EP2721555A1 (en) | 2014-04-23 |
WO2012173743A1 (en) | 2012-12-20 |
JP6047561B2 (ja) | 2016-12-21 |
US20120321222A1 (en) | 2012-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6047561B2 (ja) | 同一シーンの複数の画像を処理するための方法、コンピュータシステム、およびコンピュータプログラム | |
US8452109B2 (en) | Image segregation system with method for handling textures | |
US8600169B2 (en) | Method and system for learning a same-material constraint in an image | |
US8542917B2 (en) | System and method for identifying complex tokens in an image | |
US8577150B2 (en) | System and method for removing specularity from an image | |
US8559714B2 (en) | Post processing for improved generation of intrinsic images | |
US9542614B2 (en) | Constraint relationship for use in an image segregation | |
US20130342694A1 (en) | Method and system for use of intrinsic images in an automotive driver-vehicle-assistance device | |
US8249342B1 (en) | Color analytics for a digital image | |
US20150324662A1 (en) | Method for identifying color-based vectors for analysis of frames of a video | |
US20150324660A1 (en) | Multi-scale pyramid arrangement for use in an image segregation | |
US20150324661A1 (en) | Method for detection of blend pixels for use in an image segregation | |
US8582873B2 (en) | Use of an object database in an image process | |
US8913829B2 (en) | Automatic processing scale estimation for use in an image process | |
US8428352B1 (en) | Post processing for improved generation of intrinsic images | |
WO2015171355A1 (en) | A method for identifying color-based vectors for analysis of frames of a video | |
US9158989B1 (en) | Color pure scale-spaced pyramid arrangement for use in an image segregation | |
US8553979B2 (en) | Post processing for improved generation of intrinsic images | |
US9158973B1 (en) | Temporal constraint relationship for use in an image segregation for frames of a video | |
US8655099B2 (en) | Relationship maintenance in an image process | |
US8879836B2 (en) | System and method for identifying complex tokens in an image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6047561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |