JP2019139694A - 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 - Google Patents
画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 Download PDFInfo
- Publication number
- JP2019139694A JP2019139694A JP2018025033A JP2018025033A JP2019139694A JP 2019139694 A JP2019139694 A JP 2019139694A JP 2018025033 A JP2018025033 A JP 2018025033A JP 2018025033 A JP2018025033 A JP 2018025033A JP 2019139694 A JP2019139694 A JP 2019139694A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- information
- light source
- subject
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000003384 imaging method Methods 0.000 title claims description 40
- 238000003860 storage Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 21
- 238000012886 linear function Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 64
- 230000009466 transformation Effects 0.000 claims description 18
- 238000000844 transformation Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 14
- 239000010410 layer Substances 0.000 description 20
- 238000013135 deep learning Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
光源環境に関する光源情報を取得することにより、使用する学習データを切り替える。各光源情報に対して推定に使用する学習データを個別に学習して使用することで、より高精度な推定が可能となる。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
102b、303 推定部(画像処理部)
103、302 記憶部
301 画像処理装置
Claims (16)
- 異なる光源環境で被写体を撮影して得られた複数の撮影画像に基づく入力データを取得する工程と、
法線情報に関する学習データを取得する工程と、
前記入力データと前記学習データとに基づいて前記被写体に関する法線情報を推定する工程と、を有し、
前記法線情報を推定する工程は、Nを2以上の整数、nを1からNまでの整数とするとき、
前記入力データに対して、前記学習データに基づく複数の線型関数のそれぞれによる第n線型変換と、非線型関数による第n非線型変換とをnが1からNになるまで順に実行することで中間データを生成する工程と、
前記中間データに対して、前記学習データに基づく少なくとも一つの線型関数による第N+1線型変換を実行する工程と、を含むことを特徴とする画像処理方法。 - 前記光源環境に関する光源情報を取得する工程を更に有し、
前記入力データのサイズまたは前記学習データは、前記光源情報に基づいて決定されることを特徴とする請求項1に記載の画像処理方法。 - 前記被写体の位置情報を取得する工程を更に有し、
前記入力データの大きさまたは前記学習データは、前記位置情報に基づいて決定されることを特徴とする請求項1または2に記載の画像処理方法。 - 前記第n線型変換(n=1〜N)のそれぞれは、前記学習データに基づく複数のフィルタの各々とのコンボリューションを含むことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理方法。
- 前記法線情報を推定する工程において、前記第N+1線型変換は、前記学習データに基づくフィルタとのコンボリューションを含むことを特徴とする請求項4に記載の画像処理方法。
- 前記光源環境に関する光源情報を取得する工程を更に有し、
前記第n線型変換(n=1〜N)および前記第N+1線型変換のそれぞれにおける前記フィルタのサイズは、前記光源情報に基づいて決定されることを特徴とする請求項5に記載の画像処理方法。 - 前記被写体の位置情報を取得する工程を更に有し、
前記第n線型変換(n=1〜N)および前記第N+1線型変換のそれぞれにおける前記フィルタのサイズは、前記位置情報に基づいて決定されることを特徴とする請求項5に記載の画像処理方法。 - 前記入力データは、前記被写体の距離マップを含むことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理方法。
- 前記法線情報の推定は、前記被写体の距離マップを推定することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理方法。
- 前記入力データは、前記被写体の反射特性マップを含むことを特徴とする請求項1乃至9のいずれか1項に記載の画像処理方法。
- 前記法線情報の推定は、前記被写体の反射特性マップを推定することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理方法。
- 前記入力データは、鏡面反射成分が除去された画像を含むことを特徴とする請求項1乃至11のいずれか1項に記載の画像処理方法。
- 法線情報に関する学習データを記憶する記憶部と、
異なる光源環境で被写体を撮影して得られた複数の撮影画像に基づく入力データと、前記学習データとに基づいて前記被写体に関する法線情報を推定する画像処理部と、を有し、
前記画像処理部は、Nを2以上の整数、nを1からNまでの整数とするとき、Nを2以上の整数、nを1からNまでの整数とするとき、
前記入力データに対して、前記学習データに基づく複数の線型関数のそれぞれによる第n線型変換と、非線型関数による第n非線型変換とをnが1からNになるまで順に実行することで中間データを生成し、
前記中間データに対して、前記学習データに基づく少なくとも一つの線型関数による第N+1線型変換を実行することを特徴とする画像処理装置。 - 被写体空間の像を取得する撮像部と、
請求項13に記載の画像処理装置と、を有することを特徴とする撮像装置。 - 請求項1乃至12のいずれか1項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
- 請求項15に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018025033A JP7286268B2 (ja) | 2018-02-15 | 2018-02-15 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018025033A JP7286268B2 (ja) | 2018-02-15 | 2018-02-15 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019139694A true JP2019139694A (ja) | 2019-08-22 |
JP7286268B2 JP7286268B2 (ja) | 2023-06-05 |
Family
ID=67694152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018025033A Active JP7286268B2 (ja) | 2018-02-15 | 2018-02-15 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7286268B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021095672A1 (ja) * | 2019-11-15 | 2021-05-20 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011070708A1 (ja) * | 2009-12-08 | 2011-06-16 | パナソニック株式会社 | 画像処理装置 |
JP2017134561A (ja) * | 2016-01-27 | 2017-08-03 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP2017135528A (ja) * | 2016-01-27 | 2017-08-03 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP2017150878A (ja) * | 2016-02-23 | 2017-08-31 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP2017161374A (ja) * | 2016-03-10 | 2017-09-14 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 |
-
2018
- 2018-02-15 JP JP2018025033A patent/JP7286268B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011070708A1 (ja) * | 2009-12-08 | 2011-06-16 | パナソニック株式会社 | 画像処理装置 |
JP2017134561A (ja) * | 2016-01-27 | 2017-08-03 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP2017135528A (ja) * | 2016-01-27 | 2017-08-03 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP2017150878A (ja) * | 2016-02-23 | 2017-08-31 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP2017161374A (ja) * | 2016-03-10 | 2017-09-14 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 |
Non-Patent Citations (1)
Title |
---|
SILVANO GALLIANI, KONRAD SCHINDLER: ""Just look at the image: viewpoint-specific surface normal prediction for improved multi-view recons", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), JPN6022003802, 27 June 2016 (2016-06-27), pages 5479 - 5487, XP033021744, ISSN: 0004946900, DOI: 10.1109/CVPR.2016.591 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021095672A1 (ja) * | 2019-11-15 | 2021-05-20 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7286268B2 (ja) | 2023-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10713814B2 (en) | Eye tracking method and system | |
JP4324238B2 (ja) | 画像処理システム、方法及び装置 | |
KR20210139450A (ko) | 이미지 디스플레이 방법 및 디바이스 | |
JP6079333B2 (ja) | 校正装置、方法及びプログラム | |
EP3797384A1 (en) | Method and system for imaging and image processing | |
JP2019016275A (ja) | 画像処理方法、画像処理プログラム、記憶媒体、画像処理装置、および撮像装置 | |
JP2017208641A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
JP2017150878A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2018055516A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2019074777A (ja) | 画像処理方法、画像処理装置、および撮像装置 | |
KR20220052359A (ko) | 듀얼 카메라 및 듀얼 픽셀을 통한 조인트 깊이 예측 | |
JP2020197774A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP6869652B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
JP2019168862A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 | |
JP2021165944A (ja) | 学習方法、プログラム及び画像処理装置 | |
CN115834996A (zh) | 用于图像处理的方法和装置 | |
JP7286268B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2017134561A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP7146461B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
JP2018054412A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
JP7246943B2 (ja) | 画像処理方法、画像処理装置、画像処理システム、撮像装置、プログラム、および、記憶媒体 | |
CN114158280A (zh) | 用于确定像素对应的可学习代价体 | |
WO2019171691A1 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
CN114022529B (zh) | 一种基于自适应双目结构光的深度感知方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230317 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230317 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230329 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230524 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7286268 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |