JP2019215859A - 車載カメラにより取り込まれた原映像に基づいてアピーリング映像を自動的に生成するための方法およびシステム - Google Patents
車載カメラにより取り込まれた原映像に基づいてアピーリング映像を自動的に生成するための方法およびシステム Download PDFInfo
- Publication number
- JP2019215859A JP2019215859A JP2019096811A JP2019096811A JP2019215859A JP 2019215859 A JP2019215859 A JP 2019215859A JP 2019096811 A JP2019096811 A JP 2019096811A JP 2019096811 A JP2019096811 A JP 2019096811A JP 2019215859 A JP2019215859 A JP 2019215859A
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- vehicle
- original
- original video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000000007 visual effect Effects 0.000 title abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 12
- 230000003190 augmentative effect Effects 0.000 claims description 11
- 238000012805 post-processing Methods 0.000 claims description 10
- 230000001960 triggered effect Effects 0.000 claims description 9
- 230000006978 adaptation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000001454 recorded image Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 230000003472 neutralizing effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
- G06V30/274—Syntactic or semantic context, e.g. balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
他の映像からのコンテンツを適合させることにより原映像に情報を付加して拡張映像を生成するステップ。上記他の映像は、他のセンサにより取り込まれたものか、または、他のセンサからの情報もしくは映像のデータベースからの情報に基づいて作成されたものである。
上記拡張映像におけるセマンティックスの配置を改善する或る種のパースペクティブ(perspective、眺望、展望、視野)またはモーフィング(morphing、変形)を生成するように、上記拡張映像の幾何学的パラメータセットを繰り返し適合させるステップ。
上記拡張映像に上記適合させたパラメータセットを適用するステップ、および、上記最適化したパラメータセットを適用した後で、テンプレートのセットを用いて上記拡張映像に後処理を行って最終映像を生成するステップ。
Claims (21)
- 車載カメラにより取り込まれた原映像に基づいてアピーリング映像を自動的に生成するための方法であって、
−前記車載カメラにより原映像を取り込んで記録するステップ(S1)と、
−予め定められた所定のトレイトのセットに対し前記原映像をより類似させて、前記原映像のアピールを改善する最適化プロセスを実行するステップであって、
−他の映像からのコンテンツを適合させることにより原映像に情報を追加して拡張映像を生成するステップであって、前記他の映像は、他のセンサにより撮影されるか、又は他のセンサ若しくは映像データベースからの情報に基づいて作成されるステップ(S3)と、
−前記拡張映像内のセマンティックスの配置を改善するため、或るパースペクティブまたはモーフィングを生成するように前記拡張映像の幾何学的パラメータセットを繰り返し適合させるステップ(S4)と、
−前記拡張映像に前記適合させたパラメータセットを適用して最終映像を生成するステップ(S5)と、
−即座の使用または後の使用のために前記最終映像を出力するステップ(S6)と、
を含むステップと、
を有する方法。 - 前記原映像を取り込むときに前記カメラのパースペクティブにより生成された歪及び又はカメラパラメータから直接もたらされる歪を修正して、修正された映像を生成するステップ(S2)をさらに含み、
前記最適化プロセスを実行するステップは、前記拡張映像の前記幾何学的パラメータのセットを最適化して最適化されたパラメータセットを生成するステップを含み、
前記最適化されたパラメータセットを生成するステップは、
前記原映像に、追加のセマンティックコンテンツである情報を追加するステップと、
最適化アルゴリズムにおいて前記幾何学的パラメータセットをエンコードするステップと、
前記エンコードしたパラメータセットを繰り返し適合させて、適合されたパラメータセットを生成するステップと、
前記拡張映像に、それぞれの適合されたパラメータセットを適用して拡張結果映像を生成するステップと、
前記適合されたパラメータセットを適用する前記ステップからの前記拡張結果映像に、自動化されたセマンティックアノテーションのための方法を適用してアノテーションを生成するステップと、
前記生成したアノテーションの、トレイトのセットに対する類似性を算出するステップ(S4)と、
含む、
ことを特徴とする請求項1に記載の方法。 - 前記原映像内における前記セマンティック画像コンテンツ及びその配置を計算するステップ、
をさらに含むこと特徴とする請求項1または2に記載の方法。 - 前記適合させたパラメータセットを適用した後に、テンプレートのセットを用いて前記拡張映像に後処理を実行して前記最終映像を生成するステップ(S5)、
をさらに含むことを特徴とする請求項1から3のいずれか一項に記載の方法。 - 前記原映像を取り込む前記ステップは、イベントによりトリガされ、
前記イベントは、設定された現地時刻に達すること、規定されたセンサの例外状況の発生、およびオーディオイベントの発生の前記群のうちの1つである、
ことを特徴とする請求項1から4のいずれか一項に記載の方法。 - 前記映像は、連続的に取り込まれて記録され、
前記取り込まれて記録された映像は、それぞれ、前記連続的に取り込まれて記録された映像の自動化されたセマンティックアノテーションのための方法を用いてセマンティックアノテーションが与えられ、
セマンティックアノテーションの、前記トレイトのセットとの類似性に基づいて、さらなる処理に用いられる前記原映像が選択される(S1)、
ことを特徴とする請求項1から5のいずれか一項に記載の方法。 - 前記トレイトは、特定の言葉、カテゴリ、前置詞、言葉の数、または言葉の類似性である、
ことを特徴とする請求項6に記載の方法。 - 前記類似性の前記計算は、複数の単一トレイトの和として計算される、
ことを特徴とする、請求項7に記載の方法。 - 前記後処理ステップ(S5)では、明暗、輝度、彩度およびホワイトバランスのうちの少なくとも1つが調節される、
ことを特徴とする請求項1から8のいずれか一項に記載の方法。 - 前記追加される情報(S3)は、インターネットのデータベース及び又は非公開でホストされるデータベースに記憶された少なくとも1つの映像から抽出され、前記修正した映像に対する前記少なくとも1つの映像の類似性により検索が演算処理される、
ことを特徴とする請求項1から9のいずれか一項に記載の方法。 - 前記追加される情報(S3)は、他のソースにより取り込まれて記録された少なくとも1つ映像から抽出され、前記取り込みは、前記原映像を取り込むことに応じて能動的にトリガされる、
ことを特徴とする請求項10に記載の方法。 - 前記最適化(S4)は、進化的最適化アルゴリズムを用いて実行される、
ことを特徴とする請求項1から11のいずれか一項に記載の方法。 - 前記進化的最適化アルゴリズムは、共分散行列適応を用いる進化的アルゴリズム、ノンドミネーティッドソーティングに基づく進化的アルゴリズム、Sメトリック選択進化的多目的アルゴリズム、及び又は基準ベクトル誘導型進化的アルゴリズムである、
ことを特徴とする請求項12に記載の方法。 - 前記プリファレンスのセットは、輝度、コントラスト、彩度、及び又は明暗についての設定に関するユーザのプリファレンスである
ことを特徴とする、請求項1から13のいずれか一項に記載の方法。 - 前記プリファレンスのセットは、データベースまたは映画からの画像のカテゴリについて訓練された機械学習アルゴリズムにより提供される、
ことを特徴とする請求項1から13のいずれか一項に記載の方法。 - 前記プリファレンスのセットは、前記車両の計算テクスチャを用いて表現される前記車両の三角形区分メッシュについての設定値であって、且つ前記表現された車両を前記最終映像へ統合するものである、
ことを特徴とする請求項1から13のいずれか一項に記載の方法。 - 前記三角形区分メッシュは、車両製造者により提供されて、前記方法を実行するためのシステムに記憶される、
ことを特徴とする請求項16に記載の方法。 - 前記計算テクスチャは、前記車両製造者により提供されて、前記方法を実行するためのシステムに記憶される、
ことを特徴とする請求項17に記載の方法。 - 前記計算テクスチャは、交通インフラストラクチャにより提供されるデータに基づいて算出される、
ことを特徴とする請求項16に記載の方法。 - アピールの前記基準は、公開された最終映像に対する受信されたフィードバックに適合される(S7)、
ことを特徴とする請求項1から19のいずれか一項に記載の方法。 - 原映像を取り込んで記録するよう構成されカメラ(2)が搭載された車両(1)を含むシステムであって、
前記原映像に基づいて、請求項1から19のいずれか一項に記載の方法に規定された前記方法ステップを実行するよう構成されたプロセッサ(3)、
をさらに備えるシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18173982.2A EP3573025A1 (en) | 2018-05-24 | 2018-05-24 | Method and system for automatically generating an appealing visual based on an original visual captured by the vehicle mounted camera |
EP18173982.2 | 2018-05-24 | ||
EP19175877.0 | 2019-05-22 | ||
EP19175877.0A EP3582185A3 (en) | 2018-05-24 | 2019-05-22 | Method and system for automatically generating an appealing visual based on an original visual captured by the vehicle mounted camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019215859A true JP2019215859A (ja) | 2019-12-19 |
JP6997134B2 JP6997134B2 (ja) | 2022-01-17 |
Family
ID=62528246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019096811A Active JP6997134B2 (ja) | 2018-05-24 | 2019-05-23 | 車載カメラにより取り込まれた原映像に基づいてアピーリング映像を自動的に生成するための方法およびシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11049301B2 (ja) |
EP (2) | EP3573025A1 (ja) |
JP (1) | JP6997134B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015504815A (ja) * | 2012-01-05 | 2015-02-16 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 運転者通知方法および運転者通知装置 |
JP2017204261A (ja) * | 2016-05-11 | 2017-11-16 | バイドゥ ユーエスエー エルエルシーBaidu USA LLC | 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7349020B2 (en) * | 2003-10-27 | 2008-03-25 | Hewlett-Packard Development Company, L.P. | System and method for displaying an image composition template |
JP4328692B2 (ja) * | 2004-08-11 | 2009-09-09 | 国立大学法人東京工業大学 | 物体検出装置 |
US20090016571A1 (en) * | 2007-03-30 | 2009-01-15 | Louis Tijerina | Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images |
JP5108840B2 (ja) * | 2009-07-29 | 2012-12-26 | クラリオン株式会社 | 車両用周辺監視装置および車両用周辺画像表示方法 |
US9225942B2 (en) * | 2012-10-11 | 2015-12-29 | GM Global Technology Operations LLC | Imaging surface modeling for camera modeling and virtual view synthesis |
US10525883B2 (en) * | 2014-06-13 | 2020-01-07 | Magna Electronics Inc. | Vehicle vision system with panoramic view |
US10946799B2 (en) * | 2015-04-21 | 2021-03-16 | Magna Electronics Inc. | Vehicle vision system with overlay calibration |
JP6855350B2 (ja) * | 2017-08-08 | 2021-04-07 | アルパイン株式会社 | ヘッドアップディスプレイ装置、ナビゲーション装置、表示方法 |
-
2018
- 2018-05-24 EP EP18173982.2A patent/EP3573025A1/en not_active Withdrawn
-
2019
- 2019-05-22 EP EP19175877.0A patent/EP3582185A3/en active Pending
- 2019-05-23 JP JP2019096811A patent/JP6997134B2/ja active Active
- 2019-05-24 US US16/422,139 patent/US11049301B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015504815A (ja) * | 2012-01-05 | 2015-02-16 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | 運転者通知方法および運転者通知装置 |
JP2017204261A (ja) * | 2016-05-11 | 2017-11-16 | バイドゥ ユーエスエー エルエルシーBaidu USA LLC | 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3573025A1 (en) | 2019-11-27 |
EP3582185A2 (en) | 2019-12-18 |
US11049301B2 (en) | 2021-06-29 |
US20190362527A1 (en) | 2019-11-28 |
JP6997134B2 (ja) | 2022-01-17 |
EP3582185A3 (en) | 2020-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110765923B (zh) | 一种人脸活体检测方法、装置、设备及存储介质 | |
US10467771B2 (en) | Method and system for vehicle localization from camera image | |
KR101854554B1 (ko) | 건축물 높이 산출 방법, 장치 및 저장 매체 | |
JP6719497B2 (ja) | 画像生成方法、画像生成装置及び画像生成システム | |
US10467800B2 (en) | Method and apparatus for reconstructing scene, terminal device, and storage medium | |
JP2021509993A (ja) | 機械学習におけるデータ・ストレージを低減するためのシステムおよび方法 | |
JP2019530062A (ja) | メディアドキュメントのメタデータを自動的に生成するシステム及び方法 | |
KR20190069457A (ko) | 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스 | |
JP2012252507A (ja) | 人物属性推定システム、人物属性推定装置、及び人物属性推定方法 | |
CN112884256B (zh) | 路径规划方法、装置、计算机设备和存储介质 | |
KR101807979B1 (ko) | 이미지 합성물 생성 | |
US20210272253A1 (en) | Automatically merging people and objects from multiple digital images to generate a composite digital image | |
CN112926461B (zh) | 神经网络训练、行驶控制方法及装置 | |
CN110876011A (zh) | 基于图像识别技术的行车拍摄方法及车辆 | |
CN114612774A (zh) | 目标检测及其模型构建方法、电子设备和存储介质 | |
CN117252947A (zh) | 图像处理方法、装置、计算机、存储介质及程序产品 | |
CN117422629B (zh) | 一种实例感知的单目语义场景补全方法、介质及设备 | |
CN117974846A (zh) | 可控图像描述的生成方法、装置及电子设备 | |
CN112668596B (zh) | 三维物体识别方法及装置、识别模型训练方法及装置 | |
JP6997134B2 (ja) | 車載カメラにより取り込まれた原映像に基づいてアピーリング映像を自動的に生成するための方法およびシステム | |
CN116343143A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶系统 | |
CN116797500B (zh) | 图像处理方法、装置、存储介质、电子设备及产品 | |
CN116012609A (zh) | 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质 | |
CN110196931B (zh) | 一种基于图像描述的对话生成方法和装置 | |
CN114820402A (zh) | 图像处理方法、装置、系统、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6997134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |