JP2014199640A - 空中又は衛星写真の影除去方法及びその装置 - Google Patents

空中又は衛星写真の影除去方法及びその装置 Download PDF

Info

Publication number
JP2014199640A
JP2014199640A JP2013237466A JP2013237466A JP2014199640A JP 2014199640 A JP2014199640 A JP 2014199640A JP 2013237466 A JP2013237466 A JP 2013237466A JP 2013237466 A JP2013237466 A JP 2013237466A JP 2014199640 A JP2014199640 A JP 2014199640A
Authority
JP
Japan
Prior art keywords
aerial
satellite
shadow
photograph
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013237466A
Other languages
English (en)
Other versions
JP6397617B2 (ja
Inventor
チャンジン ジュ
Chanjin Ju
チャンジン ジュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai AutoEver Corp
Original Assignee
Hyundai Mnsoft Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mnsoft Inc filed Critical Hyundai Mnsoft Inc
Publication of JP2014199640A publication Critical patent/JP2014199640A/ja
Application granted granted Critical
Publication of JP6397617B2 publication Critical patent/JP6397617B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30184Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

【課題】建物により形成される影が含まれている空中又は衛星写真から影を除去して視認性を向上させる空中又は衛星写真の影除去方法及び影除去装置を提供する。【解決手段】撮影情報収集部が空中又は衛星写真を収集する段階(S10)と、前記建物情報抽出部が前記収集された空中又は衛星写真に含まれている建物を抽出する段階(S20)と、影領域予測部が前記抽出された建物により形成される影領域を予測する段階(S30)と、映像復元部が前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する段階(S40)と、映像合成部が前記復元された映像と前記空中又は衛星写真の残りの映像を合成する段階(S50)と、を含む。【選択図】図2

Description

本発明は空中又は衛星写真の影除去方法及びその装置に関し、更に詳しくは、建物により形成される影が含まれている空中又は衛星写真から影を除去して視認性を向上させる空中又は衛星写真の影除去方法及びその装置に関する。
通常、空中又は衛星写真とは、空中のある1つの位置から地表やある物体などを撮影したあらゆる写真を意味し、航空機などを通じて空中から地表を撮影した航空写真と人工衛星から地表を撮影した衛星写真などがこれに該当する。
空中又は衛星写真は撮影角度によって垂直写真と傾斜写真とに区分することもでき、垂直写真は写真の測量、写真の判読、地形図の製作などの専門的な分野で用いられ、傾斜写真は報道用、鳥瞰図用などとして用いられる。
一方、例えば、車両又はスマートフォンに搭載されたナビゲーションは、一般にGPS(Global Positioning System)衛星を介して受信した車両の位置情報に基づいて現在の自身の位置を把握した後、内蔵された道路データベースで現在位置のデータを読み出し、画面に車両の位置と共に表示することで、運転者が現在走行中の道路の位置を識別したり、初めて走る道路で走行する際に目的地を容易に見つけ出せるように補助する装置である。
近年は、ユーザのニーズを充足するために、運転者が目的地を設定すれば、出発地から目的地までの予想到着時間を案内したり、目的地までの道路状況に応じた迂回道路を提案するなどの先進技術がナビゲーションに融合されて運転者に、より正確な経路情報を提供している。
更に、近年は道路データベースの代りに、空中又は衛星写真に車両の位置を表示することによって運転者に、より現実的な経路を案内するための技術が研究及び開発されている。
しかし、従来は、撮影された空中又は衛星写真の転送を受け、該当空中又は衛星写真に車両の位置を表示する程度の技術のみ開発されていたため、建物により形成される影が含まれている空中又は衛星写真が撮影された場合、運転者は影が含まれている空中又は衛星写真で経路を確認するようになるので、運転者の視認性が多少低下してしまうという問題があった。
韓国公開特許公報第2012-0086892号
そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、建物により形成される影が含まれている空中又は衛星写真で影の形状を予測し、これを除去して影が含まれない空中又は衛星写真を表示することで、視認性を向上させる空中又は衛星写真の影除去方法及びその装置を提供することにある。
本発明の一側面による空中又は衛星写真の影除去方法は、撮影情報収集部、建物情報抽出部、影領域予測部、映像復元部及び映像合成部を含む空中写真の影除去装置で実行される空中又は衛星写真の影除去方法であって、前記撮影情報収集部が空中又は衛星写真を収集する段階と、前記建物情報抽出部が前記収集された空中又は衛星写真に含まれている建物を抽出する段階と、前記影領域予測部が前記抽出された建物により形成される影領域を予測する段階と、前記映像復元部が前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する段階と、前記映像合成部が前記復元された映像と前記空中又は衛星写真の残りの映像を合成する段階とを含む。
本発明は、前記空中又は衛星写真を収集する段階で、前記撮影情報収集部は、前記空中又は衛星写真の撮影位置、撮影高度、撮影時刻及び撮影装置の画角情報のうちの少なくとも1つを追加で収集することを特徴とする。
本発明は、前記収集された空中又は衛星写真に含まれている建物を抽出する段階で、前記建物情報抽出部は、既に設定されている基準高さ以上の建物のみを抽出することを特徴とする。
本発明で前記抽出された建物により形成される影領域を予測する段階は、前記空中又は衛星写真の撮影時刻、前記抽出された建物の面状及び高さに基づいて前記影形状を予測する段階と、前記予測された影形状の境界線を抽出する段階とを含むことを特徴とする。
本発明で前記影形状を予測する段階は、前記影が形成される方向及び大きさを予測する段階を含むことを特徴とする。
本発明で前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する段階は、前記予測された影領域に対応する前記空中又は衛星写真の映像自体の明度(Brightness)又は明暗の対比(Contrast)を変更することで、前記空中又は衛星写真の映像を復元する段階を含むことを特徴とする。
本発明で前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する段階は、異なる時刻に撮影された空中又は衛星写真から前記予測された影領域に対応する領域を抽出して代替することで、前記空中又は衛星写真の映像を復元する段階を含むことを特徴とする。
本発明で前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する段階は、異なる時刻に撮影された前記空中又は衛星写真から前記影の境界線領域に対応する領域を抽出して代替することで、前記空中又は衛星写真の映像を復元する段階を含むことを特徴とする。
本発明の他の側面による空中又は衛星写真の影除去装置は、空中又は衛星写真を収集する撮影情報収集部と、前記収集された空中又は衛星写真に含まれている建物を抽出する建物情報抽出部と、前記抽出された建物により形成される影領域を予測する影領域予測部と、前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する映像復元部と、前記復元された映像と前記空中又は衛星写真の残りの映像を合成する映像合成部とを含む。
本発明で前記撮影情報収集部は、前記空中又は衛星写真の撮影位置、撮影高度、撮影時刻及び撮影装置の画角情報のうちの少なくとも1つを追加で収集することを特徴とする。
本発明で前記建物情報抽出部は、前記収集された空中又は衛星写真に含まれている建物の中から既に設定されている基準高さ以上の建物のみを抽出することを特徴とする。
本発明で前記影領域予測部は、前記空中又は衛星写真の撮影時刻、前記抽出された建物の面状及び高さに基づいて前記影形状を予測する形状予測部と、前記予測された影形状の境界線を抽出する境界線抽出部とを含むことを特徴とする。
本発明で前記形状予測部は、前記影が形成される方向又は大きさを予測することを特徴とする。
本発明で前記映像復元部は、前記予測された影領域に対応する前記空中又は衛星写真の映像自体の明度又は明暗の対比を変更することを特徴とする。
本発明で前記映像復元部は、異なる時刻に撮影された空中又は衛星写真から前記予測された影領域に対応する領域を抽出して代替することで、前記空中又は衛星写真の映像を復元することを特徴とする。
本発明で前記映像復元部は、異なる時刻に撮影された前記空中又は衛星写真から前記影の境界線領域に対応する領域を抽出して代替することで、前記空中又は衛星写真の映像を復元することを特徴とする。
本発明によれば、建物により形成される影を含む空中又は衛星写真から影を除去して表示するため、映像の品質を向上させることができるという効果を奏する。
また、本発明は、空中又は衛星写真を通じて車両の目的地までの経路を案内する際に、より視認性の高い映像を通じて経路を案内するので、ユーザの利便性を向上させることができる。
本発明の一実施形態による空中又は衛星写真の影除去装置の機能ブロック図である。 本発明の一実施形態による空中又は衛星写真の影除去方法の実現過程を説明する手順フローチャートである。 本発明の一実施形態による空中又は衛星写真の影除去方法に基づいて予測した影領域を示す図である。 本発明の一実施形態による空中又は衛星写真の影除去方法に基づいて予測した影領域に対応する空中又は衛星写真の映像を復元した図である。 撮影時刻によって異なって形成される影領域を比較して示す空中又は衛星写真の図面である。
以下では、本発明の一実施形態による空中又は衛星写真の影除去方法及びその装置を添付の図面を参照して詳細に説明する。この過程で図面に示された線の太さや構成要素の大きさなどは説明の明瞭性と便宜上、誇張して示されることもあり得る。また、後述する用語は、本発明での機能を考慮して定義された用語であって、これはユーザ、運用者の意図又は慣例によって変わり得る。従って、これらの用語についての定義は、本明細書全般に亘る内容に基づいて行われるべきである。
図1は、本発明の一実施形態による空中又は衛星写真の影除去装置の機能ブロック図である。
図1を参照すれば、空中又は衛星写真の影除去装置は、撮影情報収集部10、建物情報抽出部20、影領域予測部30、映像復元部40、映像合成部50及び地図データベース(DB)60を含む。
撮影情報収集部10は、地面を撮影した空中又は衛星写真を収集し、追加で該当空中又は衛星写真が撮影された撮影位置、撮影高度及び撮影時間を含む撮影情報を収集する。
従って、撮影情報収集部10は、人工衛星又は航空機などの撮影装置1と通信を行うための通信部(図示せず)を含んで構成され得る。
具体的に、撮影情報収集部10は、撮影装置1からリアルタイムで空中又は衛星写真の転送を受けたり、又は予め撮影されて格納された状態の空中又は衛星写真の転送を受けるなど多様な方式で所望の地面の空中又は衛星写真を収集できる。
特に、本実施形態において撮影情報収集部10は、空中又は衛星写真だけでなく、GPS(Global Positioning System)2から該当空中又は衛星写真が撮影される当時の撮影位置と撮影高度情報を収集することで、収集した空中又は衛星写真に含まれる領域を導き出すことができる。
即ち、空中又は衛星写真が撮影される緯度と経度を含む撮影位置情報と撮影高度を通じて該当空中又は衛星写真がどの地面を撮影した映像かを判断できる。
また、本実施形態において、撮影情報収集部10は、撮影装置1から空中又は衛星写真を収集するとき、空中又は衛星写真を撮影しながら、共に格納する撮影時刻に関する情報を共に収集する。
更に、本実施形態において、撮影情報収集部10は、追加で空中又は衛星写真を撮影した撮影装置1の画角(Angle of view)情報を収集できる。撮影装置1によって画角を含む撮影性能が異なるため、本実施形態では、撮影装置1の画角情報に基づいて、撮影された空中又は衛星写真に含まれる領域をより正確に導き出すことができる。
建物情報抽出部20は、撮影情報収集部10を通じて収集された空中又は衛星写真に含まれている建物を抽出する。
具体的に、建物情報抽出部20は、空中又は衛星写真を撮影しようとする領域のイメージとこの領域内の建物の面状及び高さ情報が含まれている地図イメージを格納している地図データベース60から空中又は衛星写真に含まれる地面の建物情報を抽出できる。
このとき、地図データベース60は、建物情報抽出部20の内部に含まれていてもよく、建物情報抽出部20の外部に存在する別途のサーバのような外部格納装置に含まれていてもよく、外部格納装置が存在すれば、建物情報抽出部20は、外部格納装置との通信を通じて地図データベースを受信する。
このように、建物情報抽出部20は、空中又は衛星写真に含まれる地面の建物リストを抽出するが、特に、本実施形態では空中又は衛星写真に含まれている建物の中から既に設定されている基準高さ以上の建物のみを抽出する。
基準高さとは、映像の識別に影響を及ぼす程度の影を形成する建物の高さを意味し、撮影装置1の撮影角度又は太陽の高度などによって異なるように設定され得る。
従って、本実施形態では映像の識別に影響を及ぼす程度の高さを有する建物のみを抽出し、該当建物による影を除去するため、映像の処理速度を速くすることができる。
影領域予測部30は、建物情報抽出部20から抽出された建物により形成される影領域を予測する。
具体的に、影領域予測部30は、空中又は衛星写真の撮影時刻、抽出された建物の面状及び高さに基づいて影の形状を予測する形状予測部32と、予測された影の形状から境界線を抽出する境界線抽出部34を含むことで、影領域を予測する。
即ち、形状予測部32は、空中又は衛星写真の撮影時刻に基づいて太陽の高度を予測でき、抽出された建物の面状と高さ情報に基づいて形成される影形状を予測できるため、影が形成される方向及び大きさを予測できる。
そして、影が形成された映像と影が形成されない映像では、明暗の差が現れるため、境界線抽出部34は、形状予測部32で予測された影形状部分と残りの空中又は衛星写真領域との明暗を比較することで、影の境界線を抽出できる。
映像の明暗の差を比較して境界線を抽出する映像処理方法は、既に公知の技術であるため、詳細な説明は省略する。
映像復元部40は、影領域予測部30で予測された影領域に対応する空中又は衛星写真の映像を復元する。
具体的に、映像復元部40は、予測された影領域に対応する空中又は衛星写真の映像自体の明度及び明暗の対比を変更したり、異なる時刻に撮影された空中又は衛星写真から前記予測された影領域に対応する領域を抽出して代替するなどの方法を用いて映像を復元できる。
第一に、予測された影領域に対応する空中又は衛星写真の映像自体の明度及び明暗の対比を変更することで、空中又は衛星写真の映像を復元する方法は、空中又は衛星写真に含まれている建物又は道路のような1つの事物の境界線を抽出し、該当事物内部の明度及び明暗の対比を比較する。
そして、同じ事物の内部の明度又は明暗の対比で基準値以上の差が発生すれば、映像復元部40は、該当事物に影が形成されたと判断し、該当事物の明度又は明暗の対比差に基づいて前記予測された影領域に対応する映像の明度又は明暗の対比を調節することで、空中又は衛星写真の映像を復元する。
第二に、異なる時刻に撮影された空中又は衛星写真から前記予測された影領域に対応する領域を抽出して代替する方法は、HDR(High Dynamic Range)のように、一場面で露出が異なるそれぞれの写真を結合する技術などを利用できる。
特に、本実施形態では撮影時刻によって形成される影の方向が異なることを利用するものの、この方法を利用する場合、映像復元部40は、撮影情報収集部10を通じて収集された空中又は衛星写真が撮影された撮影時刻と異なる時刻に撮影された該当空中又は衛星写真の領域から前記予測された影領域に対応する領域を抽出して、抽出された領域で前記予測された影領域を代えることで、空中又は衛星写真の映像を復元する。
映像合成部50は、映像復元部40で復元された映像と空中又は衛星写真の残りの映像を合成することで、影が除去された空中又は衛星写真を形成する。
図2は、本発明の一実施形態による空中又は衛星写真の影除去方法の実現過程を説明する手順フローチャートである。
図3は、本発明の一実施形態による空中又は衛星写真の影除去方法に基づいて予測した影領域を示す図である。
図4は、本発明の一実施形態による空中又は衛星写真の影除去方法に基づいて予測した影領域に対応する空中又は衛星写真の映像を復元した図である。
図5は、撮影時刻によって異なって形成される影領域を比較して示す空中又は衛星写真の図面である。
図2〜図5を参照して本発明の一実施形態による空中又は衛星写真の影除去方法を説明すると、まず、撮影情報収集部10は、人工衛星又は航空機などの撮影装置1から空中又は衛星写真を収集する(S10)。
このとき、撮影情報収集部10は、地面を撮影した空中又は衛星写真だけでなく、追加で該当空中又は衛星写真が撮影された撮影位置、撮影高度、撮影時間及び撮影装置1の画角情報を含む撮影情報を収集する。
そして、建物情報抽出部20は、撮影情報収集部10を通じて収集された空中又は衛星写真に含まれている建物を抽出する(S20)。
特に、本実施形態で建物情報抽出部20は、空中又は衛星写真に含まれる地面の建物リストを抽出し、空中又は衛星写真に含まれている建物リストの中から既に設定されている基準高さ以上の建物のみを抽出する。
基準高さとは、映像の識別に影響を及ぼす程度の影を形成する建物の高さを意味し、撮影装置1の撮影角度又は太陽の高度などによって異なるように設定され得る。
次に、影領域予測部30は、建物情報抽出部20から抽出された建物により形成される影領域を予測する(S30)。
図3を参照すれば、具体的に影領域予測部30が影領域を予測する段階は、形状予測部32を通じて空中又は衛星写真の撮影時刻、抽出された建物の面状及び高さに基づいて影の形状を予測する段階(S32)及び境界線抽出部34を通じて前記予測された影の形状から境界線を抽出する段階(S34)を含む。
即ち、形状予測部32は、空中又は衛星写真の撮影時刻に基づいて太陽の高度を予測でき、抽出された建物の面状と高さ情報に基づいて形成される影形状を予測できるため、影が形成される方向及び大きさを予測できる。
そして、影が形成された映像と影が形成されない映像では、明暗の差が現れるため、境界線抽出部34は、形状予測部32で予測された影形状部分と残りの空中又は衛星写真領域との明暗を比較することで、図3に示すように、影の境界線L1を抽出できる。
次に、映像復元部40は、影領域予測部30で予測された影領域に対応する空中又は衛星写真の映像を復元する(S40)。
具体的に、映像復元部40は、予測された影領域に対応する空中又は衛星写真の映像自体の明度及び明暗の対比を変更したり、異なる時刻に撮影された空中又は衛星写真から前記予測された影領域に対応する領域を抽出して代替するなどの方法を用いて映像を復元できる。
第一に、予測された影領域に対応する空中又は衛星写真の映像自体の明度及び明暗の対比を変更することで、空中又は衛星写真の映像を復元する方法は、空中又は衛星写真に含まれている建物又は道路のような1つの事物の境界線を抽出し、該当事物内部の明度及び明暗の対比を比較する。
そして、同じ事物内部の明度又は明暗の対比で基準値以上の差が発生すれば、映像復元部40は、該当事物に影が形成されたと判断し、該当事物の明度又は明暗の対比差に基づいて予測された影領域に対応する映像の明度又は明暗の対比を調節することで、図4に示すように、空中又は衛星写真の映像を復元できる。
第二に、異なる時刻に撮影された空中又は衛星写真から前記予測された影領域に対応する領域を抽出して代替する方法は、図5に示すように、撮影時刻によって形成される影の方向が異なることを利用する。
図5を参照すれば、同じ地面を撮影しても、撮影時刻によって太陽の位置が変わるため、午前に撮影された空中又は衛星写真に含まれている影の境界線L1と午後に撮影された空中又は衛星写真に含まれている影の境界線L2とが互いに異なることが確認できる。
従って、図3のように形成された影を除去し、影境界線L1内部の空中又は衛星写真映像を復元するために、映像復元部40は、午後に撮影された空中又は衛星写真から影境界線L1領域に対応する領域を抽出して代替することで、空中又は衛星写真の映像を復元する。
そして、映像合成部50は、映像復元部40で復元された映像と空中又は衛星写真の残りの映像を合成することで、影が除去された空中又は衛星写真を形成する(S50)。
本実施形態によれば、建物により形成される影を含む空中又は衛星写真から影を除去して表示するため、映像の品質を向上させることができる。
また、本実施形態は、空中又は衛星写真を通じて車両の目的地までの経路を案内する際に、より視認性の高い映像を通じて経路を案内するので、ユーザの利便性を向上させることができる。
本発明は、図面に示す実施形態を参照して説明されたが、これは例示的なものに過ぎず、当該技術の属する技術分野における通常の知識を有する者であれば、これより多様な変形及び均等な他の実施形態が可能であるという点が理解できる。従って、本発明の真の技術的保護範囲は下記の特許請求の範囲によって定められるべきである。
1 撮影装置
2 GPS
10 撮影情報収集部
20 建物情報抽出部
30 影領域予測部
32 形状予測部
34 境界線抽出部
40 映像復元部
50 映像合成部

Claims (16)

  1. 撮影情報収集部、建物情報抽出部、影領域予測部、映像復元部及び映像合成部を含む空中写真の影除去装置で実行される空中又は衛星写真の影除去方法であって、
    前記撮影情報収集部が空中又は衛星写真を収集する段階と、
    前記建物情報抽出部が前記収集された空中又は衛星写真に含まれている建物を抽出する段階と、
    前記影領域予測部が前記抽出された建物により形成される影領域を予測する段階と、
    前記映像復元部が前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する段階と、
    前記映像合成部が前記復元された映像と前記空中又は衛星写真の残りの映像を合成する段階と、
    を含む空中又は衛星写真の影除去方法。
  2. 前記空中又は衛星写真を収集する段階で、前記撮影情報収集部は、前記空中又は衛星写真の撮影位置、撮影高度、撮影時刻及び撮影装置の画角情報のうちの少なくとも1つを追加で収集することを特徴とする、請求項1に記載の空中又は衛星写真の影除去方法。
  3. 前記収集された空中又は衛星写真に含まれている建物を抽出する段階で、前記建物情報抽出部は、既に設定されている基準高さ以上の建物のみを抽出することを特徴とする、請求項1に記載の空中又は衛星写真の影除去方法。
  4. 前記抽出された建物により形成される影領域を予測する段階は、前記空中又は衛星写真の撮影時刻、前記抽出された建物の面状及び高さに基づいて前記影形状を予測する段階と、
    前記予測された影形状の境界線を抽出する段階と、
    を含むことを特徴とする、請求項1に記載の空中又は衛星写真の影除去方法。
  5. 前記影形状を予測する段階は、前記影が形成される方向及び大きさを予測する段階を含むことを特徴とする、請求項4に記載の空中又は衛星写真の影除去方法。
  6. 前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する段階は、
    前記予測された影領域に対応する前記空中又は衛星写真の映像自体の明度又は明暗の対比を変更することで、前記空中又は衛星写真の映像を復元する段階を含むことを特徴とする、請求項1に記載の空中又は衛星写真の影除去方法。
  7. 前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する段階は、
    異なる時刻に撮影された空中又は衛星写真から前記予測された影領域に対応する領域を抽出して代替することで、前記空中又は衛星写真の映像を復元する段階を含むことを特徴とする、請求項6に記載の空中又は衛星写真の影除去方法。
  8. 前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する段階は、
    異なる時刻に撮影された前記空中又は衛星写真から前記影の境界線領域に対応する領域を抽出して代替することで、前記空中又は衛星写真の映像を復元する段階を含むことを特徴とする、請求項7に記載の空中又は衛星写真の影除去方法。
  9. 空中又は衛星写真を収集する撮影情報収集部と、
    前記収集された空中又は衛星写真に含まれている建物を抽出する建物情報抽出部と、
    前記抽出された建物により形成される影領域を予測する影領域予測部と、
    前記予測された影領域に対応する前記空中又は衛星写真の映像を復元する映像復元部と、
    前記復元された映像と前記空中又は衛星写真の残りの映像を合成する映像合成部と、
    を含む空中又は衛星写真の影除去装置。
  10. 前記撮影情報収集部は、前記空中又は衛星写真の撮影位置、撮影高度、撮影時刻及び撮影装置の画角情報のうちの少なくとも1つを追加で収集することを特徴とする、請求項9に記載の空中又は衛星写真の影除去装置。
  11. 前記建物情報抽出部は、前記収集された空中又は衛星写真に含まれている建物の中から既に設定されている基準高さ以上の建物のみを抽出することを特徴とする、請求項9に記載の空中又は衛星写真の影除去装置。
  12. 前記影領域予測部は、前記空中又は衛星写真の撮影時刻、前記抽出された建物の面状及び高さに基づいて前記影形状を予測する形状予測部と、
    前記予測された影形状の境界線を抽出する境界線抽出部と、
    を含むことを特徴とする、請求項9に記載の空中又は衛星写真の影除去装置。
  13. 前記形状予測部は、前記影が形成される方向又は大きさを予測することを特徴とする、請求項12に記載の空中又は衛星写真の影除去装置。
  14. 前記映像復元部は、前記予測された影領域に対応する前記空中又は衛星写真の映像自体の明度又は明暗の対比を変更することを特徴とする、請求項9に記載の空中又は衛星写真の影除去装置。
  15. 前記映像復元部は、
    異なる時刻に撮影された空中又は衛星写真から前記予測された影領域に対応する領域を抽出して代替することで、前記空中又は衛星写真の映像を復元することを特徴とする、請求項9に記載の空中又は衛星写真の影除去装置。
  16. 前記映像復元部は、
    異なる時刻に撮影された前記空中又は衛星写真から前記影の境界線領域に対応する領域を抽出して代替することで、前記空中又は衛星写真の映像を復元することを特徴とする、請求項15に記載の空中又は衛星写真の影除去装置。
JP2013237466A 2013-03-29 2013-11-15 空中又は衛星写真の影除去方法及びその装置 Active JP6397617B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130034639A KR101493418B1 (ko) 2013-03-29 2013-03-29 공중사진의 그림자 제거 방법 및 그 장치
KR10-2013-0034639 2013-03-29

Publications (2)

Publication Number Publication Date
JP2014199640A true JP2014199640A (ja) 2014-10-23
JP6397617B2 JP6397617B2 (ja) 2018-09-26

Family

ID=49518665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013237466A Active JP6397617B2 (ja) 2013-03-29 2013-11-15 空中又は衛星写真の影除去方法及びその装置

Country Status (5)

Country Link
US (1) US9299129B2 (ja)
EP (1) EP2784747B1 (ja)
JP (1) JP6397617B2 (ja)
KR (1) KR101493418B1 (ja)
CN (1) CN104079802B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126195B2 (en) * 2017-06-12 2021-09-21 Faraday & Future Inc. System and method for detecting occluded objects based on image processing
KR101870084B1 (ko) * 2017-07-10 2018-06-22 극동대학교 산학협력단 그림자의 수직경계선을 이용한 원격탐사영상의 그림자 제거방법
CN110392244B (zh) * 2018-04-18 2021-03-12 长光卫星技术有限公司 一种三线阵相机影像合成彩色影像方法
CN110443763B (zh) * 2019-08-01 2023-10-13 山东工商学院 一种基于卷积神经网络的图像阴影去除方法
CN110415340A (zh) * 2019-08-01 2019-11-05 浙江开奇科技有限公司 用于数字导览的全景视频影像的影像处理方法及终端设备
CN112532879B (zh) * 2020-11-26 2022-04-12 维沃移动通信有限公司 图像处理方法及装置
US20220404167A1 (en) * 2021-06-22 2022-12-22 GM Global Technology Operations LLC Roadway occlusion detection and reasoning
US20230215165A1 (en) * 2022-01-05 2023-07-06 Here Global B.V. Method, apparatus, and computer program product for identifying fluid leaks based on aerial imagery

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269347A (ja) * 1997-01-27 1998-10-09 N T T Data Tsushin Kk 地理画像上の影成分の除去方法及び地理画像処理装置、記録媒体
JP2005348081A (ja) * 2004-06-02 2005-12-15 Hitachi Software Eng Co Ltd 陰影部のコントラストを改善可能なプログラム及び陰影部のコントラストの改善方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6532022B1 (en) * 1997-10-15 2003-03-11 Electric Planet, Inc. Method and apparatus for model-based compositing
JPH11120349A (ja) * 1997-10-16 1999-04-30 Ntt Data Corp 画像間の変化抽出方式及び方法
JP2000020692A (ja) * 1998-07-02 2000-01-21 Nec Corp 高解像度衛星データにおける影除去方法と該方法を用いた衛星データ処理装置
WO2001033503A1 (en) * 1999-11-03 2001-05-10 Cet Technologies Pte Ltd Image processing techniques for a video based traffic monitoring system and methods therefor
JP4094219B2 (ja) * 2000-09-19 2008-06-04 アルパイン株式会社 車載用ナビゲーション装置の立体地図表示方法
JP4248232B2 (ja) * 2002-12-13 2009-04-02 株式会社パスコ ラインセンサ出力画像における影領域の補正方法及び影補正装置
US7366323B1 (en) * 2004-02-19 2008-04-29 Research Foundation Of State University Of New York Hierarchical static shadow detection method
JP4647514B2 (ja) * 2006-02-17 2011-03-09 株式会社日立ソリューションズ 航空画像処理装置および航空画像処理方法
US8073277B2 (en) * 2007-06-21 2011-12-06 The University Of Southern Mississippi Apparatus and methods for image restoration
US20100177095A1 (en) * 2009-01-14 2010-07-15 Harris Corporation Geospatial modeling system for reducing shadows and other obscuration artifacts and related methods
KR100995107B1 (ko) 2009-10-29 2010-11-18 (주)새한지오텍 항공촬영이미지의 이해도를 높인 영상이미지 편집처리시스템
US20110292208A1 (en) * 2009-11-24 2011-12-01 Old Dominion University Research Foundation High-resolution urban true orthoimage creation
KR20110068469A (ko) * 2009-12-16 2011-06-22 인하대학교 산학협력단 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
US9036861B2 (en) * 2010-04-22 2015-05-19 The University Of North Carolina At Charlotte Method and system for remotely inspecting bridges and other structures
KR101268282B1 (ko) 2011-01-27 2013-05-28 팅크웨어(주) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
US8644638B2 (en) * 2011-02-25 2014-02-04 Microsoft Corporation Automatic localized adjustment of image shadows and highlights

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269347A (ja) * 1997-01-27 1998-10-09 N T T Data Tsushin Kk 地理画像上の影成分の除去方法及び地理画像処理装置、記録媒体
JP2005348081A (ja) * 2004-06-02 2005-12-15 Hitachi Software Eng Co Ltd 陰影部のコントラストを改善可能なプログラム及び陰影部のコントラストの改善方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PAUL M.DARE: "Shadow Analysis in High-Resolution Satellite Imagery of Urban Areas", PHOTOGRAPHIC ENGINEERING & REMOTE SENSING, vol. Vol.71, No.2, February 2005, JPN7017004166, 1 February 2005 (2005-02-01), US, pages 169 - 177, XP055136511, DOI: doi:10.14358/PERS.71.2.169 *

Also Published As

Publication number Publication date
KR101493418B1 (ko) 2015-02-13
US9299129B2 (en) 2016-03-29
EP2784747A3 (en) 2014-10-08
KR20140118529A (ko) 2014-10-08
EP2784747A2 (en) 2014-10-01
JP6397617B2 (ja) 2018-09-26
CN104079802B (zh) 2017-10-13
EP2784747B1 (en) 2018-12-12
US20140294232A1 (en) 2014-10-02
CN104079802A (zh) 2014-10-01

Similar Documents

Publication Publication Date Title
JP6397617B2 (ja) 空中又は衛星写真の影除去方法及びその装置
US10791267B2 (en) Service system, information processing apparatus, and service providing method
US11310419B2 (en) Service system, information processing apparatus, and service providing method
CN108702444B (zh) 一种图像处理方法、无人机及系统
US20100296705A1 (en) Method of and arrangement for mapping range sensor data on image sensor data
JP2015084229A (ja) カメラ姿勢決定方法、及び実環境物体認識方法
KR100925278B1 (ko) 수치지도를 이용한 지오코딩 시스템 및 그 방법
JP2008118643A (ja) イメージファイル管理装置および方法
GB2537886A (en) An image acquisition technique
KR101598399B1 (ko) 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템
CN110019610A (zh) 地图瓦片生成方法、装置及系统
JP2014099055A (ja) 検出装置、検出方法、及びプログラム
CN107993247B (zh) 追踪定位方法、系统、介质和计算设备
JP2010134881A (ja) 撮影画像表示システムおよび撮影画像表示方法
JP2004214760A (ja) 被写体推定方法および装置並びにプログラム
US9324176B2 (en) Apparatus and method for saving and updating image file
US20160086339A1 (en) Method of providing cartograic information of an eletrical component in a power network
KR101762514B1 (ko) 지도 기반 촬상 위치 정보 제공 방법 및 장치
CN113709331B (zh) 一种数字天文成像方法及终端设备上的图像信号处理器
CN106650724A (zh) 建立交通标志数据库的方法和装置
JP2023128978A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2023163749A (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
JP2013257810A (ja) 衛星地上システム、衛星画像取得システム
CN115834798A (zh) 一种包含星星的图像的获取方法、装置及移动终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180903

R150 Certificate of patent or registration of utility model

Ref document number: 6397617

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250