TWI386625B - Photographic position analysis method - Google Patents

Photographic position analysis method Download PDF

Info

Publication number
TWI386625B
TWI386625B TW095110042A TW95110042A TWI386625B TW I386625 B TWI386625 B TW I386625B TW 095110042 A TW095110042 A TW 095110042A TW 95110042 A TW95110042 A TW 95110042A TW I386625 B TWI386625 B TW I386625B
Authority
TW
Taiwan
Prior art keywords
image
data
photographing
frame
frames
Prior art date
Application number
TW095110042A
Other languages
English (en)
Other versions
TW200702633A (en
Inventor
Kiyonari Kishikawa
Kouhei Tou
Toru Irie
Original Assignee
Geo Technical Lab Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Geo Technical Lab Co Ltd filed Critical Geo Technical Lab Co Ltd
Publication of TW200702633A publication Critical patent/TW200702633A/zh
Application granted granted Critical
Publication of TWI386625B publication Critical patent/TWI386625B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instructional Devices (AREA)

Description

攝影位置解析方法
本發明係關於針對移動同時攝影的動畫等由複數訊框構成之影像，分析各訊框之攝影位置的技術。
目前已有多種提案，係有關於藉由設置於車輛的攝影機攝影的影像之利用。舉例而言，從這些影像中取得的資料能夠用於產生電子地圖資料，其係使用電腦繪圖將街景等以三度空間影像再現，以提供三度空間地圖。而且，在特開平7-37065號公報(下文中稱之為「專利文獻1」)中揭露一種技術，其將攝影機攝影的各訊框的影像合成，形成單一幅廣視角的影像，以應用於鐵路軌道或輸電線的狀況監視。
針對如上述的目的，為了充分運用攝影機攝影的影像，必須要精確檢查出各訊框影像的攝影位置(例如緯度經度等)。關於此點，專利第2687645號公報(下文中稱之為「專利文獻2」)、特開平7-71973號公報(下文中稱之為「專利文獻3」)係提出一種技術，利用已知的距離(設置作為通行帶的區劃線的斷續白線之數量，或護欄欄杆數等)，來確認車輛的行進方向的位置。另外，也提出了合併使用全球定位系統(global positioning system,GPS)、羅盤等的方針測器的技術。
專利文獻1：特開平7-37065號公報
專利文獻2：專利第2687645號公報
專利文獻3：特開平7-71973號公報
然而，在傳統技術中，影像攝影位置的精確度未必稱得上夠精確。攝影地點必須至少以2度空間的座標值來定位。依據專利文獻2和3所揭露的技術，雖可能可以提升車輛的行進方向的位置精確度，但是關於和行進方向交叉之方向，卻沒有提出足夠的技術內容。再者，由於以GPS檢查出的位置，包含了數十公尺的誤差，運用在使用影像資料的各種解析中，不能稱得上夠精確。羅盤等所檢查出的位置也有同樣的狀況。
再者，由於使用GPS在時間上也包含了誤差，所以不論其對於位置檢查誤差有多大改善，其無法在攝影影像之同一時間取得，因此其具有無法精確定位攝影時的位置的問題。亦即，在GPS之時間定位之位置，其可能表示的是和該時間不同之某一時刻所在的位置。因此，在移動的同時，以GPS來檢查位置，則不論GPS的位置檢查精確度有多佳，其所得到的資料，都無法以高精確度來定位攝影位置。
在攝影位置精確度不佳的影像，即使影像本身的解像度有所提升，也無法實現將影像資料的解像度充分利用的解析。舉例而言，若攝影位置不正確，就無法將在影像中 的道路標誌、道路標示、建築物等的形狀、位置精確界定，並反映在地圖資料中。而且，如專利文獻1所揭露的技術一般，將影像合成時，因為位置精確度不夠，複數的訊框影像間產生失準，而無法充分利用原影像的解像度產生高精密度的合成影像。
本發明之課題，不僅限於裝設在車輛進行攝影時，也同樣發生於在步行的同時攝影的影像等，在移動的同時攝影影像時。再者，該課題亦不限於動畫，也同樣發生在不同的複數地點攝影的靜止畫面。有鑑於上述課題，本發明之目的係在於在移動同時攝影之複數訊框構成之影像，能夠精確界定各訊框的攝影位置。
本發明係可以由攝影位置解析裝置(以下亦簡稱為「解析裝置」)構成，其係針對由複數訊框構成的影像，解析各訊框之攝影位置。攝影位置解析裝置之處理對象為，在保持與地表面之相對角度約略固定的狀態，在移動的同時以既定的時間拍攝而成之影像。舉例而言，上述影像可以為，藉由將攝影裝置以一定的角度固定之車輛，在移動的同時拍攝之動態影像。若能保持約略一定的角度，在步行的同時拍攝的影像也可以使用。再者，也不一定要是動態影像，也可以使用在複數的位置拍攝的靜止畫面。上述影像的各訊框中，包含和其鄰接之前後至少一者的訊框共通的被拍攝之特定連續體。該連續體不需要是作為處理對象之所有訊框中共通具有的東西。連續體可以為道路 上的通行區之區隔線等。
解析裝置輸入上述之複數訊框構成的影像。並且，輸入攝影時的移動之初期軌跡，以作為解析的初期值。若影像假設為，在該初期軌跡上移動之同時拍攝之影像，則可以將各訊框的影像配置於該初期軌跡上。如此，解析裝置依據該攝影的時間，沿著上述初期軌跡的移動方向，暫設上述各訊框之攝影位置。由於初期軌跡包含相對於攝影位置之誤差，在初期軌跡上配置的各訊框間，會產生連續體的影像偏移。
解析裝置藉由影像處理，檢測出跨越該複數訊框拍攝之連續體的攝影影像間的偏移，並依據該偏移，藉由將該暫設之攝影位置在該初期軌跡之移動交叉方向修正，以解析上述各訊框之攝影位置。例如，相較於先前的訊框，連續體的位置在次一訊框中有向右偏移時，對應於該偏移量，將暫設之攝影位置向左移動修正。相反地，當其具有左偏移時，則將暫設之攝影位置向右移動修正。本發明之攝影位置解析裝置係使用於拍攝之連續體的影像解析，界定對於初期軌跡之移動交叉方向的誤差，藉由反映該誤差，能夠精確地檢測出實際執行攝影時的軌跡(以下稱之為「實軌跡」)，或者精確界定各訊框的攝影位置。該方法由於利用影像解析來界定實軌跡，而具有能夠實現符合影像的解析度之位置精確度。而且，藉由該方法，即使實軌跡中包含位置誤差，由於可以充分保持複數訊框間的影像間的整合性，而能夠確保使用複數訊框的影像的地圖資 料之產生或其他的解析所要求的精確度。
上述影像，若在影像之一部分中包含有移動方向之前方或後方就足夠了，例如，可以使用設置成向著斜前方、斜後方的攝影機拍攝之影像。若為以非常廣角拍攝的影像，即使是對移動方向而言，真正橫向設置的攝影機所拍攝的影像，也是可以使用的。不過，就最有效率又精確地檢測出移動交叉方向的偏移而言，上述影像以移動方向之正面或背面的影像為佳。再者，在攝影位置的解析中，不使用上述拍攝之影像的全體，而使用影像下方的一部份也可以。因為在攝影位置拍攝比較靠近的地點，因此影像的下方部分可以提高攝影位置的解析精確度。
用於界定實軌跡之連續體係可以為，跨越複數訊框拍攝之各種對象。也可以利用在附近移動的巴士、卡車等大型車輛，不過，必須要保證其不在移動交叉方向移動才行。就必須要保證其不在移動交叉方向移動之觀點而言，連續體以固定在道路之對象為佳，例如，可以將道路旁的護欄、建築物的邊緣等作為該連續體。就影像識別容易且實行之精確度佳之觀點而言，則以道路之通行區的區隔線作為連續體為佳。
在本發明中，針對初期軌跡之訊框影像的配置，係可以採用各種方法實現之。例如，可以輸入表示攝影時之時間和沿著移動方向之移動距離之間的關係的移動距離資料，並依據該移動距離資料，暫設各訊框沿著移動方向的攝影位置。因為各訊框的攝影時間是已知的，所以藉由使 用移動距離資料，可以精確地界定初期軌跡上的各訊框之攝影位置，亦可以提升最後得到的攝影位置之二度空間座標的精確度。
另外，也可以依據移動距離資料，從複數的訊框資料中，抽出每隔既定的移動距離拍攝之訊框，並將之作為攝影位置解析所用之訊框。在此實施樣態中，由於抽出之訊框之間的移動距離相等，所以可以容易地實施複數訊框間的合成等影像處理。在此實施樣態中，單位時間中拍攝之訊框數(以下稱之為「訊框率」)相當高，希望能在每隔既定的距離中保證有訊框存在。要求之必須的訊框率，係由攝影時的移動速度、作為訊框抽出時的基準之移動距離而決定。例如，利用設置於以一般道路的速限程度的速度移動之車輛上的攝影裝置來拍攝時，若有訊框率為30訊框/秒的動態影像，就能夠滿足上述要求。
例如，移動距離資料係可以使用道路上斷續描繪的區隔線、或護欄的支柱等，拍攝已知間隔的對象物之影像資料。利用裝設於車輛之攝影裝置來拍攝時，以車輛的車速脈衝作為移動距離資料亦可，亦即，車輛每行進一定距離所輸出之脈衝訊號。
另外，攝影時，希望能對應於影像資料，記錄基準位置資料，其係表示到達十字路口或其他已知的基準位置的時點。藉此，解析裝置可以將在對應於該基準位置資料之時點之攝影位置(以下稱之為基準位置)視為已知來處理。因此在解析的過程中，依據基準位置資料，至少能夠 執行沿著移動方向位置之初期化，以提供攝影位置推定之精確度。
基準位置資料可以利用於各種實施態樣。例如，可以以基準位置為起點，依據拍攝順序配置訊框。亦即，沿著攝影時移動方向，依時序配置訊框。相對於此，也可以基準位置為起點，以和拍攝順序相反的次序配置訊框。亦即，沿著攝影時移動方向之反方向，依相反時序配置訊框。上述方法中任一者的配置方法，都可以使得越靠近起點的訊框之配置精確度越高。
例如，在導航系統中，可以將拍攝之訊框影像或以此為基礎所產生之圖像，視為是對應於車輛位置所表示之狀況。後者之實施態樣，亦即以基準位置為起點，依相反時序配置訊框的實施態樣中，車輛越靠近基準位置，提供之影像的位置精確度就越高。以十字路口為基準位置時，當車輛停在十字路口前或在十字路口轉彎時，則越靠近十字路口所得到的影像位置精確度越高是較佳的。以此而言，先前說明之後者的實施態樣，在產生導航系統用的資料上非常有用。
在處理拍攝設有對向之複數通行區的道路之影像時，以基準位置為起點，依相反時序配置訊框的實施態樣，可以使用僅單側的通行區(通常是攝影時移動之通行區)的影像。另一方面，對於拍攝兩側的通行帶之影像，以基準位置為起點，可以依照移動方向和逆方向兩種方向，配置訊框資料。
攝影位置的初期化可以用後述之方法。首先，在移動交叉方向，拍攝複數訊框之橫影像資料。例如，橫影像資料係可以為，以車輛行進方向之橫向設置的攝影機所拍攝之影像。藉由參照地圖資料，橫影像資料的被拍攝物的位置座標係可以為已知。攝影位置解析裝置從複數訊框之橫影像資料，算出表示被拍攝物的位置之被拍攝物座標。複數訊框的橫影像資料，相當於從複數攝影位置拍攝被拍攝物之影像資料，因此，若移動速度和各訊框的攝影時間為已知，則複數的攝影位置間的距離就可以推知，依據三角測量的原理，以攝影位置為基準，可以求取被拍攝物的位置。如此求得的被拍攝物座標和地圖資料中記錄之位置座標之間的差異，係表示取得被拍攝物座標時所使用之攝影位置的誤差。因此，依據該差異，可以執行攝影位置的初期化，亦即，誤差的修正。
本發明所使用的初期軌跡，係作為使用拍攝之影像的解析之初期值，因此，也可以使用概略表示拍攝軌跡的資料。例如，在可以參照以節點和連結線表示道路的道路網路資料的狀況下，以節點和連結線指定攝影時通過的軌跡，依據道路網路資料，可以設定初期軌跡。道路網路資料也包含高度資料時，初期軌跡也可以用三度空間來界定。
初期軌跡也可以利用位置檢測感測器的輸出來設定。位置檢測感測器，係可以為羅針盤和距離計或GPS等，在既定的誤差範圍內，至少能夠以二度空間來檢測影像拍 攝時的移動軌跡的工具。在此之容許的誤差，希望是藉由影像處理，可以修正的在初期軌跡交叉方向之誤差的範圍內。因此，容許的誤差，係以初期軌跡和實軌跡之差異落在攝影裝置之拍攝角內較佳。
本發明在攝影位置解析之前，可以將影像資料變換成，從正面拍攝連續體的影像。影像變換可以利用仿射(affine)變換等方法為之。將影像資料區分為複數區塊，藉由在各區塊使用不同的變換係數，而能夠提高在變換時的精確度。例如，複數區塊和變換係數可以設定為，能夠從拍攝已知形狀的網狀體的影像資料中，可以獲得該網狀體的正面視影像。
本發明係可以由影像資料取得裝置構成，其產生用於上述解析之影像資料。例如，影像資料取得裝置可以包含，在地表面移動之車輛、攝影裝置、及移動距離資料記錄部。攝影裝置係以保持相對角度約略固定的狀態裝設於車輛上，以既定的時間拍攝由複數訊框構成之影像，其拍攝動態影像或靜止畫面。當然，也可以裝設複數攝影裝置。移動距離資料記錄部係，其將表示該車輛移動一既定距離之一移動距離資料，和該攝影時之時刻關連記錄之。例如，該移動距離資料可以利用從車輛發出的車速脈衝。如此一來，可以將適用於解析的影像資料和移動距離資料提供給解析裝置。
本發明不需要一定具備全部的上述特徵，也可以將一部份省略或組合。本發明，除了上述之攝影位置解析裝置 和影像資料取得裝置之實施態樣，也可以由利用電腦解析攝影位置之攝影方法所構成。再者，也可以由用於實現上述解析之電腦程式構成。該電腦程式係可以記錄於記錄媒體上。此時，記錄媒體可以為軟碟或CD-ROM、光學磁碟、IC卡、ROM、打洞卡、條碼等的印刷符號之印刷物、電腦內部記憶裝置及外部記憶裝置、電腦可讀取之媒體等。
為讓本發明之上述和其他目的、特徵、和優點能更明顯易懂，下文特舉出較佳實施例，並配合所附圖式，作詳細說明如下：
本發明實施例係以後述的順序說明之：A.裝置構造；B.資料構造；C.攝影位置解析原理；C-1.初期軌跡；C-2.特徵點追跡處理；D.攝影位置解析處理；E.標誌/標示抽出處理；F.處理例；G1.變形例~訊框資料配置方法；G2.變形例~側面影像應用；G3.變形例~經時變化之界定；G4.變形例~導覽板的位置座標解析。
A.裝置構造：
第1圖顯示依據本發明實施例的影像資料處理系統的示意圖。影像資料處理系統係為處理街景等在移動同時攝影的動畫像之系統。處理內容之第一部份為執行所求的攝影位置解析處理，其針對為構成動畫像之各訊框，解析其攝影位置座標(如：經緯度等)。第二部分為，利用該結果產生各訊框的合成影像(此處理稱之為影像合成處理)，以作為用於產生三度空間地圖資料的資料，並從合成影像來界定道路路面上的標示或道路旁的標誌的類別及其位置(此處理稱之為「標示/標誌抽出處理」)。藉由第一部分處理解析其攝影位置的動畫像，能夠應用於測量道路旁建築物之高度及寬度。
影像資料處理系統係由影像資料取得裝置100及影像資料處理裝置200構成。影像資料取得裝置100係用以攝影取得動畫像，影像資料處理裝置200係用以處理動畫像。在本實施例中，兩者係為個別的元件，但以單一裝置構成亦可。再者，影像資料處理裝置200亦可為複數裝置構成之分散處理系統。
依據本實施例，影像資料取得裝置100係由裝設於車輛上的各種裝置構成。車輛上裝設了用以攝錄正面影像的攝影機120、以及用以攝錄側面影像的攝影機122。攝影機120及122係以能夠保持相對於車輛一定角度的狀態固定之。為了有效取得範圍廣且精密度高的影像，攝影機120 及122則使用廣角攝影機較佳。
攝影機120的影像係如後述，係用於攝影位置解析處理。攝影機120之裝設係以沿著車輛的前後軸，在行進中能夠和地面平行的角度為佳。不過，也不是非得要採用上述角度不可。就攝影位置解析處理而言，若有對車輛前方或後方的狀況之一部分攝影的影像，就足夠了，因此，攝影機120裝設在後方、斜前方、斜後方等方向也可以，若能夠進行非常廣角的攝影，則其以橫向裝設也是可行的。
側面影像係應用於擷取標誌/標示、測量建築物的高度或寬度等。因此，攝影機122的台數增加、或攝影機設置方向等，最好是對應於應用的種類和目的決定較佳。
車輛上備置有用於將取得的資料以數位影像資料方式儲存之硬碟114和用於控制上述資料儲存等的控制部110。例如，控制部110係可以將用於取得/管理影像資料的電腦程式安裝於一般的電腦裝置而實現之。
全球定位系統(Global Positioning System,GPS)102週期性檢測攝影時的車輛位置資料(亦即，緯度經度)，並和檢測時刻一併輸出之。上述資料係和影像資料一併儲存於各式的硬碟114中。不過，如後所述，由於全球定位系統102的輸出資料並非攝影位置解析之必要資料，因此也可能把全球定位系統102省略。車速感測器104係當車輛移動一既定距離時，輸出一稱之為車速脈衝的訊號。車速脈衝也和影像資料一併儲存於硬碟114中。
在本實施例中，為了提升攝影位置解析的精確度，在 攝影時，在基準位置(亦即，緯度經度)通過既定位置的時點，記錄通過時刻及基準位置的資料。在車輛中，為了依據操作者的指令進行上述記錄，設置有基準位置輸入部112。基準位置輸入部112和控制部110一樣，可以將用於執行基準位置輸入功能的電腦程式安裝於一般的電腦裝置而實現之。
依據本實施例，在顯示器上顯示的地圖132d中，操作者以滑鼠等點選應該記錄的基準位置時，則記錄點選時間和基準位置的資料。可以將地圖顯示所必須的地圖資料，預先記錄於硬碟114或CD-ROM等記錄媒體中。地圖顯示所必須的地圖資料，藉由無線網路從外部伺服器取得亦可。基準位置資料的輸入並不限於上述方法，緯度經度等資料可以藉由鍵盤等直接輸入，若已預先設定應該記錄的基準位置時，則輸入與各個基準位置對應的數碼亦可。
再者，攝影時也可以省略不輸入基準位置資料，而僅輸入通過時刻。
依據本實施例，控制部110和基準位置輸入部112係藉由將電腦程式的安裝，以軟體的形式實現之，其亦可以藉由專用的電路，以硬體的方式實現之。
繼之，將影像資料處理裝置200的構成說明如後。影像資料處理裝置200係可以藉由將用於影像資料處理的電腦程式安裝於一般的電腦裝置而實現之。將資料從影像資料取得裝置100轉送到影像資料處理裝置200，係藉由可抽取硬碟114a達成之。其並不限於上述方法，也可以使 用DVD等的記錄媒體，亦可以藉由網路轉送。
藉由上述的電腦程式安裝，影像資料處理裝置200係由如圖所示之各種功能模組。當然，這些功能模組中的至少一部份，可以藉由ASIC等以硬體方式實現。
資料輸入部206係用於輸入在影像資料取得裝置100產生的影像資料。如前文之說明，GPS 102檢測出的緯度經度、車速脈衝、及基準位置資料連同影像資料一併輸入。該資料轉送到初期軌跡設定部204和切出影像生成部208。
初期軌跡設定部204係用以產生後續攝影位置解析處理所使用的初期軌跡。指令輸入部202係用以輸入初期軌跡的產生所必須的指令，其係藉由操作者對滑鼠或鍵盤的操作達成之。在適當情況下，由操作者輸入的指令，也可以轉送到初期軌跡設定部204之外的功能模組，不過為避免圖式的複雜化，在圖式中僅顯示將其轉送到關連度最高的初期軌跡設定部204。
依據本實施例，初期軌跡的設定係可以採用兩種生成方法。其一為，利用GPS 102檢測出的緯度經度之方法。另一為，不利用GPS 102檢測出的緯度經度，而使用道路網路資料的生成方法。所謂的道路網路資料，係為使用於路徑探索的資料，藉由表示的道路之經過地點的折曲線，表示連結線和連結線的交叉點或端點的節點，以及連結線和節點之屬性資料來表示道路的資料。依據本實施例，其係以網路資料庫220裝設於影像資料處理裝置200中。網 路資料庫220係可以由如CD-ROM等的記錄媒體或透過網路連結之外部伺服器等提供。
影像配置部210係沿著設定之初期軌跡，來界定影像資料中的各訊框之攝影位置。由於，利用該位置，能夠將各訊框配置於該初期軌跡上，本說明書中係將決定攝影位置之處理稱之為「配置」。在此，被界定的位置係包含了誤差，其為攝影位置解析處理的初期值。車速脈衝或基準位置資料可以使用於上述處理。處理之內容係如後述。
依據本實施例，攝影位置解析處理僅利用輸入之影像資料的一部份。為了實現該處理，切出影像生成部208從輸入之影像的各訊框中，切出出攝影位置解析處理所使用的部分。此時，希望將廣角攝影之影像中包含的各種扭曲，藉由仿射(affine)變換來加以修正。影像的切出並非必須，利用各訊框的影像整體來進行攝影位置解析處理時，也可以省略切出影像生成部208，也可以僅執行切出影像生成部208之影像扭曲的修正。
軌跡修正部212將複數的切出影像配置於初期軌跡上，依據針對這些切出影像的影像處理，修正初期軌跡，以保持切出影像間的連續性。上述處理的內容詳述於後。如上所述，藉由初期軌跡的修正，能夠求得各訊框的正確攝影位置。影像資料處理裝置200係能夠將軌跡修正部212求的攝影位置輸出，並結束影像資料的處理。
依據本實施例，影像資料處理裝置200係能夠利用上述的處理結果，執行標誌/標示抽出處理。標誌/標示抽出 處理係為：將複數訊框的影像合成而產生合成影像，並依據該合成影像，界定道路上的標示或道路間的標誌等的形狀/位置。該處理係藉由標誌/標示抽出部214執行之。舉例而言，成為特定對象之標誌/標示可以為：表示行人穿越道或行進方向的規定的箭頭等的標示、信號、道路標誌、行道樹等。這些標誌/標示之概略的形狀及顏色都是預先決定好的。標誌/標示資料庫222係以基本樣式來儲存上述概略的形狀及顏色。
標誌/標示抽出部214從合成影像中，將和標誌/標示資料庫222中儲存的基本樣式相對應的影像擷取出來，將基本樣式變形處理，決定符合合成影像的正確之標誌/標示形狀，並且，界定其位置。影像資料處理裝置200以標誌/標示位置資料224的型態，管理如上述設定的形狀及位置。標誌/標示位置資料224係可以應用於逼真的三度空間地圖之製作。
第2圖顯示構成影像資料取得裝置100的各裝置之搭載連結例的示意圖。如圖所示的各裝置係可以裝設於車輛，亦可以從車輛上拆卸。各裝置之電源係可以為，透過點煙器110b，取得車輛的電池的直流電源，並將其透過DC-AC轉換器110c轉換後得到之交流電源。如第1圖所示之控制部110及可抽取硬碟114a的機能係可以藉由筆記型電腦110a實現之。將GPS 102得到的檢測訊號輸入筆記型電腦110a。GPS 102的天線102a係設置於可以接收GPS電波的位置。
依據如圖所示之實施例，設有攝影機120a、120b、120c，以作為正面攝影的攝影機。攝影機120b係專門為方向導覽板的攝影所設。攝影機120a、120b、120c和筆記型電腦110a之間，係透過IEEE介面200a連結，並將表示各訊框的攝影時點之時間碼，從攝影機120a、120b、120c傳送到筆記型電腦110a。筆記型電腦110a將該時間碼對應於車速脈衝或基準位置資料記錄，以備攝影位置解析之用。
攝影機122R及122L係用以攝錄車輛的左右側方向的影像。攝影機122R及122L的聲音輸入係和筆記型電腦110a的聲音輸出連結。筆記型電腦110a輸出符合車速脈衝的預定聲音脈衝訊號，為了將聲音脈衝訊號記錄於攝影機122R及122L的聲音軌道，可以將解析時攝錄的各訊框和車速脈衝對應。如圖所示之連接實例之外，也可以將利用聲音輸出輸入的連接方法應用於攝影機120a、120b、120c。而且，利用IEEE界面之連結方法也可以適用於攝影機122R及122L。
用以檢測車速脈衝的脈衝產生器104a係利用磁性來檢測車輛後輪的轉動，以產生和轉動同週期的脈衝。例如，可以使用Pioneer公司出品的ND-PG1(商標)。脈衝計數器104b係用以計算產生的脈衝，並將計算結果和時刻一併輸出。例如，可以使用Turtle公司出品的TUSB-S01CN1(商標)。
依據本實施例，脈衝產生器104a及脈衝計數器104b係可以分別設置於車輛後方的置物箱內。
依據圖中所示的結構，影像資料取得裝置100係可以 用市面上販賣的裝置組合而得。而且，為了可以在車輛上裝卸，該裝置很容易移動。例如，圖中所示之各裝置可以利用電車、飛機等載運到檢測地點，其優點在於，在檢測地借用到車輛的話，就可以很容易的進行檢測。
B.資料構造：
第3圖顯示影像資料等的結構之示意圖。其顯示構成攝影機120所攝錄得到的動畫像之訊框資料，以及車速脈衝、基準位置脈衝的關連。圖上方之資料群T係顯示上述各種資料依據時間基準配置之狀態。
如資料群T所示，訊框資料Fr1~Fr10係依據一定的時間間隔取得。依據本實施例，其係為30Hz。當然，訊框資料也可以使用任意時間所攝錄的靜止畫面的集合。此時，時間間隔不定亦可。
車速脈衝P1~P6係於車輛每移動一定距離時取得。依據本實施例，其係當每移動0.39公尺(m)時取得。由於將資料群T依據時間基準排列之故，車速脈衝的間隔係對應於車輛之移動速度而變化。例如，脈衝P1和P2之間的間隔較窄是由於其移動速度較高之故。反之，脈衝P2和P3之間的間隔較寬則是因為其移動速度較慢之故。
基準位置脈衝係用以取得車輛通過如行人穿越道等預先規定的基準位置之時點。基準位置脈衝係取得車輛移動某一程度的距離之時點，和訊框資料及車速脈衝比較之，則其取得的頻率較低。並且，如後所述，為了提高攝影位置解析處理的精確度，基準位置脈衝係作為初期位置 來使用，因此即使以上述的低頻率來取得，也不會造成妨礙。
下方的資料群R係顯示資料群T所示之各種資料依據移動距離基準排列之狀態。如圖所示，由於將資料群R依據移動距離基準排列之故，車速脈衝P1~P6係為等間隔排列。訊框資料Fr1~Fr8係在各車速脈衝之間，車輛以等速移動的假設之下加以排列。其結果為，舉例而言，訊框資料Fr2，係依據如後的規則排列。
t1：t2=r1：r2
其中，t1為資料群T中車速脈衝P1和訊框Fr2之間的時間；t2為資料群T中車速脈衝P2和訊框Fr2之間的時間；r1為資料群R中車速脈衝P1和訊框Fr2之間的距離；r2為資料群R中車速脈衝P2和訊框Fr2之間的距離。
其他的各訊框資料和基準位置脈衝也是如此。如資料群R所示，藉由這樣的作法，各訊框資料沿著攝影時的軌跡配置，亦即能夠界定沿著軌跡方向的位置。
訊框資料的配置也可以不用如圖所示的方法，而採用各種其他的方法。例如，相較於車速脈衝，訊框資料以非常高的頻率取得時，從這些訊框資料中，擷取出和車速脈衝同週期的訊框資料亦可。藉由上述方法，能夠產生以等距離間隔取得的訊框資料群。擷取出和車速脈衝同週期的訊框資料時，考慮到攝影位置的解析精確度的要求，也可以容許在兩者的時刻間有預設範圍內的差異。
C.攝影位置解析原理：
以下係以藉由擷取訊框資料，產生等距離間隔取之訊框資料群為例，說明攝影位置解析處理之原理。不過，如第3圖的資料群R之依據不定距離間隔配置訊框資料的情況下，也可能適用同樣的處理。
依據本實施例之攝影位置解析處理，首先需設定初期軌跡，其係在一定誤差範圍內表示攝影時的移動軌跡。而且，藉由稱之為特徵點追跡處理的使用訊框資料的影像解析處理，修正該初期軌跡，並據以取得各訊框資料的攝影位置。以下係依序說明初期軌跡的設定方法及特徵點追跡處理。
C-1.初期軌跡：
第4圖顯示初期軌跡的設定方法的說明圖。依據本實施例，其係依據GPS 102取得的緯度經度資料來設定初期軌跡。在攝影時，所採用的軌跡為，從箭頭Ar1向著Ar2的方向，通過包含道路R1及R2的十字路口。圖中所示之黑色三角形係表示由GPS 102取得的緯度經度資料。GPS 102取得的緯度經度資料也可以藉由併用羅針盤來彌補其不足。白色圓圈係表示等距離間隔取得之訊框資料群。白色的雙圈CP1和CP2係表示取得基準位置脈衝的地點。如前所述，本實施例中，係在行人穿越道CW1及CW2取得基本位置脈衝。
將GPS 102取得的緯度經度資料依序連結，以設定初期軌跡。以取得基準位置脈衝的地點為基準，在初期軌跡上以等距離的間隔配置各訊框資料，並將之作為圖4所示 之攝影位置解析處理的初期值，來取得各訊框資料的攝影位置。由於GPS 102取得的緯度經度資料包含了誤差，圖4所示之初期軌跡亦具有和攝影時的移動方向(以下稱之為「移動方向」)之間的誤差，以及和移動交叉交叉的方向(以下稱之為「交叉方向」)等。但是，由於採用了從取得基準位置脈衝的地點，以等距離間隔配置的方法，因此認為移動方向的誤差非常小，其主要包含的是交叉方向的誤差。
第5圖顯示初期軌跡的設定方法之一變形例的說明圖。其顯示不使用GPS 102取得的緯度經度資料來設定初期軌跡的方法。在此一變形例中，使用道路網路資料來取代GPS 102取得的緯度經度資料。如圖中所示的虛線L1及L2分別表示對應於道路R1及R2的連結線。黑圓點N1係為節點。道路網路資料係為，藉由如上所示之連結線和節點來表示道路的資料。在第5圖中，係以直線來表示連結線，依據道路的形狀，其也可以呈現折線狀。連結線係由各個經過點及端點的經度緯度來界定。除了緯度經度之外，也可以加上高度的資料。
依據變形例，攝影時通過道路連結線係作為初期軌跡之用。依據圖中所示，將道路R1到R2的路徑使用於攝影時，連結線L1及L2係作為初期軌跡之用。各訊框資料係在該初期軌跡之上，以對應於基準位置脈衝的地點為基準，等距離間隔配置。依據變形例的方法，如節點N1之處所示，初期軌跡係為分斷的狀態，不過，藉由後述之特 徵點追跡處理所執行的軌跡修正，也能夠獲得連續的軌跡，因此其並不構成問題。
相對於實際的攝影位置，變形例的初期軌跡也包含了誤差。不過，和利用GPS 102的輸出之實施例(參見第4圖)一樣，移動方向的誤差較小，而主要是包含交叉方向的誤差。
C-2.特徵點追跡處理：
第6圖係顯示特徵點追跡處理之原理的說明圖。圖之中央所示的虛線圓圈Pt1~Pt4係表示在初期軌跡上配置訊框資料的位置。從虛線圓圈Pt1向著虛線圓圈Pt4的方向就是移動方向。在圖的右側係顯示，對應於各個位置之訊框資料所表示的影像Pic1~Pic4。這些影像係為，將攝影所得之影像的下方一部份切出而得之切出影像。例如，影像Pic1係為，將原影像Por中以虛線框出的下方區塊切出而得之切出影像。其他的影像Pic2~影像Pic4也一樣，都是把原影像Por下方切出而得的切出影像。像這樣從原影像切出而得的影像，即稱之為切出影像。
特徵點追跡處理係依據這些影像中包含的特徵點的位置，界定初期軌跡的誤差，以修正初期軌跡。依據本實施例，係以道路的車輛通行區的區分線作為特徵點之用。如圖中所示，區分線係以原影像Por的中央下方所示的實線表示之。影像Pic1~影像Pic4的重心係配合各個初期軌跡Pt1~Pt4而配置。此時，如圖中的虛線FP所示，特徵點依序偏移。若初期軌跡Pt1~Pt4正確表示了攝影時的 軌跡，則在各影像之間，特徵點應該不會產生偏移才對。也就是說，特徵點的偏移，就表示了初期軌跡含有誤差。例如，若以初期軌跡位置Pt1為基準來考慮，則影像Pic1和影像Pic2之間的偏移量OS就是位置Pt2在交叉方向的誤差OS。因此，若將位置Pt2在交叉方向上移動「-OS」的話，就能夠得到正確的軌跡。如上所述取得的位置，就是圖中以實線圓表示的Pc2。
其他的位置Pt3和位置Pt4也是一樣，求取鄰接影像間的特徵點偏移量，並依據該偏移量來修正交叉方向的位置，藉此以得到正確軌跡上的位置Pc3和Pc4。依據圖中所示實施例，藉由上述處理，能夠得到經過位置Pt1，Pc2~Pc4的實線軌跡。在圖的左側係顯示一實施例，其將影像Pic1~影像Pic4的重心配置在實線軌跡上。如圖所示，影像間之特徵點的偏移已經消除。
在第6圖顯示使用單純地從原影像中切出而得之切出影像之實施例。也可以在特徵點追跡處理之前，藉由仿射(affine)變換等方法，修正影像下方的扭曲。如本實施例，使用藉由廣角的攝影機攝錄的影像資料時，施予修正處理較佳。藉由上述修正，能夠得到等當於從道路正上方拍攝路面的狀態之影像，因此藉由特徵點追跡處理，能夠使得攝影位置解析的精確度提升。
如上所述，依據本實施例，將影像的下方部分切出，以供特徵點追跡處理之用。特徵點係可以為，能夠使初期軌跡的誤差顯現於影像內位置偏移的任意點。例如，除了 道路上的標示之外，安全護欄、道路旁的建築物等，可以將以複數訊框拍攝之連續體的一部份作為特徵點使用。特徵點追跡處理所使用切出影像並不限於原影像的下方部分，而可以選取包含特徵點的任意部分。而且，也可以使用原影像本身來執行特徵點追跡處理。但是，在影像中所描繪的各種部位中，由於影像下方部分的特徵點包含最靠近攝影機的位置，因此，可以藉由採用影像下方部分，來提高攝影位置解析的精確度。
如上所述，特徵點追跡處理中，也可以藉由仿射(affine)變換等方法，來修正影像的扭曲。茲舉例說明為執行上述扭曲修正的變化係數之設定程序。
第7圖係顯示變換係數設定方法的示意圖。首先，在作為影像資料取得裝置100的車輛之前方路面上，設置校正用的格線(步驟S100)。設置格線的路面，係以沒有傾斜或凹凸的平坦面較佳。格線在車輛側的端線NS，係設置於前方具有一個可以攝影的間隔d2之處。格線的寬度W和長度L係可以任意設定，不過為了提高變換係數的設定精確度，其以能夠覆蓋攝影機可以攝影的範圍為佳。依據本實施例，其寬度W為15公尺，長度為3.5公尺。而且，格線的網格尺寸d1也可以任意設定。網格尺寸越小，變換精確度越佳，不過，用以儲存變換係數的記憶體容量也越大。依據本實施例，網格尺寸d1為50公分。
繼之，針對格線的各網格計算其變換係數(步驟S102)。在圖中顯示了變換係數的計算方法。設置於車輛 前方的格線之攝影影像係如圖中實線所表示，其呈現梯形形的扭曲。設定各網格的變換係數，以將各扭曲的網格變換成圖中以虛線表示之原本的形狀，亦即從正面拍攝格線時的影像。
例如，設定變換係數，以將網格G11轉換為網格G21。另外，也設定將網格G12轉換為網格G22的變換係數。上述兩者之變換係數不同亦可。
將上述設定的變換係數，儲存於表格中(步驟S104)，以供特徵點追跡處理中的扭曲修正之用。圖中顯示表格之實例。依據本實施例，對應於攝影影像SCR的各畫素Pxy，將變換係數Cxy1、Cxy2、…Cxyn置於分配表中。例如，針對拍攝格線的影像中描繪網格G13的畫素，藉由步驟S102，對應於網格G13設定計算而得的變換係數。藉由上述方法，在特徵點追跡處理中，也能夠對攝影影像的各畫素施以精確度佳的扭曲修正。變換係數之設定並不限於上述方法，例如，也可以在攝影影像的畫面內使用同樣的數值、在X方向排列的網格上使用統一的數值亦可。
第8圖係顯示特徵點追跡處理之實施例的說明圖。其顯示針對在變形例中所示的初期軌跡(參見第5圖)，實施特徵點追跡處理的結果。初期軌跡上配置的訊框資料(圖中的白色圈)，藉由特徵點追跡處理，得以修正其在交叉方向的誤差。其結果為，得到圖中粗線所示之軌跡Tr。初期軌跡在節點N1附近有分斷的狀況，將交叉方向的位置修正之後，成為如圖中所示之連續軌跡Tr。
在第8圖中，係顯示基準位置(圖中的雙圈)本身也經過交叉方向位置的修正之實施例。其原因在於，基準位置雖為已知緯度經度的地點，在利用道路網路資料來設定初期軌跡時，基準位置也必須在道路網路資料上設定之故。將基準位置移到已知緯度經度的位置，藉由實施特徵點追跡處理，能夠得到如圖所示的軌跡。
依據本實施例，係以已知基準位置的緯度經度為前提，特徵點追跡處理也可以適用於緯度經度中任一者不明，亦即，交叉方向的位置未界定的狀況下。舉例而言，在上述狀況下，可以從基準位置的影像中的特徵點之絕對位置，來界定交叉方向之攝影位置。例如，在基準位置，影像中描繪的道路寬度之中央點和影像下方部分的中點一致成，攝影位置即界定在道路中央。影像下方部分的中點為將道路寬度以一定比例內分之內分點時，攝影位置可以界定為將道路以相同比例進行內分之位置。
上述說明中，係以單一的基準位置做為移動方向和交叉方向兩者的基準為例進行說明。特徵點追跡處理所使用之移動方向的基準位置和交叉方向的基準位置不相同亦可。例如，移動方向的基準位置為第8圖所示之行人穿越道上的點，而交叉方向的基準位置為軌跡Tr被區隔線橫切之地點Fra。地點Fra係為區隔線差不多到達畫面中央的地點。如上所述，在特徵點追跡處理中基準位置之選擇，及該座標之利用，係可以採用各種方法來實現。在特徵點追跡處理中，僅使用任一種單一的方法也可以，基於 各種條件而使用複數方法也可。
D.攝影位置解析處理：
第9圖係顯示攝影位置解析處理的流程圖。其為結合影像資料處理裝置200的各功能模組(參見第1圖)實現之處理，就硬體而言，可以為構成影像資料處理裝置200之電腦的中央處理單元(CPU)實現之處理。
開始執行該處理時，CPU輸入影像資料、基準位置資料、車速脈衝(步驟S10)。如第1圖所示，在本實施例中，這些資料係為影像資料取得裝置100所產生的資料，藉由可抽取硬碟114a輸入影像資料處理裝置200。
繼之，CPU輸入初期軌跡(步驟S20)。依據本實施例，依據使用者的選擇，輸入使用GPS 102檢測出的緯度經度之初期軌跡(參見第4圖)，或是輸入利用道路網路資料的初期軌跡(參見第5圖)。當然，僅利用上述之一者亦可。在使用道路網路資料的狀況下，在步驟S20中，也可以依據使用者的指令，接收節點和連結線的指定，產生初期軌跡。
輸入初期軌跡後，CPU將各訊框配置於該初期軌跡上(步驟S30)。此相當於先前所述第3圖之處理。亦即，在輸入的各訊框資料使用車速脈衝，沿著初期軌跡決定位置的處理。同時，也能夠藉由將對應於車速脈衝的訊框資料抽出，將訊框資料以等距離間隔配置之處理。
CPU對於這些訊框資料施以仿射(affine)變換方法，修正影像的扭曲，將影像的下方部分切出，並執行特徵點 追跡處理(步驟S40及S50)。而且，將取得的攝影位置資料對應於各訊框資料儲存之(步驟S60)。其相當於第6圖所示之處理。
第10圖係顯示特徵點追跡處理的流程圖。其相當於上述第9圖中的步驟S50。依據該處理，CPU輸入作為處理對象之切出影像(步驟S51)，界定特徵點位置(步驟S52)。特徵點位置係為在切出影像的左右方向，亦即，和車輛的移動方向交叉方向取得之X軸方向的座標。
在圖中，係顯示取得特徵點位置的方法。依據本實施例，解析切出影像的更下方部分的一定區域Ras，以求取特徵點位置。在將道路上的區隔線位置作為特徵點的狀況下，由於區隔線係以白線來描繪，其明度較其他部分高。因此，對應於該區域，在X軸方向可以得到如圖所示之明度分佈。其中，在可以識別白線的範圍中，求取超過預先設定的閥值Th之範圍D。以範圍D的中央值作為特徵點的位置。
如上所述，取得特徵點位置之後，CPU計算從先前的切出影像的特徵點偏移的偏移量(步驟S53)。所謂之「先前」，沿著初期軌跡，從依時配置的複數訊框資料中，緊接在做為對象的訊框資料之前配置的資料。例如，從拍攝的訊框資料，將對應於車速脈衝的訊框資料抽出並加以配置時，拍攝的訊框資料中，也有和先前資料不同的。
CPU在完成所有訊框資料之上述的處理之前(步驟S54)，係重複操作執行，以完成特徵點追跡處理。
上述的方法僅為一例。除了白線以外，特徵點也可以依據建築物的邊緣等加以設定。在上述的例子中，係依據明度分佈求取特徵點，考慮色相或彩度來界定特徵點的位置亦可。而且，以別的方法來取得特徵點的位置亦可，例如，藉由影像處理，將切出影像中的邊緣抽出，在從中界定視為區隔線的線段。
在第10圖的處理中，係顯示依據影像下方部分的區域Ras，取得特徵點位置的偏移量之實施例。相對於此，也可以就先前的訊框資料，使用切出影像的上方部分的區域之特徵點位置，求取其偏移量。亦即，取得先前的切出影像的上方部分的特徵點位置，和作為對象之切出影像的下方部分的特徵點之間的偏移量。若藉由此一方法，其優點在於，可以更精確地將上述兩個切出影像整合。
第11圖係顯示本發明變形例之特徵點追跡處理的流程圖。在該處理中，CPU首先輸入連續配置的兩幅切出影像[1]及[2](步驟S54)。然後，在切出影像[1]及[2]的位置有相對的偏移的情況下，算出其接續部分的明度差評估值Ev(步驟S55)。
圖中顯示以切出影像Pic[1]及[2]為對象，計算明度差評估值Ev的方法之一例。實例A~D係顯示，相對於切出影像Pic[1]，將切出影像Pic[2]之交叉方向的相對位置從左向右以4階段移動的狀態之示意圖。如實例A中所示，在此配置下，在切出影像Pic[1]及[2]接續的區域中，取得X軸方向座標相同的畫素Px1及PX2之明度差的 絕對值或明度差的平方，以該值在X方向的總和作為明度差評估值Ev。
明度差評估值Ev係隨著切出影像Pic[1]及[2]的相對位置而變化。在圖的右側顯示明度差評估值Ev的變化。如圖中所示，切出影像Pic[1]及[2]的影像整合的實例C中，明度差評估值Ev為最小。反之，若求取明度差評估值Ev最小時的相對位置關係，則可以界定出切出影像Pic[1]及[2]的偏移量(步驟S56)。
如上所述，求取偏移量之後，CPU將切出影像[1]以切出影像[2]取代(步驟S58)，重複操作執行上述處理，直到完成所有訊框資料之上述的處理。藉由變形例的方法，也能夠實現特徵點追跡處理。而且，在上述處理中，其依據鄰接之切出影像間的明度差來界定偏移量，因此，具有能夠以高精確度整合影像之優點。
E.標誌/標示抽出處理：
第12圖係顯示標誌/標示抽出處理的流程圖。其係為，利用第9圖及第10圖所示攝影位置解析處理所取得之攝影位置資料，所執行之應用處理。其相當於第1圖所示之標誌/標示抽出部214所執行之處理，就硬體而言，其係可以為影像資料處理裝置200之CPU所執行的處理。
開始執行該處理時，CPU輸入切出影像及攝影位置資料(步驟S70)。切出影像係如先前所述，以經過仿射(affine)變換處理，其相當於從上方拍攝道路的平面影像。
CPU依據攝影位置資料，配置各切出影像，並合成影 像(步驟S71)。該配置係指將切出影像貼附於平面上之意。在圖中顯示切出影像的配置方法之一例。攝影位置解析處理之結果係為，將切出影像的攝影位置以X、Y座標界定之，將車輛的移動軌跡界定如曲線Pass。而且，切出影像Pic的重心位置為Ps，交叉方向和移動方向的座標軸為Lx及Ly。此時，切出影像Pic配置為，使重心Ps和上述攝影位置一致，並使影像的座標軸Ly和移動軌跡Pass相接。
在圖的下方係顯示，以上述方法連續配置影像之實例。在圖左側，顯示在XY平面中以二度空間配置切出影像的狀態。切出影像沿著移動軌跡滑動同時變換方向進行配置，而能夠得到航空照相般的平面合成影像。依據本實施例，該合成影像因為是使用靠近路面拍攝的影像，因此其解像度為航空照相的數倍。
圖之右側顯示之實例，係伴隨著高度方向(Z方向)的變化，沿著移動軌跡配置影像。舉例而言，該移動軌跡之產生係可以藉由，針對使用道路網路資料的高度資料設定之初期軌跡，應用特徵點追跡處理(參見第9、10圖)而為之。藉由使用高度資料，可以得到針對高速道路入口的斜坡等上坡的合成影像。而且，由於利用了路面行駛的同時拍攝的影像，因此，類似高架下方穿過的道路等，以航空照相無法拍攝的部分，也能夠得到平面的合成影像。
CPU讀取預先準備的標誌/標示樣式資料(步驟S72)，藉由合成影像的影像處理，界定符合這些樣式資料的部 位，以界定標誌/標示的位置(步驟S73)。同時，也可以界定標誌/標示的形狀。例如，標誌/標示樣式資料中可以包含表示左右轉規定的箭頭等描繪在道路面上的標示、信號或道路標誌等。CPU藉由影像處理，從合成影像中擷取出和該標示對應的形狀，並界定其位置。而且，以樣式資料預定的形狀和合成影像所包含之標示不同時，將樣式資料行方向或縱方向以任意比例放大/縮小等，來界定標誌/標示的形狀。對於道路標誌的處理也是如此。
F.處理例：
第13圖和第14圖係顯示影像資料的處理例的說明圖。第13圖所示影像Porg係為以攝影機拍攝的車輛正面的影像。將該影像的下方部分切出所得之切出影像為影像Pco。此圖係顯示仿射(affine)變換執行前的狀態。
第14圖的下方部分的影像Ex1係為切出影像之實例。對該切出影像Ex1施以仿射變換處理，則可以得到影像Ex2下方四方框圍住部分的影像。同樣地，也對應於其他的訊框資料準備其切出影像，並執行仿射變換，沿著初期軌跡配置，則可以得到影像Ex2。亦即，影像Ex2相當於攝影位置解析處理(第9圖)中步驟S30執行後的影像。但是，為了處理內容說明之方便起見，影像Ex2係如圖所示，實際的處理中，並不需要像這樣產生各訊框資料的配置合成之合成影像。
由於和移動方向交叉之方向的位置並未修正，影像Ex2存在路面標示不連續之未整合處。例如，表示直行/ 左轉車線的標示Mk因為是位於訊框資料的邊界SL，其在圖中左右方向有偏移。在影像Ex2中，為了容易看出偏移，將標示Mk描邊。
影像Ex3係顯示利用特徵點追跡處理，修正交叉方向的偏移後的狀態。因為是取得各訊框資料的攝影位置後的合成影像，其相當於標誌/標示抽出處理(第12圖)之步驟S71的狀態。如圖所示，已消除道路標示的偏移。舉例而言，藉由利用該影像，能夠得到道路上的用以表示左轉/直行車線的標示、或行人穿越道等的位置。再者，在圖中所示實例中，因為車輛的關係，左轉/直行車線的標示之一部分缺失的話，藉由利用樣式資料，可以再現標示的形狀。
使用以上所述實施例的影像資料處理系統，藉由特徵點追跡處理，能夠取得精確度良好的和移動方向交叉的方向之攝影位置。而且，使用如車速脈衝等表示攝影時的移動距離之資料，可以提高移動方向的位置精確度。如此一來，可以精確地界定各訊框資料的攝影位置，如第14圖所示，可以得到高像度的合成影像。
藉由運用上述合成影像，在車輛行駛的同時以攝影機攝影，無須執行特別的測量，就可以界定路面的道路標示或路旁的標誌的形狀及位置。因此，能夠大幅減少為產生正確再現路面的外觀的三度空間地圖資料所造成的負荷。其僅為取得各訊框資料的攝影位置之後之應用的一例，附上攝影位置的訊框資料可以運用於建築物的高度估 算等各種用途。
G1.變形例~訊框資料配置方法：
第15圖係顯示訊框資料配置方法之一變形例的說明圖。其相當於攝影位置解析處理(第9圖)之步驟S30的變形例。和實施例相同，其顯示將從箭頭Ar1向著Ar2的方向移動的同時拍攝之訊框資料，配置於以連結線L1和L2設定的初期軌跡之上的實例。
在變形例中，以基準位置(圖中雙圈的位置)為起始點，以攝影時之時序逆行的方式配置訊框。例如，在連結線L1上，以基準位置為起始點，在對應於車速脈衝的距離逆行，亦即，在圖中箭頭DL方向移動的位置，依序配置訊框資料。如此一來，相較於遠處區域E2，連結線L1上靠近基準位置的區域E1之訊框影像的位置精確度較高。因此，利用上述配置，執行攝影位置的解析和影像的合成、標誌/標示抽出處理(參見第12圖)，則越靠近基準位置之影像的精確度、抽出之標誌等的位置精確度越高。舉例而言，如此產生的資料，可以應用於車輛搭載之導航系統的導覽影像，當從第15圖中的箭頭Ar1向著Ar2的方向移動時，越靠近節點N1對應的交叉點，則越能以高位置精確度，正確且圓滑地導引車輛。而能夠實現車輛的自動駕駛。
茲舉上述的樣態之再一變形例，可以以基準位置為起始點，沿著移動方向及逆方向兩者，依序配置訊框資料。亦即，也可以將實施例(第5圖)所說明之配置方法，結 合變形例(第15圖)說明之配置方法應用之。藉此，能夠提升訊框資料全體的位置精確度。
在處理針對設有對向之複數通行區的道路所拍攝的影像的場合，以基準位置為起始點，順向及逆向依時序配置訊框影像之實施樣態，可以用於僅拍攝到單側的通行區(通常為攝影時移動的通行區)之影像。另一方面，對於拍攝到兩側的通行區的影像，可以使用以基準位置為起點，沿著移動方向和逆方向依序配置訊框資料的方法。
G2.變形例~側面影像應用：
在實施例中，係表示行人穿越道做為基準位置之一例(參見第6圖)。為提高解析精確度，並用各種各樣的基準位置較佳。例如，行人穿越道模糊到無法作為基準位置時，或被其他的車輛等遮住不能拍攝時，可以應用其他的基準位置。在變形例中舉出作為基準位置之一例，其顯示利用以側面用的攝影機122R和122L(參見第2圖)拍攝而得的影像中的建築物作為基準位置。
第16圖係顯示應用側面影像求取基準位置的方法之說明圖。圖之上方顯示二度空間地圖之一部分的放大圖。從圖中之道路上的點P1移動到點P2的同時，拍攝側面影像。在該道路上，建有大樓BLD1~BLD3。大樓BLD1~BLD3的位置座標(緯度及經度)係為已知。
考慮在點P1，以實線表示之視角A1拍攝大樓。如圖之下方所示，該時點的影像PIC1中，拍攝到大樓BLD1和BLD2。移動到點P2時，以虛線表示之視角拍攝大樓。比 較點P1和P2所拍攝的影像，大樓BLD1的端角CNR的位置有相對移動。點P1和端角CNR的連線和視角邊線之夾角為角度A2時，在點P1的時點，對應於端角CNR的邊緣EDG1係為將影像PIC1的寬度SC以A2/A1之比例內分的點。在點P2的時點，因為角度A2變大之故，邊緣EDG1的位置向圖中的右方移動。其移動距離為MB。從點P1到點P2的移動距離MA係為已知。因此，依據移動距離MA、MB和視角A1，可以由幾何學決定從攝影位置到端角CNR的距離DIST。同樣的處理，也可以針對大樓BLD1其他的邊緣EDG2執行。而且，取得距離DIST的話，依據視角A1，可以界定邊緣EDG1和EDG2之間的實際距離，亦即大樓BLD1的寬度。
以上係以大樓BLD1作為拍攝的建築物進行說明，上述的演算即使在無法特定拍攝的建築物的情況下，也可以毫無障礙地執行。變形例的影像資料處理裝置200依據上述的演算結果，搜尋在影像PIC1中描繪的建築物。在變形例中，點P1和P2的位置也界定在特定的誤差範圍內。因此，以點P1為基準，可以在特定的誤差範圍內，求取在距離DIST位置之建築物的位置座標。而且，藉由參照地圖資料庫，在以上述方法取得之位置座標的附近，可以界定寬度和從邊緣EDG1和EDG2取得之值相當之建築物，亦即影像PIC1中拍攝的建築物，並可以界定其座標。從地圖資料庫取得的座標，和以演算求得的座標之間的誤差，係為點P1的位置誤差。因此，藉由反映該誤差，可 以修正點P1的位置座標。如此修正的攝影位置，可以作為基準位置。
在上述的處理中，建築物的邊緣EDG1和EDG2，可以藉由影像處理而自動決定，在變形例中，為了能夠精確界定，操作者一邊觀看影像，一邊以滑鼠等的指標裝置拖曳指定建築物的邊緣EDG1和EDG2。
第17圖顯示變形例中基準位置算出處理的流程圖。依據第16圖所示的方法，影像資料處理裝置200執行求取基準位置的處理。影像資料處理裝置200首先輸入複數的對象訊框、作為解析對象之對象大樓、以及其邊緣之指定(步驟S200)。並且，輸入指定之對象訊框的攝影位置，亦即以GPS檢測出的位置座標(步驟S202)。
繼之，影像資料處理裝置200算出對象訊框之間的邊緣移動距離MB、以及攝影位置的移動距離MA(參見第16圖)(步驟S204)。然後，依據移動距離MA及MB，算出攝影位置和對象大樓的距離DIST、以及對象大樓的寬度(步驟S206)。影像資料處理裝置200參照網路資料庫220(參見第1圖)，界定符合攝影位置(GPS輸出)、距離DIST、對象大樓寬度的大樓，並將其設定為對象大樓(步驟S208)。
如此界定了對象大樓之後，可以從網路資料庫220取得對象大樓的座標。因此，影像資料處理裝置200以對象大樓的位置為基準，依據距離DIST及攝影影像內的邊緣位置，界定攝影位置(步驟S210)。其係相當於，將演算 取得之對象大樓的位置座標和從網路資料庫220取得的座標之誤差反映到GPS輸出的攝影位置，藉此來修正攝影位置的修正處理。影像資料處理裝置200以上述界定之攝影位置為基準設定之(步驟S211)，結束基準位置算出處理。藉由以上所述變形例的處理，即使在無法以行人穿越道為基準位置的場合，因為可以依據建築物位置來消除攝影位置的誤差，而能夠提升各訊框的攝影位置的解析精確度。
G3.變形例~經時變化之界定：
實施例和變形例說明之動態影像的拍攝，不一定僅在新產生三度空間地圖資料時使用，也可以在維護既有三度空間地圖資料之區域時使用。此時，藉由將拍攝的動態影像和已準備的三度空間地圖資料比較，可以應用於判斷建築物的新建、拆除、改建等是否有經時變化。以下係針對該經時變化的判定舉例說明。
第18圖顯示經時變化判定處理的流程圖。依據該處理，影像資料處理裝置200首先讀取複數的對象訊框及攝影位置(步驟S150)。該處理係為側面影像之應用。攝影位置係使用GPS的輸出結果。
影像資料處理裝置200使用既有的三度空間圖像資料(亦即為了產生三度空間地圖資料之建築物等的三度空間資料)，產生從攝影位置觀看這些建築物的影像，產生對應於對象訊框的2度空間影像(步驟S152)。然後，將生成的2度空間影像比對於對象訊框(步驟S154)，判斷兩者之間是否有不符合之處(步驟S154)。影像間的比對 係可以使用範本比對、DP比對、固有空間法等已知的方法。判斷是否有不符合的基準值可以設定為，可以檢查出2度空間影像和對象訊框之間不符合的地方裡，是否有相當於建築物的新建、拆除等的較大的不符合的範圍。
若比對的結果為沒有不符合之處(步驟S156)，則影像資料處理裝置200將對象訊框應用於先前於第17圖中所述基準位置算出處理中(步驟S200)。藉由使用對判斷為沒有經時變化的建築物拍攝之影像，可以精確且穩定地執行基準位置算出處理。基準位置算出處理並非必須，即使省略該處理也不造成問題。若比對的結果為發現不符合之處(步驟S156)，則影像資料處理裝置200依據對象訊框影像，執行3度空間圖形資料之更新處理(步驟S158)建築物被新建或改建時，該處理包含從對象訊框中，以自動或手動的方式，將新建或改建之建築物的影像切出的處理。建築物被拆除時，則包含從既有的圖像資料中，將該建築物的資料刪除的處理。上述任一種場合中，全自動處理並非必要，也可以依據操作者的操作執行處理。藉由以上所述經時變換判定處理，可以輕易地判斷既有的3度空間圖形資料是否有經時變換，而能夠減輕維護的負擔。
G4.變形例~導覽板的位置座標解析：
第19圖顯示導覽板位置座標解析處理的流程圖。其係為，從拍攝的影像中，界定在路上設置的導覽板的位置座標之處理。位置座標之界定係使用第16圖所述之原理，亦即，以攝影位置為基準，計算出建築物的位置座標的方 法。
影像資料處理裝置200讀取解析用的複數對象訊框以及各訊框的攝影位置(步驟S300)。對象訊框可以使用拍攝導覽板之側面影像，攝影位置則使用GPS的輸出結果，或者實施例的處理結果。
繼之，影像資料處理裝置200輸入從對象訊框指定導覽板的支柱位置(步驟S302)。在此，在如圖所示之描繪導覽板SP的影像中，操作者使用指向裝置，藉由在支柱位置拉出線段PSP來指定之。也可以藉由影像解析，自動界定支柱位置。
影像資料處理裝置200依據在各訊框指定的支柱位置以及攝影位置，依據第16圖所述的原理，算出支柱的位置座標(步驟S304)。然後，輸出算出的位置座標(步驟S306)，並結束導覽板位置座標解析處理。也可以參照網路資料庫，確認算出的位置座標不是異常值。例如，當算出的位置座標位於道路或步道的中央時，則可以判定為異常值。
藉由上述處理，可以比較容易在將導覽板設置於適當的位置之狀況之下，產生三度空間地圖資料。從網路資料庫等既有的資料中，通常不能得到導覽板的位置座標。雖然說導覽板通常設置在十字路口附近，不過，以和現實位置相去甚遠的設置位置作成之三度空間地圖資料，反而可能會造成使用者的混亂。藉由上述的處理，拍攝導覽板的動態影像時，因為可以解析位置，所以無須測量導覽板的 位置座標，而避免了上述問題，並具有能夠提供符合現實狀態之三度空間地圖資料的優點。
雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟悉此項技藝者，在不脫離本發明之精神和範圍內，當可做些許更動與潤飾。例如，在實施例中，依據道路上的區隔線，執行特徵點追跡處理。特徵點追跡處理，可以使用複數訊框拍攝之各種的對象執行之。例如，利用護欄、路旁的建築物等。
在實施例中，使用車速脈衝來界定移動方向的位置，不過，該處理也可以使用車速脈衝之外的其他資料。提供車輛的移動距離和時間的關係之資料，則可以使用各種的資料。例如，可以用通過道路上以虛線描繪的區隔線的數量，護欄支柱的數量等，來取代車速脈衝。
產業上的利用性
本發明係關於，在移動同時拍攝之動態影像和其他的複數訊框構成之影像，其可以應用於各訊框的攝影位置之解析。
100‧‧‧資料取得裝置
200‧‧‧影像資料處理裝置
120‧‧‧攝影機
122‧‧‧攝影機
114‧‧‧硬碟
110‧‧‧控制部
102‧‧‧全球定位系統(Global Positioning System,GPS)
104‧‧‧車速感測器
112‧‧‧基準位置輸入部
132d‧‧‧地圖
114a‧‧‧可抽取硬碟
206‧‧‧資料輸入部
204‧‧‧初期軌跡設定部
208‧‧‧切出影像生成部
220‧‧‧網路資料庫
210‧‧‧影像配置部
212‧‧‧軌跡修正部
214‧‧‧標誌/標示抽出部
222‧‧‧標誌/標示資料庫
224‧‧‧標誌/標示位置資料
110b‧‧‧點煙器
110c‧‧‧DC-AC轉換器
110a‧‧‧筆記型電腦
120a、120b、120c‧‧‧攝影機
200a‧‧‧IEEE介面
122R及122L‧‧‧攝影機
104a‧‧‧脈衝產生器
104b‧‧‧脈衝計數器
第1圖顯示依據本發明實施例的影像資料處理系統的示意圖。
第2圖顯示構成影像資料取得裝置100的各裝置之搭載連結例的示意圖。
第3圖顯示影像資料等的結構之示意圖。
第4圖顯示初期軌跡的設定方法的說明圖。
第5圖顯示初期軌跡的設定方法之一變形例的說明圖。
第6圖係顯示特徵點追跡處理之原理的說明圖。
第7圖係顯示變換係數設定方法的示意圖。
第8圖係顯示特徵點追跡處理之實施例的說明圖。
第9圖係顯示攝影位置解析處理的流程圖。
第10圖係顯示特徵點追跡處理的流程圖。
第11圖係顯示本發明變形例之特徵點追跡處理的流程圖。
第12圖係顯示標誌/標示抽出處理的流程圖。
第13圖係顯示影像資料的處理例的說明圖。
第14圖係顯示影像資料的處理例的說明圖。
第15圖係顯示訊框資料配置方法之一變形例的說明圖。
第16圖係顯示應用側面影像求取基準位置的方法之說明圖。
第17圖顯示變形例中基準位置算出處理的流程圖。
第18圖顯示經時變化判定處理的流程圖。
第19圖顯示導覽板位置座標解析處理的流程圖。
100‧‧‧資料取得裝置
200‧‧‧影像資料處理裝置
120‧‧‧攝影機
122‧‧‧攝影機
114‧‧‧硬碟
110‧‧‧控制部
102‧‧‧全球定位系統(Global Positioning System,GPS)
104‧‧‧車速感測器
112‧‧‧基準位置輸入部
132d‧‧‧地圖
114a‧‧‧可抽取硬碟
206‧‧‧資料輸入部
204‧‧‧初期軌跡設定部
208‧‧‧切出影像生成部
220‧‧‧網路資料庫
210‧‧‧影像配置部
212‧‧‧軌跡修正部
214‧‧‧標誌/標示抽出部
222‧‧‧標誌/標示資料庫
224‧‧‧標誌/標示位置資料

Claims (14)

  1. 一種攝影位置解析裝置，關於複數訊框構成之影像，該複數訊框係在保持與地表面之相對角度約略固定的狀態，在移動的同時以既定的時間拍攝而成之複數訊框，上述各訊框中包含和其鄰接之前後至少一者的訊框共通的被拍攝之特定連續體，該攝影解析裝置用以解析各訊框之攝影位置，其包括：輸入部，輸入上述複數訊框構成之影像資料；初期軌跡輸入部，其輸入作為上述解析之初期值之該移動的初期軌跡；以及攝影位置解析部，依據該攝影的時間，沿著上述初期軌跡的移動方向，暫設上述各訊框之攝影位置，同時針對上述特定連續體，依據跨越該複數訊框拍攝之影像間的偏移，藉由將該暫設之攝影位置在該初期軌跡之移動交叉方向修正，以解析上述各訊框之攝影位置。
  2. 如申請專利範圍第1項所述之攝影位置解析裝置，其中該影像係為該移動方向之正面或背後之影像，該輸入部係輸入該影像下方之一部分。
  3. 如申請專利範圍第1項所述之攝影位置解析裝置，其中該影像係為在道路上移動的同時拍攝之影像，該連續體為道路之通行區的區隔線。
  4. 如申請專利範圍第1項所述之攝影位置解析裝置，其中該輸入部輸入移動距離資料，其係表示沿著該移動方向，該攝影時之時間和移動距離之間的關係，該攝影位置 解析部依據該移動距離資料，沿著該移動方向暫設上述各訊框之攝影位置。
  5. 如申請專利範圍第1項所述之攝影位置解析裝置，其中該輸入部輸入移動距離資料，其係表示沿著該移動方向，該攝影時之時間和移動距離之間的關係，該攝影位置解析部依據該移動距離資料，抽出每隔一定移動距離拍攝之訊框，執行該解析。
  6. 如申請專利範圍第4項所述之攝影位置解析裝置，其中該影像係為藉由裝設於車輛上的攝影裝置拍攝之影像，該移動距離資料係為該車輛的車速脈衝。
  7. 如申請專利範圍第1項所述之攝影位置解析裝置，其中該輸入部進一步輸入基準位置資料，其表示對應於上述影像資料，在上述攝影時，到達已知的基準位置的時點，該攝影位置解析部在該解析過程中，至少針對沿著該移動方向之位置，依據該基準位置資料執行初期化。
  8. 如申請專利範圍第1項所述之攝影位置解析裝置，其中該影像資料進一步包含在該移動交叉方向拍攝之複數訊框的橫影像資料；該攝影位置解析裝置具有：地圖資料參照部，紀錄該橫影像資料之被拍攝物的位置座標之地圖資料；以及座標算出部，其從上述複數訊框的橫影像資料中，算出表示該被拍攝物的位置之被拍攝物座標；該攝影位置解析部在該解析的過程中，至少針對沿著 該移動方向之位置，依據該地圖資料中紀錄之位置座標及該被拍攝物座標執行初期化。
  9. 如申請專利範圍第1項所述之攝影位置解析裝置，其中具有網路資料參照部，其參照以節點、連結線來表示道路之道路網路資料，其中該初期軌跡輸入部依據該道路網路資料，設定該初期軌跡。
  10. 如申請專利範圍第1項所述之攝影位置解析裝置，其中該初期軌跡輸入部係輸入位置檢測感測器之輸出，其係在既定的誤差範圍內，至少以二度空間檢測該影像攝影時的移動軌跡，並設定該初期軌跡。
  11. 如申請專利範圍第1項所述之攝影位置解析裝置，其中具有影像變換處理部，其在該攝影位置解析之前，將該影像資料變換成從正面拍攝該連續體的影像，其中該影像變換處理部將該影像資料分為複數區塊，在各區塊使用不同的變換係數執行上述變換，其中該複數區塊和該變換係數係設定為，能夠從拍攝已知形狀的網狀體的影像資料，得到該網狀體的正面影像。
  12. 一種攝影位置解析方法，關於複數訊框構成之影像，該複數訊框係在保持與地表面之相對角度約略固定的狀態，在移動的同時以既定的時間拍攝而成之複數訊框，上述各訊框中包含和其鄰接之前後至少一者的訊框共通的被拍攝之特定連續體，該攝影解析裝置用以解析各訊框之攝影位置，其包括電腦執行之下列步驟：輸入步驟，輸入上述複數訊框構成之影像資料； 初期軌跡輸入步驟，輸入作為上述解析之初期值之該移動的初期軌跡；以及攝影位置解析步驟，依據該攝影的時間，沿著上述初期軌跡的移動方向，暫設上述各訊框之攝影位置，同時針對上述特定連續體，依據跨越該複數訊框拍攝之影像間的偏移，藉由將該暫設之攝影位置在該初期軌跡之移動交叉方向修正，以解析上述各訊框之攝影位置。
  13. 一種記錄媒體，儲存電腦程式，其係關於複數訊框構成之影像，該複數訊框係在保持與地表面之相對角度約略固定的狀態，在移動的同時以既定的時間拍攝而成之複數訊框，上述各訊框中包含和其鄰接之前後至少一者的訊框共通的被拍攝之特定連續體，該電腦程式用以解析各訊框之攝影位置，其包括：輸入程式碼，輸入上述複數訊框構成之影像資料；初期軌跡輸入程式碼，其輸入作為上述解析之初期值之該移動的初期軌跡；以及攝影位置解析程式碼，依據該攝影的時間，沿著上述初期軌跡的移動方向，暫設上述各訊框之攝影位置，同時針對上述特定連續體，依據跨越該複數訊框拍攝之影像間的偏移，藉由將該暫設之攝影位置在該初期軌跡之移動交叉方向修正，以解析上述各訊框之攝影位置。
  14. 一種影像資料取得裝置，用以產生影像資料，該影像資料輸入如申請專利範圍第4項所述之依據複數訊框構成之影像資料，分析各訊框之攝影位置的攝影位置解析 裝置，該影像資料取得裝置包括：在地表面移動之車輛；攝影裝置，以能夠保持相對於車輛大致一定角度的狀態固定之，以既定時間拍攝複數訊框構成之影像；移動距離資料記錄部，將表示該車輛移動既定距離之移動距離資料，和該攝影時之時刻關連記錄之，以作為設置於該攝影位置解析裝置中的該攝影位置解析部沿著上述初期軌跡的移動方向，暫設上述各訊框之攝影位置時所使用的資料。
TW095110042A 2005-04-25 2006-03-23 Photographic position analysis method TWI386625B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005126401 2005-04-25

Publications (2)

Publication Number Publication Date
TW200702633A TW200702633A (en) 2007-01-16
TWI386625B true TWI386625B (zh) 2013-02-21

Family

ID=37214586

Family Applications (1)

Application Number Title Priority Date Filing Date
TW095110042A TWI386625B (zh) 2005-04-25 2006-03-23 Photographic position analysis method

Country Status (8)

Country Link
US (1) US8280105B2 (zh)
EP (1) EP1876411A4 (zh)
JP (1) JP5309291B2 (zh)
KR (1) KR101235815B1 (zh)
CN (1) CN101163940B (zh)
HK (1) HK1119460A1 (zh)
TW (1) TWI386625B (zh)
WO (1) WO2006114955A1 (zh)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8094970B2 (en) * 2006-08-30 2012-01-10 Toyota Mapmaster Incorporated Road image creation system
JP4531077B2 (ja) * 2007-05-31 2010-08-25 富士通テン株式会社 車両の走行状態表示装置
JP4994256B2 (ja) * 2008-01-28 2012-08-08 株式会社ジオ技術研究所 経路案内データベースのデータ構造
JP4902575B2 (ja) * 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
JP5363752B2 (ja) * 2008-03-18 2013-12-11 株式会社ゼンリン 路面標示地図生成方法
JP2009223817A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP5285311B2 (ja) * 2008-03-18 2013-09-11 株式会社ゼンリン 路面標示地図生成方法
JP2009237901A (ja) * 2008-03-27 2009-10-15 Zenrin Co Ltd 路面標示地図生成方法
JP5386850B2 (ja) * 2008-04-25 2014-01-15 トヨタ自動車株式会社 物体情報取得装置
JP5396585B2 (ja) * 2008-05-02 2014-01-22 株式会社ジオ技術研究所 地物特定方法
KR100862061B1 (ko) * 2008-06-02 2008-10-09 (주)원지리정보 지표에 설치된 기준좌표점의 측지정보를 확인한도로시설물의 측량시스템
TWI386626B (zh) * 2008-07-07 2013-02-21 Wistron Corp 用於一導航系統中的圖資更新裝置及相關導航系統
TWI387775B (zh) * 2008-12-18 2013-03-01 Ind Tech Res Inst 定位系統與定位方法
TW201028648A (en) * 2009-01-23 2010-08-01 Geoinfor Scientek Consultant Inc Method for investigating traffic road network information and apparatus thereof
JP5324240B2 (ja) * 2009-01-29 2013-10-23 株式会社ゼンリン 路面標示地図生成方法及び路面標示地図生成装置
JP5323560B2 (ja) * 2009-03-31 2013-10-23 株式会社パスコ 空間情報統合データベース生成装置及び空間情報統合データベース生成プログラム
JP5574632B2 (ja) * 2009-07-27 2014-08-20 キヤノン株式会社 情報処理装置及び情報処理装置の制御方法
WO2011039977A1 (ja) * 2009-09-29 2011-04-07 パナソニック株式会社 横断歩道標示検出方法および横断歩道標示検出装置
JP2011100409A (ja) * 2009-11-09 2011-05-19 Yupiteru Corp 車載用電子機器及びプログラム
TWI416073B (zh) 2009-11-16 2013-11-21 Ind Tech Res Inst 移動攝影機對路景影像的處理方法及系統
US8866901B2 (en) * 2010-01-15 2014-10-21 Honda Elesys Co., Ltd. Motion calculation device and motion calculation method
CN102713987B (zh) * 2010-01-29 2014-10-01 丰田自动车株式会社 道路信息检测装置以及车辆行驶控制装置
DE102010042248A1 (de) * 2010-10-11 2012-04-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur optischen Darstellung einer Umgebung eines Fahrzeugs
DE102010042276A1 (de) 2010-10-11 2012-04-12 Robert Bosch Gmbh Sensor, Justageverfahren und Vermessungsverfahren für einen Sensor
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
US8929658B2 (en) 2010-12-17 2015-01-06 Qualcomm Incorporated Providing magnetic deviation to mobile devices
US8565528B2 (en) 2010-12-17 2013-10-22 Qualcomm Incorporated Magnetic deviation determination using mobile devices
US8494553B2 (en) * 2011-01-11 2013-07-23 Qualcomm Incorporated Position determination using horizontal angles
TWI425442B (zh) * 2011-04-14 2014-02-01 Univ Nat Central Method of Reconstructing Three - dimensional Housing Model on Aeronautical Mapping System
JP2012244245A (ja) * 2011-05-16 2012-12-10 Olympus Imaging Corp 撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラム
JP5892360B2 (ja) * 2011-08-02 2016-03-23 ソニー株式会社 ロボット指示装置、ロボット指示方法、プログラム、及び通信システム
CN102721409B (zh) * 2012-05-29 2014-12-17 东南大学 一种基于车身控制点的移动车辆三维运动轨迹的测定方法
US8798926B2 (en) * 2012-11-14 2014-08-05 Navteq B.V. Automatic image capture
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
WO2014118877A1 (ja) * 2013-01-29 2014-08-07 Kajiyama Toshio 現地画像・地図情報収集提供システム
US9129157B2 (en) 2013-04-30 2015-09-08 Qualcomm Incorporated Method for image-based status determination
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
US10043080B2 (en) * 2014-02-24 2018-08-07 Nissan Motor Co., Ltd. Self-position calculating apparatus and self-position calculating method
US9483879B2 (en) * 2014-09-18 2016-11-01 Microsoft Technology Licensing, Llc Using free-form deformations in surface reconstruction
CN104680916B (zh) * 2015-03-03 2018-04-27 郁剑 一种摄影教学系统及方法
US20170155572A1 (en) 2015-11-30 2017-06-01 International Business Machines Corporation Relative positioning of a mobile computing device in a network
JP6984997B2 (ja) * 2016-03-31 2021-12-22 倉敷紡績株式会社 画像配置方法及び画像配置用コンピュータプログラム
US20170330043A1 (en) * 2016-05-11 2017-11-16 Icatch Technology, Inc. Method and System for Synthesizing a Lane Image
JP6868487B2 (ja) * 2016-06-30 2021-05-12 株式会社日立システムズ 被写体異常有無調査システム
EP3481661A4 (en) 2016-07-05 2020-03-11 Nauto, Inc. AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD
US11086334B2 (en) * 2016-07-21 2021-08-10 Mobileye Vision Technologies Ltd. Crowdsourcing a sparse map for autonomous vehicle navigation
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
US10690493B2 (en) * 2016-08-18 2020-06-23 Myriad Sensors, Inc. Wireless sensor device and software system for measuring linear position of a rotating object
EP3513265A4 (en) 2016-09-14 2020-04-22 Nauto Global Limited SYSTEMS AND METHODS FOR DETERMINING ALMOST COLLISIONS
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
US20200027234A1 (en) * 2016-10-02 2020-01-23 Hajime Kasahara Location information identifying method, location information identifying device, and location information identifying program
US10584971B1 (en) * 2016-10-28 2020-03-10 Zoox, Inc. Verification and updating of map data
WO2018085804A1 (en) 2016-11-07 2018-05-11 Nauto Global Limited System and method for driver distraction determination
JP6844235B2 (ja) * 2016-12-08 2021-03-17 富士通株式会社 距離測定装置および距離測定方法
JP6678605B2 (ja) * 2017-01-11 2020-04-08 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
US10497110B2 (en) * 2017-02-23 2019-12-03 The Boeing Company Identifying a pathway for condition of assembly validation
DE102017207544A1 (de) * 2017-05-04 2018-11-08 Volkswagen Aktiengesellschaft Verfahren, vorrichtungen und computerlesbares speichermedium mit instruktionen zur ortsbestimmung eines durch ein kraftfahrzeug erfassten datums
US10282860B2 (en) 2017-05-22 2019-05-07 Honda Motor Co., Ltd. Monocular localization in urban environments using road markings
WO2018229550A1 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for adverse vehicle event determination
US10430695B2 (en) 2017-06-16 2019-10-01 Nauto, Inc. System and method for contextualized vehicle operation determination
WO2018229549A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US10551509B2 (en) * 2017-06-30 2020-02-04 GM Global Technology Operations LLC Methods and systems for vehicle localization
US10788830B2 (en) * 2017-07-28 2020-09-29 Qualcomm Incorporated Systems and methods for determining a vehicle position
US11250582B2 (en) * 2017-08-31 2022-02-15 Optim Corporation Image analysis distance information provision system, method, and program
JP7027749B2 (ja) * 2017-09-14 2022-03-02 日産自動車株式会社 ランドマーク検出方法及びランドマーク検出装置
WO2019083068A1 (ko) * 2017-10-27 2019-05-02 한양대학교 산학협력단 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
CN108151729B (zh) * 2017-12-12 2020-03-17 财团法人车辆研究测试中心 影像定位方法及其影像定位装置
JP7156844B2 (ja) * 2017-12-14 2022-10-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置およびプログラム
EP3499419A1 (en) * 2017-12-14 2019-06-19 Panasonic Intellectual Property Corporation of America Information processing method, information processing apparatus, and program
JP6760251B2 (ja) * 2017-12-15 2020-09-23 株式会社デンソー 道路地図生成システム及び道路地図生成方法
EP3759700B1 (en) 2018-02-27 2023-03-15 Nauto, Inc. Method for determining driving policy
FR3080448A1 (fr) * 2018-04-20 2019-10-25 Psa Automobiles Sa Dispositif et procede d’analyse de la position d’un vehicule par comparaison d’informations d’environnement determinees et connues
EP3579161A1 (en) * 2018-06-08 2019-12-11 Hexagon Technology Center GmbH Workflow deployment
WO2020045210A1 (ja) * 2018-08-28 2020-03-05 パイオニア株式会社 地図データ構造
CN109491384B (zh) * 2018-11-14 2022-04-19 哈工大机器人（合肥）国际创新研究院 一种道路划线数据的获取方法及装置
WO2020107487A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 图像处理方法和无人机
CN109747681A (zh) * 2019-01-14 2019-05-14 卡斯柯信号有限公司 一种列车定位装置及方法
JP7122984B2 (ja) * 2019-02-22 2022-08-22 日立Astemo株式会社 データ同期装置、車載システム
JP7259454B2 (ja) * 2019-03-22 2023-04-18 富士通株式会社 移動体位置推定システムおよび移動体位置推定方法
US10943132B2 (en) * 2019-04-10 2021-03-09 Black Sesame International Holding Limited Distant on-road object detection
CN110276244B (zh) * 2019-05-07 2024-04-09 平安科技（深圳）有限公司 形成移动轨迹的方法、装置、计算机设备及存储介质
KR20210004862A (ko) * 2019-07-04 2021-01-13 (주) 애니펜 사용자 간의 경험 공유를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03220410A (ja) * 1990-01-24 1991-09-27 Toyota Motor Corp 車両用位置標定装置
JPH0737065A (ja) * 1993-07-23 1995-02-07 Asahi Koyo Kk 展開画作成方法及び装置
JPH0771973A (ja) * 1993-09-06 1995-03-17 Sumitomo Electric Ind Ltd 位置検出装置
US20040056778A1 (en) * 2002-09-17 2004-03-25 Inductive Signature Technologies, Inc. Vehicle speed estimation using inductive vehicle detection systems

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638116A (en) * 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP3480242B2 (ja) * 1996-11-29 2003-12-15 トヨタ自動車株式会社 動的経路案内装置
JP3725982B2 (ja) * 1998-12-03 2005-12-14 アジア航測株式会社 位置取得装置
JP2000276697A (ja) * 1999-01-18 2000-10-06 Yazaki Corp 車両用周辺監視装置
US6622085B1 (en) * 1999-01-25 2003-09-16 Hitachi Software Engineering Co., Ltd. Device and method for creating and using data on road map expressed by polygons
JP3908419B2 (ja) * 1999-09-14 2007-04-25 アルパイン株式会社 ナビゲーション装置
JP2001213254A (ja) * 2000-01-31 2001-08-07 Yazaki Corp 車両用側方監視装置
JP4469471B2 (ja) * 2000-07-13 2010-05-26 亮介 柴崎 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム
JP3843727B2 (ja) 2000-11-09 2006-11-08 日産自動車株式会社 現在位置修正装置および方法
JP2003006680A (ja) * 2001-06-20 2003-01-10 Zenrin Co Ltd ３次元電子地図データの生成方法
US6873911B2 (en) * 2002-02-01 2005-03-29 Nissan Motor Co., Ltd. Method and system for vehicle operator assistance improvement
JP3958133B2 (ja) * 2002-07-12 2007-08-15 アルパイン株式会社 車両位置測定装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03220410A (ja) * 1990-01-24 1991-09-27 Toyota Motor Corp 車両用位置標定装置
JPH0737065A (ja) * 1993-07-23 1995-02-07 Asahi Koyo Kk 展開画作成方法及び装置
JPH0771973A (ja) * 1993-09-06 1995-03-17 Sumitomo Electric Ind Ltd 位置検出装置
US20040056778A1 (en) * 2002-09-17 2004-03-25 Inductive Signature Technologies, Inc. Vehicle speed estimation using inductive vehicle detection systems

Also Published As

Publication number Publication date
HK1119460A1 (en) 2009-03-06
JP5309291B2 (ja) 2013-10-09
EP1876411A1 (en) 2008-01-09
KR101235815B1 (ko) 2013-02-21
JPWO2006114955A1 (ja) 2008-12-18
CN101163940A (zh) 2008-04-16
WO2006114955A1 (ja) 2006-11-02
US20090080697A1 (en) 2009-03-26
KR20080002750A (ko) 2008-01-04
TW200702633A (en) 2007-01-16
US8280105B2 (en) 2012-10-02
CN101163940B (zh) 2013-07-24
EP1876411A4 (en) 2011-06-29

Similar Documents

Publication Publication Date Title
TWI386625B (zh) Photographic position analysis method
CN101617197B (zh) 测量装置、测量方法及地物识别装置
JP5047515B2 (ja) 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
Chen et al. Inexpensive multimodal sensor fusion system for autonomous data acquisition of road surface conditions
US8532368B2 (en) Method and apparatus for producing 3D model of an environment
KR101319471B1 (ko) 부감 화상 생성장치, 부감 화상 생성방법 및 기록매체
US20150326783A1 (en) Three dimensional image capture system for imaging building facades using a digital camera, a near-infrared camera, and laser range finder
CN102037325A (zh) 用于以3d显示导航数据的计算机布置及方法
AU2008241689A1 (en) Method of and apparatus for producing road information
Pérez et al. Accuracy and effectiveness of orthophotos obtained from low cost UASs video imagery for traffic accident scenes documentation
JP5396585B2 (ja) 地物特定方法
Neale et al. Determining position and speed through pixel tracking and 2D coordinate transformation in a 3D environment
CN110223223A (zh) 街道扫描方法、装置及扫描仪
TW202022804A (zh) 路面影像重建與載具定位之方法與系統
NL2016718B1 (en) A method for improving position information associated with a collection of images.
Stylianidis et al. A digital close-range photogrammetric technique for monitoring slope displacements
WO2022021209A9 (zh) 电子地图生成方法、装置、计算机设备和存储介质
Lee et al. Semi-automatic framework for traffic landmark annotation
CN115035251B (zh) 一种基于领域增强合成数据集的桥面车辆实时追踪方法
JP7293931B2 (ja) 位置計測用データ生成装置、位置計測用データ生成方法、及び位置計測用データ生成プログラム
JP7467722B2 (ja) 地物管理システム
JP2004030440A (ja) 画像処理方法、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees