JP2015138428A - 付加情報表示装置および付加情報表示プログラム - Google Patents

付加情報表示装置および付加情報表示プログラム Download PDF

Info

Publication number
JP2015138428A
JP2015138428A JP2014010060A JP2014010060A JP2015138428A JP 2015138428 A JP2015138428 A JP 2015138428A JP 2014010060 A JP2014010060 A JP 2014010060A JP 2014010060 A JP2014010060 A JP 2014010060A JP 2015138428 A JP2015138428 A JP 2015138428A
Authority
JP
Japan
Prior art keywords
pixel
additional information
evaluation value
starting
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014010060A
Other languages
English (en)
Other versions
JP6334927B2 (ja
Inventor
健 宮本
Takeshi Miyamoto
健 宮本
義広 都丸
Yoshihiro Tomaru
義広 都丸
Original Assignee
三菱電機株式会社
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社, Mitsubishi Electric Corp filed Critical 三菱電機株式会社
Priority to JP2014010060A priority Critical patent/JP6334927B2/ja
Publication of JP2015138428A publication Critical patent/JP2015138428A/ja
Application granted granted Critical
Publication of JP6334927B2 publication Critical patent/JP6334927B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】物体が映った撮影画像に物体に関する付加情報を見易く重畳できるようにすることを目的とする。
【解決手段】評価値算出部141は、物体が映った撮影画像に含まれる複数の画素の画素毎に、当該画素を起点とする画素領域の各画素値に基づいて、物体に関する付加情報が当該画素領域に重畳された場合の付加情報の見易さを意味する評価値を算出する。起点画素選択部142は、複数の画素のそれぞれの評価値に基づいて複数の画素からいずれかの画素を起点画素として選択する。重畳画像表示部150は、起点画素を起点とする画素領域に付加情報を重畳した重畳画像を表示する。
【選択図】図1

Description

本発明は、物体が映った画像に物体に関する付加情報を重畳する技術に関するものである。
現実空間を撮影した画像に、画像または文字列などのラベルを重畳して表示する技術として、AR(Augmented Reality)がある。
AR技術によって現実世界の位置と情報とを視覚的に関連付けることで、利用者はラベルが指し示す位置を直感的に把握することができる。
例えば、AR技術は、タブレット型のコンピュータ(以下、タブレットPC)に付いているカメラで撮影された画像に情報を重畳して表示することを想定している。また、AR技術はスマートフォン、HMD(Head Mount Display)またはHUD(Head Up Display)などでも使用できる。
AR技術を用いる場合、ラベルを含んだ吹き出しの位置によって表示の見やすさが変わる。
例えば、吹き出しの突起部分が長い場合、半透過の吹き出しの背景が複雑な場合、または複数の吹き出しが重なった場合、ラベルの可読性が劣化する。
特開平9−146529号公報
Ramalingam,S.,et al.,"SKYLINE2GPS:Localization in urban canyons using omni−skylines",intelligent Robots and Systems(IROS),2010 IEEE/RSJ International Conference on,18−22 Oct.2010,pp.3816−3823 Shengyan Zhou,et al.,"Road detection using support vector machine based on online learning and evaluation",Intelligent Vehicles Symposium(IV),2010 IEEE,21−24 June 2010,pp.256−261
本発明は、物体が映った撮影画像に物体に関する付加情報を見易く重畳できるようにすることを目的とする。
本発明の付加情報表示装置は、
物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出部と、
前記評価値算出部によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択部と、
前記起点画素選択部によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示部とを備える。
本発明によれば、物体が映った撮影画像に物体に関する付加情報を見易く重畳することができる。
実施の形態1における画像表示装置100の機能構成図である。 実施の形態1における撮影画像210と付加画像220と重畳画像230との一例を表す図である。 実施の形態1における画像表示装置100の画像表示処理を示すフローチャートである。 実施の形態1における撮影画像210の一例を示す図である。 実施の形態1における物体特徴ファイル191の一例を示す図である。 実施の形態1における付加情報ファイル192の一例を示す図である。 実施の形態1における付加領域決定処理(S140)の一例を示すフローチャートである。 実施の形態1における付加情報201と画素領域203と物体領域204と吹き出し221との関係を示す図である。 実施の形態1における第1の見易さ評価関数193に関する図である。 実施の形態1における第4の見易さ評価関数193に関する図である。 実施の形態1における第5の見易さ評価関数193に関する図である。 実施の形態1における第6の見易さ評価関数193に関する図である。 実施の形態1における画像表示装置100のハードウェア構成の一例を示す図である。 実施の形態2における画像表示装置100の機能構成図である。 実施の形態2におけるカメラCと画像平面Pとの関係を示す図である。 実施の形態3における画像表示装置100の機能構成図である。 実施の形態3における評価画像240の一例を示す図である。 実施の形態3における評価ファイル197の一例を示す図である。
実施の形態1.
物体が映った撮影画像に物体に関する付加情報を見易く重畳する形態について説明する。
図1は、実施の形態1における画像表示装置100の機能構成図である。
実施の形態1における画像表示装置100の機能構成について、図1に基づいて説明する。
画像表示装置100(付加情報表示装置の一例)は、映っている物体に関する情報が重畳された重畳画像を表示する装置である。重畳画像はAR(Augmented Reality)画像ともいう。
例えば、画像表示装置100は、タブレット型のコンピュータまたはスマートフォンである。
例えば、画像表示装置100は、郵便局211が映っている撮影画像210に「記念切手を販売中」という情報を含んだ吹き出し221が重畳された重畳画像230を表示する(図2参照)。
図2は、実施の形態1における撮影画像210と付加画像220と重畳画像230との一例を表す図である。
画像表示装置100は、撮影画像取得部110と、物体検出部120と、付加情報取得部130と、付加領域決定部140と、重畳画像表示部150(付加情報表示部の一例)とを備える。さらに、画像表示装置100はデータ記憶部190を備える。
撮影画像取得部110は、撮影された撮影領域が映った画像である撮影画像210の画像データ(以下、撮影画像データ101という)を取得する。
物体検出部120は、撮影画像データ101に基づいて撮影画像210に映っている物体(例えば、図2の郵便局211)を検出する。以下、検出された物体を検出物体という。
付加情報取得部130は、検出物体に関する情報である付加情報(例えば、図2の「記念切手を販売中」)を取得する。付加情報はラベルともいう。
付加領域決定部140は、付加情報が付加される画素領域である付加領域を決定する。付加領域決定部140は、評価値算出部141と、起点画素選択部142とを備える。
評価値算出部141は、撮影画像210の画素毎に当該画素を起点とする画素領域に付加情報を重畳した場合の付加情報の見易さを意味する当該画素の評価値を算出する。
起点画素選択部142は、付加情報が重畳される画素領域の起点になる起点画素を選択する。起点画素を起点とする画素領域が付加領域である。
重畳画像表示部150は、付加情報が付加領域に重畳された撮影画像210である重畳画像230を表示する。
データ記憶部190は、画像表示装置100が使用、生成または入出力するデータを記憶する。
例えば、データ記憶部190は、撮影画像データ101と、付加画像データ102と、重畳画像データ103とを記憶する。さらに、データ記憶部190は、物体特徴ファイル191と、付加情報ファイル192とを記憶する。さらに、データ記憶部190は、一つ以上の見易さ評価関数193と、寄与度データ194とを記憶する。
撮影画像データ101は撮影画像210の画像データである。
付加画像データ102は付加情報が付加領域に配置された付加画像220の画像データである。
重畳画像データ103は撮影画像210に付加画像220を重畳した重畳画像230の画像データである。
物体特徴ファイル191は物体の特徴を表す特徴データを含む。
付加情報ファイル192は物体に関する情報である付加情報(ラベル)を含んだデータである。
見易さ評価関数193は付加情報の見易さを決定する見易さ要素に関する評価値を算出するための関数(例えば、数式)である。第一の見易さ評価関数193は第一の見易さ要素に関する評価値を算出するために演算され、第二の見易さ評価関数193は第二の見易さ要素に関する評価値を算出するために演算される。
寄与度データ194は各見易さ要素の寄与度を示すデータである。見易さ要素の寄与度は見易さ要素が付加情報の見易さに寄与する度合いを表す値であり、見易さ要素に関する評価値に乗ずる係数として用いられる。
図3は、実施の形態1における画像表示装置100の画像表示処理を示すフローチャートである。
実施の形態1における画像表示装置100の画像表示処理について、図3に基づいて説明する。
S110において、撮影画像取得部110は撮影画像210の画像データである撮影画像データ101を取得する。
例えば、画像表示装置100の利用者は、画像表示装置100に備わるカメラを用いて周囲の風景を撮影する。そして、カメラは撮影された風景が映った撮影画像210の画像データである撮影画像データ101を生成し、撮影画像取得部110はカメラから撮影画像データ101を取得する。但し、撮影画像データ101はデータ記憶部190に予め記憶されていても構わない。
S110の後、処理はS120に進む。
図4は、実施の形態1における撮影画像210の一例を示す図である。
図4に示す撮影画像210には、郵便マーク212が記された郵便局211が映っている。
図3に戻り、S120から説明を続ける。
S120において、物体検出部120は、撮影画像データ101に基づいて、撮影画像210に映っている物体の物体名および物体領域を検出する。物体名は物体を識別する識別子であり、物体領域は物体の少なくとも一部を含んだ画素領域である。検出される物体は複数であっても構わない。
例えば、物体検出部120は、識別器と呼ばれる機器またはテンプレートマッチングと呼ばれる技術を用いて物体を検出する。
例えば、物体検出部120は、図5に示すような物体特徴ファイル191を用いて物体を検出する。図5に示す物体特徴ファイル191は、物体名と物体名に対応付けられた特徴データとを含んでいる。特徴データは物体の特徴(文字、記号、図形または形状など)を表すデータである。
この場合、物体検出部120は、撮影画像データ101を画像解析することによって、物体特徴ファイル191に含まれる特徴データ毎に特徴データと同じ特徴を表す特徴領域(画素領域)が撮影画像210に含まれるか否かを判定する。
そして、物体検出部120は、撮影画像210(図4参照)に同じ特徴を表す特徴領域が含まれる特徴データ(郵便マーク212)に対応付けられた物体名(郵便局211)を物体特徴ファイル191から取得する。
また、物体検出部120は、特徴データと同じ特徴を表す特徴領域または特徴領域を含んだ物体を表す画素領域を物体領域として特定する。例えば、物体検出部120は、物体の輪郭を形成している複数のエッジを撮影画像210から検出し、検出した複数のエッジに囲まれている画素領域を物体領域として特定する。
図5は、実施の形態1における物体特徴ファイル191の一例を示す図である。
S120の後、処理はS130(図3参照)に進む。
S130において、付加情報取得部130は、検出物体毎に検出物体に関する付加情報を取得する。検出物体はS120で取得された物体である。
例えば、付加情報取得部130は、図6に示すような付加情報ファイル192から付加情報を取得する。図6に示す付加情報ファイル192は、物体名と物体名に対応付けられた付加情報(文字列または画像などのラベル)とを含んでいる。
検出物体の物体名が郵便局211である場合、付加情報取得部130は郵便局211に対応付けられた付加情報である「記念切手を販売中」を付加情報ファイル192から取得する。
図6は、実施の形態1における付加情報ファイル192の一例を示す図である。
S130の後、処理はS140(図3参照)に進む。
S140において、付加領域決定部140は、検出物体毎に検出物体の付加情報が配置される付加領域(画素領域)を決定する。
付加領域決定処理(S140)の詳細については後述する。
S140の後、処理はS150に進む。
S150において、重畳画像表示部150は、付加情報を付加領域に配置した付加画像データ102を生成し、撮影画像データ101に付加画像データ102を重畳した重畳画像データ103を生成し、重畳画像データ103を表示する(図2参照)。
S150の後、画像表示処理は終了する。
図7は、実施の形態1における付加領域決定処理(S140)の一例を示すフローチャートである。
実施の形態1における付加領域決定処理(S140)の一例について、図7に基づいて説明する。
S141において、評価値算出部141は、撮影画像210から検出物体と同じ個数の候補画素(以下、候補画素群という)を選択する。検出物体が1つである場合、候補画素群に含まれる候補画素は1つである。
例えば、評価値算出部141は候補画素群をランダムに選択する。但し、評価値算出部141は、遺伝的アルゴリズムまたは動的計画法などを利用して候補画素群を選択しても構わない。
以降の処理で述べる候補画素は、S141で選択された候補画素である。
S141の後、処理はS142に進む。
S142において、評価値算出部141は、複数の見易さ評価関数193から未選択の見易さ評価関数193を一つ選択する。
見易さ評価関数193は、付加情報の見易さを決定する見易さ要素に関する評価値を算出するための関数(または計算式)である。
以下の第1から第8の要素は見易さ要素の一例である。
色要素(第1の要素)は、付加情報と候補画素を起点とする画素領域との色の差に関する見易さ要素である。一般的に色の差が大きい方が見易い。
吹き出し長さ要素(第2の要素)は、付加情報を囲む吹き出しの吹き出し線の長さに関する見易さ要素である。一般的に吹き出し線が短い方が見易い。
複雑要素(第3の要素)は、候補画素を起点とする画素領域に含まれるエッジの量に関する見易さ要素である。一般的にエッジの量が少ない方が見易い。
物体領域重なり要素(第4の要素)は、候補画素を起点とする画素領域が物体領域に重なる量に関する見易さ要素である。一般的に重なる量が少ない方が見易い。
付加領域重なり要素(第5の要素)は、複数の候補画素のそれぞれを起点とする各画素領域が互いに重なる量に関する見易さ要素である。一般的に重なる量が少ない方が見易い。
吹き出し交差要素(第6の要素)は、複数の付加情報を囲む複数の吹き出しのそれぞれ吹き出し線が交差する数に関する見易さ要素である。一般的に交差する吹き出し線の数が少ない方が見易い。
空要素(第7の要素)は、候補画素を起点とする画素領域に占める空領域の割合に関する見易さ要素である。空領域は空が映された画素領域である。一般的に空領域の割合が高い方が見易い。
道路要素(第8の要素)は、候補画素を起点とする画素領域に占める道路領域の割合に関する見易さ要素である。道路領域は道路が映された画素領域である。一般的に道路領域の割合が高い方が見易い。
以降の処理で述べる見易さ評価関数193は、S142で選択された見易さ評価関数193である。
S142の後、処理はS143に進む。
S143において、評価値算出部141は、見易さ評価関数193を演算することによって、見易さ要素別の評価値を算出する。
見易さ評価処理(S143)の詳細については後述する。
S143の後、処理はS144に進む。
S144において、評価値算出部141は、見易さ要素別の寄与度を寄与度データ194から取得し、取得した見易さ要素別の寄与度を用いて見易さ要素別の評価値を補正する。
例えば、評価値算出部141は、第1の要素の寄与度を寄与度データ194から取得し、取得した第1の要素の寄与度を第1の要素の評価値に乗算する。乗算して得られた値が第1の要素の補正後の評価値である。
但し、評価値算出部141は見易さ要素別の評価値を補正しなくても構わない。この場合、寄与度データ194は不要である。
S144の後、処理はS145に進む。
S145において、評価値算出部141は、S142で選択していない未選択の見易さ評価関数193があるか否かを判定する。
未選択の見易さ評価関数193がある場合(YES)、処理はS142に戻る。
未選択の見易さ評価関数193がない場合(NO)、処理はS146に進む。
S146において、評価値算出部141は、各見易さ要素別の評価値を用いて、候補画素群の評価値を算出する。
候補画素群の評価値は、候補画素毎に候補画素を起点とする画素領域に付加情報を重畳した場合の各付加情報の見易さを意味する値である。
例えば、評価値算出部141は各見易さ要素別の評価値を合計する。その合計値が候補画素群の評価値である。
例えば、候補画素群の評価値f(P,Q,I)は以下の式(1)で表すことができる。
Lは、候補画素群に含まれる候補画素の数(つまり、付加情報、検出物体または物体領域の数)を意味する。
Eは、見易さ要素の数を意味する。
は、i番目の見易さ要素の寄与度を意味する。
il(P,Q,I)は、i番目の見易さ要素に関するl番目の候補画素の評価値を意味する。
Pは、式(1−1)に示すように、L個の候補画素の各座標値(p_x,p_y)を含んだ行列を意味する。この座標値は撮影画像内の座標値である。
Qは、式(1−2)に示すように、L個の物体領域のそれぞれの代表画素の座標値(q_x,q_y)を含んだ行列を意味する。この座標値は撮影画像内の座標値である。例えば、物体領域の代表画素は物体領域の端部または中心部に位置する画素である。
Iは、撮影画像210を意味する。
S146の後、処理はS147に進む。
S147において、評価値算出部141は、新たな候補画素群を選択するか否かを判定する。
例えば、S141で選択した候補画素群の数が選択閾値より小さい場合、評価値算出部141は新たな候補画素群を選択すると判定する。
例えば、S146で算出した候補画素群の評価値が選択閾値より大きい場合(または選択閾値より小さい場合)、評価値算出部141は新たな候補画素群を選択すると判定する。
但し、評価値算出部141は新たな候補画素群を選択するか否かを他の判定基準に従って判定しても構わない。
新たな候補画素群を選択する場合(YES)、処理はS141に戻る。
新たな候補画素群を選択しない場合(NO)、処理はS148に進む。
S148において、起点画素選択部142は、各候補画素群の評価値に基づいて、起点画素群にする候補画素群を選択する。
例えば、起点画素選択部142は、評価値が最も小さい(または最も大きい)候補画素群を起点画素群として選択する。
起点画素群は1つ以上の起点画素であり、起点画素は検出物体に関する付加情報が配置される付加領域の起点になる画素である。
S148の後、付加領域決定処理(S140)は終了する。
次に、見易さ評価処理(S143)の詳細について説明する。
図8は、実施の形態1における付加情報201と画素領域203と物体領域204と吹き出し221との関係を示す図である。
評価値算出部141は、候補画素202の座標値と付加情報201の大きさとに基づいて、候補画素202を起点とする画素領域203を算出する。例えば、画素領域203の大きさは付加情報201の大きさと同じである。
評価値算出部141は、画素領域203に基づいて、付加情報201が配置される画素領域203を囲む吹き出し枠222を算出する。例えば、吹き出し枠222の大きさは画素領域203と同じである。
評価値算出部141は、吹き出し枠222と物体領域204とに基づいて、吹き出し枠222から物体領域204を指し示す吹き出し線223を算出する。例えば、吹き出し線223は吹き出し枠222の(下辺の)中心点と物体領域204の(上辺の)中心点とを結ぶ線である。
評価値算出部141は、算出した画素領域203および吹き出し221(吹き出し枠222、吹き出し線223)を用いて、各見易さ評価関数193を演算する。
評価値算出部141は、第1の見易さ評価関数193を演算することによって、色要素(第1の要素)に関する評価値を以下のように算出する。第1の見易さ評価関数193に関する説明において図9を参照する。
図9は、実施の形態1における第1の見易さ評価関数193に関する図である。
評価値算出部141は、付加情報(図中の一点鎖線に囲まれた部分)に含まれる色情報(文字列の文字色、画像の画素値など)に基づいて、付加情報の平均の色値iを算出する。
評価値算出部141は、候補画素pを起点とする画素領域(図中の鎖線に囲まれた部分)に含まれる各画素の画素値に基づいて、画素領域の平均の色値i(p,I)を算出する。候補画素pを起点とする画素領域の大きさは付加情報の大きさに比例する。画素値は色値の一例である。評価値算出部141は、画素値に基づいてRGB色空間、HSV色空間またはその他の色空間の色を表す色値を算出しても構わない。
評価値算出部141は、付加情報の平均の色値iと画素領域の平均の色値i(p,I)との差を算出する。候補画素p毎に算出した色値の差を合計した値が色要素に関する評価値である。
色要素に関する評価値c1l(P,Q,I)は以下の式(2)で表すことができる。
評価値算出部141は、第2の見易さ評価関数193を演算することによって、吹き出し長さ要素(第2の要素)に関する評価値を以下のように算出する。
評価値算出部141は、候補画素202毎に吹き出し線223の長さを算出する(図8参照)。候補画素毎に算出した吹き出し線223の長さを合計した値が吹き出し長さ要素に関する評価値である。
評価値算出部141は、第3の見易さ評価関数193を演算することによって、複雑要素(第3の要素)に関する評価値を以下のように算出する。
評価値算出部141は、候補画素202を起点とする画素領域203に含まれる各画素の画素値に基づいて、画素領域203に含まれるエッジを検出する。候補画素202毎に検出したエッジの量を合計した値が複雑要素に関する評価値である。
例えば、評価値算出部141は、キャニーエッジ、ソーベルフィルタまたはガウシアンフィルタなどのエッジ検出方法を用いてエッジを検出する。
評価値算出部141は、第4の見易さ評価関数193を演算することによって、物体領域重なり要素(第4の要素)に関する評価値を以下のように算出する。第4の見易さ評価関数193に関する説明において図10を参照する。
図10は、実施の形態1における第4の見易さ評価関数193に関する図である。
評価値算出部141は、候補画素202を起点とする画素領域203が物体領域204に重なる量(図中の斜線部分の面積)を算出する。候補画素202毎に算出した重なる量を合計した値が物体領域重なり要素に関する評価値である。重なる量は重なるか否かを示す値であっても構わない。
評価値算出部141は、第5の見易さ評価関数193を演算することによって、付加領域重なり要素(第5の要素)に関する評価値を以下のように算出する。
評価値算出部141は、複数の画素領域203が互いに重なる量を算出する。算出した重なる量が付加領域重なり要素に関する評価値である。
図11は、実施の形態1における第5の見易さ評価関数193に関する図である。
図11の(a)の場合、2つの画素領域203が重なっているので重なる量は2である。図11の(b)の場合、3つの画素領域203が重なっているので重なる量は3である。但し、重なる量は複数の画素領域203が重なる面積であっても構わない。
評価値算出部141は、第6の見易さ評価関数193を演算することによって、吹き出し交差要素(第6の要素)に関する評価値を以下のように算出する。
評価値算出部141は、複数の吹き出し線223が互いに重なる量を算出する。算出した重なる量が吹き出し交差要素に関する評価値である。
図12は、実施の形態1における第6の見易さ評価関数193に関する図である。
図12の(a)の場合、2つの吹き出し線223が重なっているので重なる量は2である。図12の(b)の場合、3つの吹き出し線223が重なっているので重なる量は3である。
評価値算出部141は、第7の見易さ評価関数193を演算することによって、空要素(第7の要素)に関する評価値を以下のように算出する。
評価値算出部141は、候補画素202を起点とする画素領域203に含まれる各画素の画素値に基づいて画素領域203から空領域を検出し、検出した空領域が画素領域203に占める割合を算出する。空領域は空が映った画素領域である。候補画素202毎に算出した割合を合計した値が空要素に関する評価値である。空領域は他の特定領域(例えば、海が映った海領域)に置き換えても構わない。
例えば、評価値算出部141は、非特許文献1に開示された技術を用いて空領域を検出する。
評価値算出部141は、第8の見易さ評価関数193を演算することによって、道路要素(第8の要素)に関する評価値を以下のように算出する。
評価値算出部141は、候補画素202を起点とする画素領域203に含まれる各画素の画素値に基づいて画素領域203から道路領域を検出し、検出した道路領域が画素領域203に占める割合を算出する。道路領域は道路が映った画素領域である。候補画素202毎に算出した割合を合計した値が道路要素に関する評価値である。
例えば、評価値算出部141は、非特許文献2に開示された技術を用いて道路領域を検出する。
評価値算出部141は、上記した第1から第8の全ての見易さ要素に関する評価値を算出してもよいし、いずれか1つまたは複数の見易さ要素に関する評価値だけを算出してもよいし、他の見易さ要素に関する評価値を算出してもよい。
例えば、評価値算出部141は、寄与度データwに基づいて見易さ要素を選択してもよい。w={w,w,w,w,w,w,w,w}={0,1,1,0,0,0,0,0}である場合、評価値算出部141は第2の見易さ要素に関する評価値と第3の見易さ要素に関する評価値とを算出する。
評価値算出部141は、各見易さ要素の評価値を扱い易くするために、各見易さ要素の評価値を正規化しても構わない。例えば、評価値算出部141は、各見易さ要素の評価値を0から10の範囲内の値に変換しても構わない。
評価値算出部141は、各見易さ要素の評価値として、見易いことを意味する値と見にくいことを意味する値とのいずれかを選択しても構わない。
例えば、評価値算出部141は、クラスタリングの技術分野で用いられている超平面を生成し、この超平面に基づいて見易いか否かを判定する。
図13は、実施の形態1における画像表示装置100のハードウェア構成の一例を示す図である。
実施の形態1における画像表示装置100のハードウェア構成の一例について、図13に基づいて説明する。但し、画像表示装置100のハードウェア構成は図13に示す構成と異なる構成であってもよい。
画像表示装置100は、演算装置901、補助記憶装置902、主記憶装置903、通信装置904、入出力装置905、撮影装置906、測位装置907および慣性計測装置908を備えるコンピュータである。これらの装置はバス909に接続している。
演算装置901は、プログラムを実行するCPU(Central Processing Unit)である。
補助記憶装置902は、例えば、ROM(Read Only Memory)、フラッシュメモリまたはハードディスク装置である。
主記憶装置903は、例えば、RAM(Random Access Memory)である。
通信装置904は、有線または無線でインターネット、LAN(ローカルエリアネットワーク)、電話回線網またはその他のネットワークを介して通信を行う。
入出力装置905は、例えば、マウス、キーボード、ディスプレイ装置である。
例えば、撮影装置906はカメラであり、測位装置907はGPS受信機であり、慣性計測装置908はジャイロである。
プログラムは、通常は補助記憶装置902に記憶されており、主記憶装置903にロードされ、演算装置901に読み込まれ、演算装置901によって実行される。
例えば、オペレーティングシステム(OS)が補助記憶装置902に記憶される。また、「〜部」として説明している機能を実現するプログラムが補助記憶装置902に記憶される。そして、OSおよび「〜部」として説明している機能を実現するプログラムは主記憶装置903にロードされ、演算装置901によって実行される。「〜部」は「〜処理」「〜工程」と読み替えることができる。
「〜の判断」、「〜の判定」、「〜の抽出」、「〜の検知」、「〜の設定」、「〜の登録」、「〜の選択」、「〜の生成」、「〜の入力」、「〜の出力」等の処理の結果を示す情報、データ、ファイル、信号値または変数値が主記憶装置903または補助記憶装置902に記憶される。また、画像表示装置100が使用するその他のデータが主記憶装置903または補助記憶装置902に記憶される。
実施の形態1により、物体が映った撮影画像210に物体に関する付加情報を見易く重畳することができる。
実施の形態2.
撮影画像に映っている物体を撮影画像が撮影された位置に基づいて検出する形態について説明する。
以下、実施の形態1と異なる事項について主に説明する。説明を省略する事項については実施の形態1と同様である。
図14は、実施の形態2における画像表示装置100の機能構成図である。
実施の形態2における画像表示装置100の機能構成について、図14に基づいて説明する。
画像表示装置100は、実施の形態1(図1参照)で説明した機能に加えて、位置方位取得部160を備える。
また、物体検出部120は、実施の形態1とは異なる方法によって、撮影画像210に映っている物体を検出する。
位置方位取得部160は、撮影画像210が撮影されたときの撮影位置を示す位置データ(三次元の座標値)と、撮影画像210が撮影されたときの撮影方位を示す方位データ(方位角、仰角、回転角)とを取得する。
例えば、位置方位取得部160は、GPS(Global Positioning System)受信機から位置データを取得する。位置方位取得部160は、GPS受信機から出力される情報に基づいてGPSの単独測位を行うことによって、位置データを生成しても構わない。また、位置方位取得部160は、携帯基地局までの距離を示す距離情報を利用するA−GPSなど、GPSの単独測位以外の測位方法によって位置データを生成しても構わない。
例えば、位置方位取得部160はジャイロセンサから方位データを取得する。また、位置方位取得部160は、ジャイロセンサから出力される情報に基づいて方位を計測することによって、方位データを生成しても構わない。
以下、位置データと方位データとを含んだデータを位置方位データ104という。
物体検出部120は、位置方位データ104と物体データベース195とに基づいて、撮影画像210に映っている物体の物体名および物体領域を検出する。
物体データベース195は、物体名と物体名に対応付けられた物体位置データとを含む。物体位置データは物体が位置する現実(三次元)の領域を示すデータである。例えば、地図データベース、フロアマップ、設計図面およびCAD図面は、物体データベース195の一例である。
例えば、物体検出部120は以下のように物体を検出する。以下の説明において図15を参照する。
図15は、実施の形態2におけるカメラCと画像平面Pとの関係を示す図である。
物体検出部120は、位置方位データ104およびカメラCの撮影パラメータ(例えば、焦点距離f)に基づいて画像平面Pを算出する。画像平面Pに現実の領域(例えば、画像平面Pの外にある郵便マーク)を投影して得られる画像が撮影画像210である。
物体検出部120は、画像平面Pに投影される現実の領域(投影領域)を算出し、投影領域に位置する物体の物体名および物体位置データを物体データベース195から抽出する。
物体検出部120は、抽出した物体位置データが示す現実の領域が投影される画素領域(例えば、画像平面Pの中になる郵便マーク)を算出する。算出した画素領域が物体領域である。
画像表示装置100の他の機能は実施の形態1と同様である。
実施の形態2により、物体が映った撮影画像210に物体に関する付加情報を見易く重畳することができる。
実施の形態3.
各見易さ要素の寄与度を利用者に適した値に調整する形態について説明する。
以下、実施の形態1と異なる事項について主に説明する。説明を省略する事項については実施の形態1と同様である。
図16は、実施の形態3における画像表示装置100の機能構成図である。
実施の形態3における画像表示装置100の機能構成について、図16に基づいて説明する。
画像表示装置100は、実施の形態1(図1参照)で説明した機能に加えて、寄与度算出部170を備える。
また、データ記憶部190は、複数の評価画像データ196および評価ファイル197を記憶する。
評価画像データ196は、利用者が見易さを評価する評価用の重畳画像(評価画像240)の画像データである。
図17は、実施の形態3における評価画像240の一例を示す図である。
図17の(a)は付加情報を囲んだ吹き出し221が空領域に重畳された評価画像240を示している。
図17の(b)は吹き出し221が建物に重畳された評価画像240を示している。
図17の(c)は2つの吹き出し221のそれぞれの吹き出し枠が重なっている評価画像240を示している。
図17の(d)は2つの吹き出し221のそれぞれの吹き出し線が重なっている評価画像240を示している。
評価ファイル197は、評価画像240毎に各見易さ要素の評価値と利用者の評価結果値とを含む。各見易さ要素の評価値は評価値算出部141の評価値算出処理(図7のS143)と同様に算出された値である。利用者の評価結果値は、利用者が評価画像240を確認して決定した評価値である。
図18は、実施の形態3における評価ファイル197の一例を示す図である。
図18に示す評価ファイル197は、第1から第Nの評価画像240の画像毎に、第1から第Eの見易さ要素のそれぞれの評価値c^と、利用者の評価結果値とを含んでいる。例えば、利用者の評価結果は0.2刻みで0から1の5段階の値である。
寄与度算出部170は、以下のように各見易さ要素の寄与度を算出する。
寄与度算出部170は、複数の評価画像データ196を用いて、複数の評価画像240(図17参照)を表示する。
利用者は、表示された複数の評価画像240を確認し、各評価画像240の付加情報の見易さを評価し、各評価画像240の評価結果値を画像表示装置100に入力する。
寄与度算出部170は、入力された各評価画像240の評価結果値を取得し、取得した各評価結果値を評価ファイル197(図18参照)に登録する。
寄与度算出部170は、評価ファイル197に基づいて各見易さ要素の寄与度を算出し、算出した各寄与度を寄与度データ194に登録する。
例えば、寄与度算出部170は、ロジスティック回帰分析によって各見易さ要素の寄与度を算出する。
画像表示装置100は、市街地用の評価画像群および山間部用の評価画像群など、風景が異なる複数の評価画像群を記憶してもよい。
この場合、利用者は複数の風景のうちのいずれかの風景を選択し、寄与度算出部170は複数の評価画像群のうちの選択された風景用の評価画像群を使用する。
これにより、各見易さ要素の寄与度を使用地域(市街地または山間部など)に適した値に調整することができる。
実施の形態3により、各見易さ要素の寄与度を利用者に適した値に調整することができる。さらに、管理者が各見易さ要素の寄与度を決定しなくてもよいため、管理者の負担を軽減することができる。
例えば、撮影画像210に重畳された付加情報の見易さは利用者の年齢によって異なる可能性がある。その場合、各見易さ要素の寄与度を利用者に適した値に調整することにより、利用者の年齢に関わらず、付加情報が見易い位置に重畳された撮影画像210を表示することができる。
各実施の形態は、画像表示装置100の形態の一例である。
つまり、画像表示装置100は、各実施の形態で説明した構成要素の一部を備えなくても構わない。また、画像表示装置100は、各実施の形態で説明していない構成要素を備えても構わない。さらに、画像表示装置100は、各実施の形態の構成要素の一部または全てを組み合わせたものであっても構わない。
例えば、実施の形態3における画像表示装置100の物体検出部120は、実施の形態2で説明した方法で物体を検出しても構わない。
各実施の形態においてフローチャート等を用いて説明した処理手順は、各実施の形態に係る方法およびプログラムの処理手順の一例である。つまり、各実施の形態に係る方法およびプログラムは、各実施の形態で説明した処理手順と一部異なる処理手順で実現されても構わない。
100 画像表示装置、101 撮影画像データ、102 付加画像データ、103 重畳画像データ、104 位置方位データ、110 撮影画像取得部、120 物体検出部、130 付加情報取得部、140 付加領域決定部、141 評価値算出部、142 起点画素選択部、150 重畳画像表示部、160 位置方位取得部、170 寄与度算出部、190 データ記憶部、191 物体特徴ファイル、192 付加情報ファイル、193 見易さ評価関数、194 寄与度データ、195 物体データベース、196 評価画像データ、197 評価ファイル、201 付加情報、202 候補画素、203 画素領域、204 物体領域、210 撮影画像、211 郵便局、212 郵便マーク、220 付加画像、221 吹き出し、222 吹き出し枠、223 吹き出し線、230 重畳画像、240 評価画像、901 演算装置、902 補助記憶装置、903 主記憶装置、904 通信装置、905 入出力装置、906 撮影装置、907 測位装置、908 慣性計測装置、909 バス。

Claims (21)

  1. 物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出部と、
    前記評価値算出部によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択部と、
    前記起点画素選択部によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示部と
    を備えることを特徴とする付加情報表示装置。
  2. 前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域から特定領域を検出し、検出した前記特定領域が前記画素領域に占める割合に基づいて前記評価値を算出する
    ことを特徴とする請求項1に記載の付加情報表示装置。
  3. 前記評価値算出部は、空が映った空領域または道路が映った道路領域を前記特定領域として検出する
    ことを特徴とする請求項2に記載の付加情報表示装置。
  4. 前記付加情報表示装置は、前記付加情報の見易さを決定する複数の見易さ要素の各見易さ要素の寄与度を含む寄与度データを記憶するデータ記憶部を備え、
    前記評価値算出部は、前記複数の画素の画素毎に前記画素を起点とする前記画素領域の各画素値に基づいて各見易さ要素に関する評価値を算出し、各見易さ要素に関する評価値と前記寄与度データに含まれる各見易さ要素の寄与度とを用いて前記画素の前記評価値を算出する
    ことを特徴とする請求項1に記載の付加情報表示装置。
  5. 前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域の平均の色値を算出し、前記付加情報に含まれる色情報に基づいて前記付加情報の平均の色値を算出し、前記付加情報の平均の色値と前記画素領域の平均の色値との差を前記複数の見易さ要素のうちの色要素に関する評価値として算出する
    ことを特徴とする請求項4に記載の付加情報表示装置。
  6. 前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域に含まれるエッジの量を前記複数の見易さ要素のうちの複雑要素に関する評価値として算出する
    ことを特徴とする請求項4に記載の付加情報表示装置。
  7. 前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域から空が映った空領域を検出し、検出した前記空領域が前記画素領域に占める割合を前記複数の見易さ要素のうちの空要素に関する評価値として算出する
    ことを特徴とする請求項4に記載の付加情報表示装置。
  8. 前記評価値算出部は、前記画素を起点とする前記画素領域の各画素値に基づいて前記画素領域から道路が映った道路領域を検出し、検出した前記道路領域が前記画素領域に占める割合を前記複数の見易さ要素のうちの道路要素に関する評価値として算出する
    ことを特徴とする請求項4に記載の付加情報表示装置。
  9. 物体が映った撮影画像から前記物体の少なくとも一部が映った物体領域を検出する物体領域検出部と、
    前記撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域と前記物体領域検出部によって検出された前記物体領域とに基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出部と、
    前記評価値算出部によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択部と、
    前記起点画素選択部によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示部と
    を備えることを特徴とする付加情報表示装置。
  10. 前記付加情報表示装置は、前記付加情報の見易さを決定する複数の見易さ要素の各見易さ要素の寄与度を含む寄与度データを記憶するデータ記憶部を備え、
    前記評価値算出部は、前記複数の画素の画素毎に前記画素を起点とする前記画素領域と前記物体領域とに基づいて各見易さ要素に関する評価値を算出し、各見易さ要素に関する評価値と前記寄与度データに含まれる各見易さ要素の寄与度とを用いて前記画素の前記評価値を算出する
    ことを特徴とする請求項9に記載の付加情報表示装置。
  11. 前記評価値算出部は、前記画素領域が前記物体領域に重なる量を前記複数の見易さ要素のうちの物体領域重なり要素に関する評価値として算出する
    ことを特徴とする請求項10に記載の付加情報表示装置。
  12. 前記評価値算出部は、前記画素領域と前記物体領域とに基づいて前記付加情報を囲む吹き出しの吹き出し線の長さを前記複数の見易さ要素のうちの吹き出し長さ要素に関する評価値として算出する
    ことを特徴とする請求項10に記載の付加情報表示装置。
  13. 複数の物体が映った撮影画像のうちの前記複数の物体と同じ数の画素から成る複数の候補画素群の候補画素群毎に、前記候補画素群に含まれる複数の画素を起点とする複数の画素領域に前記複数の物体に関する複数の付加情報が重畳された場合の前記複数の付加情報の見易さを意味する評価値を算出する評価値算出部と、
    前記評価値算出部によって算出された各評価値に基づいて、前記複数の候補画素群からいずれかの候補画素群を複数の起点画素として選択する起点画素選択部と、
    前記起点画素選択部によって選択された前記複数の起点画素を起点とする複数の画素領域に前記複数の付加情報を重畳する付加情報表示部と
    を備えることを特徴とする付加情報表示装置。
  14. 前記付加情報表示装置は、前記付加情報の見易さを決定する複数の見易さ要素の各見易さ要素の寄与度を含む寄与度データを記憶するデータ記憶部を備え、
    前記評価値算出部は、前記複数の候補画素群の候補画素群毎に前記候補画素群に含まれる複数の候補画素を起点とする複数の画素領域に基づいて各見易さ要素に関する評価値を算出し、各見易さ要素に関する評価値と前記寄与度データに含まれる各見易さ要素の寄与度とを用いて前記候補画素群の前記評価値を算出する
    ことを特徴とする請求項13に記載の付加情報表示装置。
  15. 前記評価値算出部は、前記複数の画素領域が互いに重なる量を前記複数の見易さ要素のうちの付加領域重なり要素に関する評価値として算出する
    ことを特徴とする請求項14に記載の付加情報表示装置。
  16. 前記付加情報表示装置は、前記撮影画像から前記複数の物体の物体毎に前記物体の少なくとも一部が映った物体領域を検出する物体領域検出部を備え、
    前記評価値算出部は、前記複数の画素領域と前記物体領域検出部によって検出された複数の物体領域とに基づいて前記複数の付加情報を囲む複数の吹き出しの各吹き出し線を算出し、各吹き出し線が交差する量を前記複数の見易さ要素のうちの吹き出し交差要素に関する評価値として算出する
    ことを特徴とする請求項14に記載の付加情報表示装置。
  17. 物体に関する付加情報が異なる位置に配置された複数の評価画像を表示し、前記複数の評価画像の評価画像毎に前記付加情報の見易さを意味する評価結果値を取得し、各評価画像の評価結果値に基づいて各見易さ要素の寄与度を算出する寄与度算出部
    を備えたことを特徴とする請求項4と請求項10と請求項14とのいずれかに記載の付加情報表示装置。
  18. 前記データ記憶部は、前記複数の評価画像のそれぞれの各見易さ要素に関する評価値を含む評価ファイルを記憶し、
    前記寄与度算出部は、前記複数の評価画像のそれぞれの評価結果値と各見易さ要素に関する評価値とに基づいて、各見易さ要素の寄与度を算出する
    ことを特徴とする請求項17に記載の付加情報表示装置。
  19. 物体が映った撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域の各画素値に基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出処理と、
    前記評価値算出処理によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択処理と、
    前記起点画素選択処理によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示処理と
    をコンピュータに実行させるための付加情報表示プログラム。
  20. 物体が映った撮影画像から前記物体の少なくとも一部が映った物体領域を検出する物体領域検出処理と、
    前記撮影画像に含まれる複数の画素の画素毎に、前記画素を起点とする画素領域と前記物体領域検出処理によって検出された前記物体領域とに基づいて、前記物体に関する付加情報が前記画素領域に重畳された場合の前記付加情報の見易さを意味する評価値を算出する評価値算出処理と、
    前記評価値算出処理によって算出された各評価値に基づいて、前記複数の画素からいずれかの画素を起点画素として選択する起点画素選択処理と、
    前記起点画素選択処理によって選択された前記起点画素を起点とする画素領域に前記付加情報を重畳する付加情報表示処理と
    をコンピュータに実行させるための付加情報表示プログラム。
  21. 複数の物体が映った撮影画像のうちの前記複数の物体と同じ数の画素から成る複数の候補画素群の候補画素群毎に、前記候補画素群に含まれる複数の画素を起点とする複数の画素領域に前記複数の物体に関する複数の付加情報が重畳された場合の前記複数の付加情報の見易さを意味する評価値を算出する評価値算出処理と、
    前記評価値算出処理によって算出された各評価値に基づいて、前記複数の候補画素群からいずれかの候補画素群を複数の起点画素として選択する起点画素選択処理と、
    前記起点画素選択処理によって選択された前記複数の起点画素を起点とする複数の画素領域に前記複数の付加情報を重畳する付加情報表示処理と
    をコンピュータに実行させるための付加情報表示プログラム。
JP2014010060A 2014-01-23 2014-01-23 付加情報表示装置および付加情報表示プログラム Active JP6334927B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014010060A JP6334927B2 (ja) 2014-01-23 2014-01-23 付加情報表示装置および付加情報表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014010060A JP6334927B2 (ja) 2014-01-23 2014-01-23 付加情報表示装置および付加情報表示プログラム

Publications (2)

Publication Number Publication Date
JP2015138428A true JP2015138428A (ja) 2015-07-30
JP6334927B2 JP6334927B2 (ja) 2018-05-30

Family

ID=53769370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014010060A Active JP6334927B2 (ja) 2014-01-23 2014-01-23 付加情報表示装置および付加情報表示プログラム

Country Status (1)

Country Link
JP (1) JP6334927B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068601A (ja) * 2015-09-30 2017-04-06 Kddi株式会社 Ar情報表示装置
JP2017111670A (ja) * 2015-12-17 2017-06-22 富士通テン株式会社 情報表示装置、情報表示システム及び情報表示方法
JP2018092299A (ja) * 2016-12-01 2018-06-14 Kddi株式会社 操作支援装置
JP2018156239A (ja) * 2017-03-16 2018-10-04 Kddi株式会社 操作支援装置
US10573041B2 (en) 2016-09-16 2020-02-25 Fujifilm Corporation Rear image candidate determination device, rear image candidate determination method, and rear image candidate determination program
US10599322B2 (en) 2016-03-08 2020-03-24 Rakuten, Inc. Display control system, display control method, and display control program for displaying content to user in consideration of position relationship with user terminal

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010032925A (ja) * 2008-07-30 2010-02-12 Yahoo Japan Corp 地図の注記レイアウト装置、および地図の注記レイアウト装置の制御方法
JP2010244437A (ja) * 2009-04-08 2010-10-28 Sony Corp 画像処理装置、画像処理方法およびコンピュータプログラム
WO2013161086A1 (ja) * 2012-04-27 2013-10-31 楽天株式会社 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010032925A (ja) * 2008-07-30 2010-02-12 Yahoo Japan Corp 地図の注記レイアウト装置、および地図の注記レイアウト装置の制御方法
JP2010244437A (ja) * 2009-04-08 2010-10-28 Sony Corp 画像処理装置、画像処理方法およびコンピュータプログラム
WO2013161086A1 (ja) * 2012-04-27 2013-10-31 楽天株式会社 画像処理装置、画像処理装置の制御方法、プログラム、及び情報記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
牧田 孝嗣,外2名: "ネットワーク型ウェアラブルARのための動的環境における注釈のビューマネジメント", 日本バーチャルリアリティ学会論文誌 第15巻 第4号, vol. 第15巻,第4号, JPN6017043006, December 2010 (2010-12-01), JP, pages 第603-613頁 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017068601A (ja) * 2015-09-30 2017-04-06 Kddi株式会社 Ar情報表示装置
JP2017111670A (ja) * 2015-12-17 2017-06-22 富士通テン株式会社 情報表示装置、情報表示システム及び情報表示方法
US10599322B2 (en) 2016-03-08 2020-03-24 Rakuten, Inc. Display control system, display control method, and display control program for displaying content to user in consideration of position relationship with user terminal
US10573041B2 (en) 2016-09-16 2020-02-25 Fujifilm Corporation Rear image candidate determination device, rear image candidate determination method, and rear image candidate determination program
JP2018092299A (ja) * 2016-12-01 2018-06-14 Kddi株式会社 操作支援装置
JP2018156239A (ja) * 2017-03-16 2018-10-04 Kddi株式会社 操作支援装置

Also Published As

Publication number Publication date
JP6334927B2 (ja) 2018-05-30

Similar Documents

Publication Publication Date Title
US10134196B2 (en) Mobile augmented reality system
JP6334927B2 (ja) 付加情報表示装置および付加情報表示プログラム
JP5799521B2 (ja) 情報処理装置、オーサリング方法及びプログラム
CN104350524B (zh) 基于外围信息的姿势估计
JP5279875B2 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP5248806B2 (ja) 情報処理装置、情報処理方法
EP3095092B1 (en) Method and apparatus for visualization of geo-located media contents in 3d rendering applications
US20100171757A1 (en) Referencing a map to the coordinate space of a positioning system
US20120075342A1 (en) Augmenting image data based on related 3d point cloud data
JP2010510559A5 (ja)
US20170085656A1 (en) Automatic absolute orientation and position
JP2017011328A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2016192132A (ja) 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置
JP6017343B2 (ja) データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
US9811889B2 (en) Method, apparatus and computer program product for generating unobstructed object views
JP2010128608A (ja) ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム
JP2011112364A (ja) 地図情報処理装置、地図情報処理方法およびプログラム
Wang et al. Positionit: an image-based remote target localization system on smartphones
US9098746B2 (en) Building texture extracting apparatus and method thereof
JP2008203991A (ja) 画像処理装置
KR101463906B1 (ko) 영상 부가정보를 이용한 위치보정 방법
JP2006350553A (ja) 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
Ayadi et al. The skyline as a marker for augmented reality in urban context
JP2020122697A (ja) 三次元計測装置および三次元計測プログラム
JP2018097588A (ja) 3次元空間特定装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180427

R150 Certificate of patent or registration of utility model

Ref document number: 6334927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150