JP2008203538A - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- JP2008203538A JP2008203538A JP2007039610A JP2007039610A JP2008203538A JP 2008203538 A JP2008203538 A JP 2008203538A JP 2007039610 A JP2007039610 A JP 2007039610A JP 2007039610 A JP2007039610 A JP 2007039610A JP 2008203538 A JP2008203538 A JP 2008203538A
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement
- display
- display unit
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【課題】 携帯端末の表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な携帯端末を提供する。
【解決手段】 携帯端末10は、入力された表示画像を表示させる表示部11と、画像を撮像するカメラ12と、カメラ12により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動の向きを検出する移動検出部13と、移動検出部13により検出された移動の向きに応じて、表示部11に表示される表示画像を移動させる制御を行う制御部14と、を備える。
【選択図】 図1
【解決手段】 携帯端末10は、入力された表示画像を表示させる表示部11と、画像を撮像するカメラ12と、カメラ12により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動の向きを検出する移動検出部13と、移動検出部13により検出された移動の向きに応じて、表示部11に表示される表示画像を移動させる制御を行う制御部14と、を備える。
【選択図】 図1
Description
本発明は、画像を表示させる表示部を備える携帯端末等の画像表示システムに関する。
従来から携帯電話等の、画像を表示する表示部が設けられた携帯端末等の画像表示システムにおいて、当該表示部に地図や写真等の画像を表示させることが行われている。例えば、特許文献1には、地図の画像を表示する携帯端末が記載されている。
特開2003−42797号公報
通常、携帯端末に設けられる表示部における表示部分は小さいので、当該表示部に表示対象となる地図や写真の画像が全て収まりきらない場合がある。また、ユーザが、表示対象の画像の特定部分のみをより詳細に見たい場合がある。そのような場合、通常、表示部に収まりきらない表示対象を表示させるために画像を移動させたり、拡大縮小させたりする。画像の移動や拡大縮小の操作は、通常、ユーザが携帯端末に備えられる移動させたい方向や拡大縮小の機能に対応する入力キーを操作して行われる。しかしながら、このような入力キーによる操作は、煩雑であるという問題点がある。
本発明は、以上の問題点を解決するためになされたものであり、表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な画像表示システムを提供することを目的とする。
上記の目的を達成するために、本発明に係る画像表示システムは、入力された表示画像を表示させる表示部と、画像を撮像する撮像手段と、撮像手段により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動の向きを検出する移動検出手段と、移動検出手段により検出された移動の向きに応じて、表示部に表示される表示画像を移動させる制御を行う制御手段と、を備えることを特徴とする。
本発明に係る画像表示システムでは、連続的に撮像された撮像画像から、撮像画像間の移動の向きが検出されて、当該移動の向きに応じて、表示部に表示される表示画像を移動させる制御が行われる。従って、画像表示システムのユーザは、表示部の撮像画像が移動するように作用させるだけで、表示部に表示される画像を移動させることができる。また、本発明に係る画像表示システムでは、感圧センサ等の動きを物理的に検出するための機構を設けることなしに、表示部に表示される表示画像を移動させるための情報を取得できる。即ち、本発明に係る画像表示システムによれば、表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な画像表示システムを提供することができる。
移動検出手段は、複数の撮像画像から、当該複数の撮像画像間の移動の加速度を検出し、制御手段は移動検出手段により検出された移動の加速度にも応じて、表示部に表示される表示画像を移動させる制御を行う、ことが望ましい。この構成によれば、より操作性が高い表示画像の移動を実現することができる。
表示部の表示方向と、撮像手段による撮像方向とがほぼ一致していることが望ましい。この構成によれば、より確実に撮像画像からの動きの検出することができ、より確実に本発明の効果を奏することができる。
本発明によれば、画像表示システムのユーザは、表示部の撮像画像が移動するように作用させるだけで、表示部に表示される画像を移動させることができる。また、本発明では、感圧センサ等の動きを物理的に検出するための機構を設けることなしに、表示部に表示される表示画像を移動させるための情報を取得できる。即ち、本発明に係る画像表示システムによれば、表示部に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な画像表示システムを提供することができる。
以下、図面とともに本発明に係る画像表示システムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
図1に本発明に係る画像表示システムである携帯端末10の機能的な構成を示す。携帯端末10は、具体的には、携帯電話機やPDA(Personal Digital Assistants)、デジタルカメラ等の装置に相当する。図1に示すように、携帯端末10は、表示部11と、カメラ12と、移動検出部13と、制御部14とを備えて構成される。なお、上記の携帯端末10の構成要素は、本発明に係る機能に関係するものである。携帯端末10には、それ以外にも例えば、携帯端末10が携帯電話機であった場合には移動体通信を行う機能等に関する構成要素を備えているが、それらの図示及び説明は省略する。
表示部11は、携帯端末10が備えるCPU(Central Processing Unit)の制御によりメモリ等から入力された表示画像を表示させる手段である。具体的には表示部11としては、液晶を使用したディスプレイ等が用いられる。表示部11に表示される表示画像には、例えば、図2〜4に示すような、地図、ホームページ、及び写真等の画像やゲーム画面等が含まれる。表示部11により表示される表示画像は、後述するように、制御部14の制御を受けて、移動される。即ち、表示内容をずらして表示される。
カメラ12は、画像を撮像する撮像手段である。カメラ12は、いわゆるカメラ付き携帯電話機のように、携帯端末10を構成する何れかの面に設けられている。カメラ12は、表示部11が設けられている面と同じ面に設けられていることとするのが好ましい。即ち、表示部11の表示方向と、カメラ12による撮像方向とがほぼ一致していることが好ましい。カメラ12は、連続的に画像を撮像する。撮像する時間間隔は、予め定められており、例えば、数百ミリ秒程度の間隔とする。なお、カメラ12により撮像される画像は必ずしも静止画像でなくてもよく動画であってもよく、動画である場合は所定の時間間隔の、当該動画を構成する画像が用いられる。カメラ12は、連続的に撮像した複数の画像を移動検出部13に出力する。カメラ12は、携帯端末10が備える撮像素子やレンズ等の構成要素により構成されている。
移動検出部13は、カメラ12により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動に関する情報を検出する移動検出手段である。撮像画像間の移動に関する情報は、移動の向きの情報を含む。また、移動に関する情報は、移動の向きだけでなく、撮像画像間の移動量(移動距離)及び加速度の情報をも含むことが望ましい。ここでいう、撮像画像間の移動には、撮像画像に沿った方向(上下左右方向)の移動、及び撮像画像に対して前後(垂直)方向(奥行き及び手前方向)の少なくとも何れか一方を含む。撮像画像間の移動の向き及び量の検出は、より詳細に後述するように、例えば、2つの撮像画像に対して、オプティカルフロー法を用いた演算を行うことにより行われる。また、加速度は、求められた撮像画像間の移動の向き及び量の変化率として計算される。なお、移動量及び加速度の情報は、撮像画像の撮像間隔にも基づいて算出されてもよい。移動検出部13は、検出した移動に関する情報を制御部14に出力する。
なお、撮像画像の移動は、ユーザが携帯端末10に対して、撮像画像が移動するように作用させることによって起こる。例えば、携帯端末10がユーザによって動かされることにより起こる。また、それ以外にも、動いているものを撮像することによっても起こる。
制御部14は、移動検出部13により検出された移動に関する情報に応じて、表示部11に表示される表示画像を移動させる制御を行う制御手段である。具体的には、例えば、表示部11に図2(a)に示す地図の一部の範囲20aの画像が表示されている状態から、図2(b)に示す範囲20bの画像が表示されるように左上に移動させる。なお、範囲20a及び範囲20bを含む地図画像20を図2(c)に示す。
また、表示部11に図3(a)に示すホームページの一部の範囲30aの画像が表示されている状態から、図3(b)に示す範囲30bの画像が表示されるように右下に移動させる。なお、範囲30a及び範囲30bを含むホームページ画像30を図3(c)に示す。図2及び3に示す例は、表示部11の表示画像に沿った方向(上下左右方向)の移動であったが、表示画像に対して前後方向(奥行き及び手前方向)に移動させるものであってもよい。例えば、表示部11に図4(a)に示す写真の一部の範囲40aの画像が表示されている状態から、図4(b)に示す全体の範囲40bの画像が表示されるように奥行き方向に移動させる(全体を縮小して表示する)。図4(c)に、写真の一部の範囲40aと、写真の全体の範囲40bとの関係を示す。
移動検出部13により検出した撮像画像間の移動に関する情報に応じて、どのように表示画像を移動させるかについてのルールは、予め制御部14に記憶させておく。表示画像の移動の方向及び量は、携帯端末10が表示部11に対して動かされた方向及び量に応じたものとするのが望ましい。即ち、携帯端末10が左上あるいは右下に動かされた場合、図2及び3に示すように表示画像が左上又は右下に動くようにするのがよい。また、携帯端末10が奥行きに動かされた場合、図4に示すように画像を奥行き方向に移動させる(全体を縮小して表示する)のがよい。
そのために、撮像画像の移動方向と表示画像の移動方向(制御方向)との関係は、カメラ12の撮像方向に応じたものとするのが望ましい。例えば、カメラ12の撮像方向が、表示部11の表示方向と逆になっていた場合(携帯端末10において表示部11が設けられる面と逆の面にカメラ12が設けられていた場合)、画像に沿った方向に関しては、(表示部11に対する)携帯端末10の移動方向と撮像画像の移動方向とは逆になるので、表示画像の移動方向は、撮像画像の移動方向と同じ方向(携帯端末10の移動方向とは逆の方向)にするのがよい。画像に対する前後方向に関しては、表示画像に対する前後方向と撮像画像に対する前後方向とは逆になるので、撮像画像が拡大される場合は表示画像の奥行き方向の移動に対応するルールを適用し、撮像画像が縮小される場合は表示画像の手前方向の移動に対応するルールを適用するのがよい。その一方、カメラ12の撮像方向が、表示部11の表示方向と一致していた場合(携帯端末10において表示部11が設けられる面と同じ面にカメラ12が設けられていた場合)、画像に沿った方向に関しては、(表示部11に対する)携帯端末10の移動方向と撮像画像の移動方向とは水平軸に関して対称になるので、撮像画像の移動方向と、表示画像の移動方向とは垂直軸に関して対称になるようにするのがよい。表示画像に対する前後方向と、撮像画像に対する前後方向とは一致するので、撮像画像が縮小される場合は奥行き方向の移動に対応するルールを適用するのがよい。
また、制御部14は、移動検出部13から入力された移動の加速度に応じても、表示画像の移動の制御を行うことが望ましい。例えば、加速度が大きいほど、表示画面の移動を速く行ったり、移動量を大きくしたりすることが望ましい。
移動検出部13及び制御部14は、携帯端末10が備えるCPUやメモリ等のハードウェアにより実現される。
引き続いて、図5のフローチャートを用いて、本実施形態に係る携帯端末10において実行される処理について説明する。この処理は、表示部11に表示画像が表示されているときに行われる。
まず、携帯端末10では、カメラ12によって連続的な撮像が行われて複数の撮像画像が取得される(S01)。取得された複数の撮像画像は、カメラ12から移動検出部13に入力される。
続いて、移動検出部13によって、カメラ12によって撮像された2枚の撮像画像間における各画素の移動量が算出される(S02)。図6にカメラ12によって撮像された2枚の撮像画像を示す。図6(a)に示すのが、移動前(時間的に前)の撮像画像51であり、図6(b)に示すのが、移動後(時間的に後)の撮像画像52である。
ここでいう画素の移動量は、移動前の撮像画像の画素が、移動後の撮像画像のどの位置に移動したかを表す情報である。画素の移動量には、移動した方向と移動した量とが含まれ、画素毎のベクトルとして算出される。ここで、移動量が算出される対象となる画素は、予め設定され移動検出部13に記憶されている。全ての画素について移動量を検出してもよいし、一定間隔の格子点の座標に位置する画素等一部の画素についてのみ移動量を検出してもよい。また、物体のコーナー等の特徴点となる画素の部分集合について、移動量を検出することとしてもよい。コーナーなどの特徴点検出の手法にとしては、例えば、”特徴点検出,” ディジタル画像処理,ディジタル画像処理編集委員会,画像情報教育振興協会,pp.208-210, 2004.に記載されているハリスのコーナー検出、SUSANコーナー検出やケニーのエッジ検出を用いればよい。
各画素の移動量の検出には、例えば、オプティカルフローが用いられる。オプティカルフローとは、異なる時間に撮像された2枚の画像間で対応付けを行い、その移動量をベクトルデータとして表現したものである。オプティカルフローを求める代表的な方法にはブロックマッチング法と勾配法とがある。ブロックマッチング法は、テンプレートマッチングを用いてオプティカルフローを求める方法である。大きな動きも検出でき、精度も高いが、計算時間がかかり複雑な動きに弱い。勾配法は計算時間が短くて済み、複雑な動きにも対処できるが、局所的な動きにしか検出できない。携帯端末10の用途に応じて、上記の方法を使い分けるのがよい。
以下では、勾配法を用いてオプティカルフローを検出する例について説明する。なお、オプティカルフローの検出については、例えば、“オプティカルフローを用いた移動物体検出,” ディジタル画像処理,ディジタル画像処理編集委員会,画像情報教育振興協会,pp.243-245, 2004.に記載されている。勾配法では、連続する2枚の画像の局所領域で画素が移動しても明るさが変化しないという条件を仮定して動きを推定する。ある時刻tにおける画像の画素値I(x,y,t)が、時刻Δt(2つの撮像画像の時間間隔)の間にΔx、Δyだけ移動したとする。画素値は変わらないので式(1)が成り立つ。なお、ここでいう画素値とは、画素の輝度値、濃度値及び色成分等の少なくとも何れかを含む画素のパラメータである。
I(x,y,t)=I(x+Δx,y+Δy,t+Δt) (1)
式(1)をテイラー展開し2次以降の項を小さいものとして無視すると拘束条件式(2)が導かれる。
Ixq+Iyr+It=0 (2)
ここで、(q,r)がオプティカルフローであり、Ix、IyがX、Y方向の画素値の勾配(空間的変化率)、Itが画素値の時間微分(時間的変化率)となる。Ix、Iy、Itは、画素値から例えば式(3)を使って求めることができる。
Ix=I1(x+1,y−1)+2I1(x+1,y)+I1(x+1,y−1)
−I1(x−1,y−1)−2I1(x−1,y)−I1(x−1,y−1)
Iy=I1(x−1,y+1)+2I1(x,y+1)+I1(x+1,y+1)
−I1(x−1,y−1)−2I1(x,y−1)−I1(x+1,y−1)
It=I2(x,y)−I1(x,y)
(3)
ここで、I1(x,y)は時間的に前の撮像画像の座標(x,y)における画素値、I2(x,y)は時間的に後の撮像画像の座標(x,y)における画素値である。
I(x,y,t)=I(x+Δx,y+Δy,t+Δt) (1)
式(1)をテイラー展開し2次以降の項を小さいものとして無視すると拘束条件式(2)が導かれる。
Ixq+Iyr+It=0 (2)
ここで、(q,r)がオプティカルフローであり、Ix、IyがX、Y方向の画素値の勾配(空間的変化率)、Itが画素値の時間微分(時間的変化率)となる。Ix、Iy、Itは、画素値から例えば式(3)を使って求めることができる。
Ix=I1(x+1,y−1)+2I1(x+1,y)+I1(x+1,y−1)
−I1(x−1,y−1)−2I1(x−1,y)−I1(x−1,y−1)
Iy=I1(x−1,y+1)+2I1(x,y+1)+I1(x+1,y+1)
−I1(x−1,y−1)−2I1(x,y−1)−I1(x+1,y−1)
It=I2(x,y)−I1(x,y)
(3)
ここで、I1(x,y)は時間的に前の撮像画像の座標(x,y)における画素値、I2(x,y)は時間的に後の撮像画像の座標(x,y)における画素値である。
これらの式だけではオプティカルフローを一意に決定することはできない。何らかの拘束が必要であり、その解法が各種提案されている。例えば、布施孝志, 清水英範, 堤盛人, “オプティカルフロー推定における光学勾配法の比較分析,” 応用測量論文集, Vol.11, pp.45-52, 2000.に提案されている。本実施形態では、よく用いられている注目画素の近傍n×n(なお、nは移動検出部13により予め記憶されている)の範囲でオプティカルフローfが一意であるとする。これにより拘束条件式がn2個得られる。即ち、
Gf=−b (4)
が成立する。ここで、
である。ここでIix(i=1〜n2)は、撮像画像におけるn×nの範囲の各画素のX方向の勾配であり(iは各画素のインデックスを示す。以下同様)、Iiy(i=1〜n2)は、撮像画像におけるn×nの範囲の各画素のY方向の勾配であり、Iit(i=1〜n2)は、撮像画像におけるn×nの範囲の各画素の画素値の時間微分である。
Gf=−b (4)
が成立する。ここで、
である。ここでIix(i=1〜n2)は、撮像画像におけるn×nの範囲の各画素のX方向の勾配であり(iは各画素のインデックスを示す。以下同様)、Iiy(i=1〜n2)は、撮像画像におけるn×nの範囲の各画素のY方向の勾配であり、Iit(i=1〜n2)は、撮像画像におけるn×nの範囲の各画素の画素値の時間微分である。
上記の式を用いて、最小二乗法により式(6)を解くことで、(撮像画像におけるn×nの範囲の)各画素のオプティカルフローfを求めることができる。
f=−(GTG)−1GTb (6)
f=−(GTG)−1GTb (6)
上記の勾配法では、微小な動きの検出しかできないため、例えば、佐藤誠, 佐々木宏, “動画像における動きベクトルの階層的推定法,” 電子通信学会論文誌D, Vol.J69-D, No5, pp.771-776, 1986.で提案された階層的推定を用いて、より大きな動きの検出をすることができる。階層的推定では、まず、撮像画像それぞれの幅と高さを1/2ずつ縮小することを繰り返し、階層化されたk枚の画像を作成する。画像を縮小する際には、下の階層の画像の2×2画素の単純平均をとり、その階層の画素とする。
解像度の低い画像から高い画像へと順にオプティカルフローを推定する。今、オプティカルフローを求める2枚の画像を、移動前(時間的に前)をIi 1、移動後(時間的に後)をIi 2とする。ここで、iは階層を表す。次に、Ii 2をその上の階層i−1でのオプティカルフロー分fi−1だけ移動させた画像をIi 2´とする。Ii 1とIi 2´との間でオプティカルフローを、例えば、上述した勾配法等により求める。その値をfi´とする。階層i−1でのオプティカルフローは、fi´と、階層i−1でのオプティカルフローとの和である。ただし、階層(i−1)でのオプティカルフローfi−1´の大きさは階層iでは2倍の長さに対応する。したがって、階層iでのオプティカルフローは
f=fi´+2fi−1´ (7)
である。これにより、最終的なオプティカルフローfは、式(8)により算出される。
f=fk´+2fk−1´+22fk−2´+…+2kf0´ (8)
である。これにより、最終的なオプティカルフローfは、式(8)により算出される。
f=fk´+2fk−1´+22fk−2´+…+2kf0´ (8)
上記のように移動検出部13によって算出された各画素のオプティカルフローを図6(c)に示す。移動前の撮像画像51にオプティカルフロー53を示す線分を重ねて示したものである。図6に示す撮像画像の例では、図6(c)に示すように、ほぼ一様にオプティカルフロー53は、左上方向に向かっている。
続いて、移動検出部13によって、算出された各画素の移動量から撮像画像全体についての移動量のベクトルが算出される(S03)。撮像画像に沿った方向(上下左右方向)については、各画素の移動量を示すベクトルの平均をとることによって算出される。
また、撮像画像に対して前後方向(奥行き及び手前方向)の移動量のベクトルについては、例えば、”カメラモーション推定,” ディジタル画像処理,ディジタル画像処理編集委員会,画像情報教育振興協会,pp.248, 2004.に記載されているように、オプティカルフローのベクトルが一点にあつまるので、ベクトルの向き(内か外)と大きさを計算し求めることができる。具体的には、以下のようにして算出できる。各画素の移動量を示すベクトルに対して、例えば、”図形要素検出,” ディジタル画像処理,ディジタル画像処理編集委員会,画像情報教育振興協会,pp.211-214, 2004.に記載されているHough変換を施し、各ベクトルが集中する(各ベクトルが向かう、あるいは出射する)点を求める。
なお、画素の移動方向と、画素の座標とを用いて、Hough変換を施し、各移動方向が集中する点(無限遠点)を求める方法は、例えば、中谷広正,北橋忠宏, "Determination of vanishing point in outdoor scene,"Transactions of IEICE Japan, vol.E64, no.5, pp.357-358, 1981.に記載されている方法を用いて、次のようにして求められる。
(1)まず、2次元配列H(θ,ρ),0°≦θ<180°,|ρ|≦(画像の対角線の長さ)の各要素を初期化する。すなわち、H(θ,ρ)=0とする。
(2)つぎに、オプティカルフローが算出されたすべての画素をHough平面、すなわち2次元配列H(θ,ρ)へ次のようにして写像する。オプティカルフローが算出された画素の座標を(x,y)として、(オプティカルフローの方向+90°)をθとする。但し、180°≦θとなるときはθ−180°を改めてθとする。このx,y,θに対して
ρ=x cos θ+y sin θ (9)
を満たすρを求める。そして、式(9)を満たすρ,θに対応する配列要素H(θ,ρ)の値を1だけ増やす。オプティカルフローが算出されたすべての画素に対して、この処理を行う。
(1)まず、2次元配列H(θ,ρ),0°≦θ<180°,|ρ|≦(画像の対角線の長さ)の各要素を初期化する。すなわち、H(θ,ρ)=0とする。
(2)つぎに、オプティカルフローが算出されたすべての画素をHough平面、すなわち2次元配列H(θ,ρ)へ次のようにして写像する。オプティカルフローが算出された画素の座標を(x,y)として、(オプティカルフローの方向+90°)をθとする。但し、180°≦θとなるときはθ−180°を改めてθとする。このx,y,θに対して
ρ=x cos θ+y sin θ (9)
を満たすρを求める。そして、式(9)を満たすρ,θに対応する配列要素H(θ,ρ)の値を1だけ増やす。オプティカルフローが算出されたすべての画素に対して、この処理を行う。
(3)一つの共通点で交わるオプティカルフロー群はHough平面では一つの正弦波に対応するので、そのような正弦波を探す。すなわち、ある(x,y)について式(9)を満たすすべての(θ,ρ)に対応するH(θ,ρ)の値の合計を求めV(x,y)とする。すべての(x,y)について、V(x,y)を求め、V(x,y)の最大値を与える(x,y)を無限遠点とする。
カメラ12の撮像方向が表示部11の表示方向と逆になっていた場合、求めた無限遠点がオプティカルフローのベクトルの向きにあれば携帯端末10は手前方向に移動していると判定できる。その一方、カメラ12の撮像方向が表示部11の表示方向と一致していた場合、求めた無限遠点がオプティカルフローのベクトルの向きにあれば携帯端末10は奥行き方向に移動していると判定できる。
つぎに、例えば、中谷広正,北橋忠宏, "無限遠点を用いた情景中の対象物の3次元構造の復元," 電子通信学会論文誌D, Vol.J68-D, no.8, pp.1481-1488, 1985.の第2章に記載されている方法を用いれば、無限遠点の画像上での座標と撮像された点の画像上の座標とから、撮像された点の3次元空間での座標が算出できる。例えばこの方法を用いて、各移動方向が集中する点(無限遠点)の画像上の座標から、携帯端末10の移動量が次のようにして求められる。
まず、sをスカラー、uを単位ベクトル(‖u‖=1)として、携帯端末を−suだけ移動させたとき、すなわちsの大きさだけ−uの方向に移動させたとき、撮像画像面上で各移動方向が集中する点(無限遠点)の画像上の座標は例えばつぎのようにして求められる。図7では、3次元空間上の各点Pおよび撮像画像面上の各点pはカメラ12の焦点であるレンズ中心Oからのベクトルで表すことにする。なお、被写体と撮像画像面とは互いにカメラ12のレンズを挟んで反対側に存在するが、説明の簡単のために図7では、レンズと被写体の間に撮像画像面を書いた。また、携帯端末が−suだけ移動する場合と被写体がsuだけ移動する場合とは、撮像画像面上では被写体の動きは同じであるので、簡単のために図7では被写体が移動したとして説明する。
撮像画像面と光軸との交点をpfとすると撮像画像面上の任意の点pについて
p・pf=‖pf‖2 (10)
が成立する。ここで・は内積、‖ ‖はノルムを表す。
まず、図7に示すように3次元空間上の点P0が撮像画像面上で点p0に撮像されたとする。このとき、P0とp0との間には、
P0=a0p0 (11)
が成立する。ここでa0はP0の距離によって定まる定数である。すなわち、点P0の3次元空間でのレンズ中心Oからの距離と、点P0が撮像画像面に撮像された点p0のレンズ中心Oからの距離との比である。
p・pf=‖pf‖2 (10)
が成立する。ここで・は内積、‖ ‖はノルムを表す。
まず、図7に示すように3次元空間上の点P0が撮像画像面上で点p0に撮像されたとする。このとき、P0とp0との間には、
P0=a0p0 (11)
が成立する。ここでa0はP0の距離によって定まる定数である。すなわち、点P0の3次元空間でのレンズ中心Oからの距離と、点P0が撮像画像面に撮像された点p0のレンズ中心Oからの距離との比である。
次に、携帯端末が−uの方向にsだけ移動したとする。これは、携帯端末は静止していて、P0がuの方向にsだけ移動したと考えてよい。したがって、P0を通り方向がuとなる直線を考えると、その直線上にあり点P0からの距離がsの点Psは
Ps=a0p0+su (12)
で表される。これに対応する撮像画像面上の点をpsとすると、
Ps=asps+su (asは定数) (13)
と表すことができる。式(12)に式(13)を代入した式の両辺とpfとの内積をとり、式(10)を代入することによって
as=(a0‖pf‖2+su・pf)/‖pf‖2 (14)
ps=(‖pf‖2(a0p0+su))/(a0‖pf‖2+su・pf) (15)
のように撮像画像面上の座標psが求まる。したがって、点P0がPsまで移動したとき、即ち、携帯端末がベクトル(P0−Ps)だけ移動したときに、撮像画像面上で表れるオプティカルフローはベクトル(ps−p0)である。
Ps=a0p0+su (12)
で表される。これに対応する撮像画像面上の点をpsとすると、
Ps=asps+su (asは定数) (13)
と表すことができる。式(12)に式(13)を代入した式の両辺とpfとの内積をとり、式(10)を代入することによって
as=(a0‖pf‖2+su・pf)/‖pf‖2 (14)
ps=(‖pf‖2(a0p0+su))/(a0‖pf‖2+su・pf) (15)
のように撮像画像面上の座標psが求まる。したがって、点P0がPsまで移動したとき、即ち、携帯端末がベクトル(P0−Ps)だけ移動したときに、撮像画像面上で表れるオプティカルフローはベクトル(ps−p0)である。
次に、各オプティカルフローが撮像画像面のどの一点で交わるかは例えばつぎのようにして求められる。今、u・pf≠0、即ち、撮像画像面と平行でない方向uについてP0からの距離sが無限大になったときの撮像画像面上での位置(p∞と書くことにする)は、式(15)のsを無限大にすることによって次の式で求まる。
p∞はuとpfとの関係のみによって算出できa0及びp0に依存しないことが式(16)から分かる。即ち、3次元空間で同じ方向に移動する点は3次元座標に依存せず、撮像画像面上では1つの点p∞で消失することが分かる。つまり、携帯端末を−su移動したときに求められるオプティカルフローは式(16)で定まる座標で交わることが分かる。
p∞はuとpfとの関係のみによって算出できa0及びp0に依存しないことが式(16)から分かる。即ち、3次元空間で同じ方向に移動する点は3次元座標に依存せず、撮像画像面上では1つの点p∞で消失することが分かる。つまり、携帯端末を−su移動したときに求められるオプティカルフローは式(16)で定まる座標で交わることが分かる。
式(16)から、携帯端末の移動方向(−u)はつぎの式で求まる。
−u=−p∞/‖p∞‖ (17)
また、携帯端末10の移動量sは式(15)(16)を用いて、次のようして求められる。
s=a0‖pf‖2‖ps−p0‖/‖‖pf‖2u−(u・pf)ps‖
=a0‖ps−p0‖‖p∞‖/‖p∞−ps‖ (18)
即ち、ある一点の3次元空間でのレンズ中心からの距離と、その点が撮像画像面に撮像された点のレンズ中心からの距離との比(a0)と、オプティカルフローの大きさ(‖ps−p0‖)と、レンズ中心から無限遠点までの距離(‖p∞‖)と、撮像画像面においてある点の移動後の位置の無限遠点からの距離(‖p∞−ps‖)と、によって携帯端末10の移動量(s)は求められる。
−u=−p∞/‖p∞‖ (17)
また、携帯端末10の移動量sは式(15)(16)を用いて、次のようして求められる。
s=a0‖pf‖2‖ps−p0‖/‖‖pf‖2u−(u・pf)ps‖
=a0‖ps−p0‖‖p∞‖/‖p∞−ps‖ (18)
即ち、ある一点の3次元空間でのレンズ中心からの距離と、その点が撮像画像面に撮像された点のレンズ中心からの距離との比(a0)と、オプティカルフローの大きさ(‖ps−p0‖)と、レンズ中心から無限遠点までの距離(‖p∞‖)と、撮像画像面においてある点の移動後の位置の無限遠点からの距離(‖p∞−ps‖)と、によって携帯端末10の移動量(s)は求められる。
式(16)では、u・pf≠0を仮定したが、u・pf=0、即ち、携帯端末10の移動方向が撮像画像面と平行(上下左右方向)である場合には、携帯端末の移動方向を求める式(17)は、
−u=−(ps−p0)‖ps−p0‖ (19)
となり、携帯端末10の移動量を求める式(18)は
s=a0‖ps−p0‖ (20)
となる。
−u=−(ps−p0)‖ps−p0‖ (19)
となり、携帯端末10の移動量を求める式(18)は
s=a0‖ps−p0‖ (20)
となる。
なお、多くの場合、ある対象を撮影した画像のみから、対象までの距離を自動的に求めることは困難である。従って、ある一点の3次元空間でのレンズ中心からの距離と、その点が撮像画像面に撮像された点のレンズ中心からの距離との比(a0)を自動的に求めることは困難である。しかし、このことは問題とはならない。なぜなら、sは求まらなくとも、式(18)及び(20)においてs/a0は算出可能だからである。すなわち、スケールファクター(倍率)が異なるだけであり、移動量に基づいて各種の制御をおこなうことができる。
ここで、移動検出部13によって算出された撮像画像全体についての複数の移動量のベクトルから、移動の加速度を求めてもよい。加速度は、それら複数の移動量のベクトルの変化率として算出される。上記のように算出された複数の撮像画像間の移動に関する情報が、移動検出部13から制御部14に出力される。
続いて、制御部14によって、複数の撮像画像間の移動に関する情報に応じて、表示部11に表示される表示画像を移動させる制御が行われる(S04)。この制御は、上述したように、制御部14に予め記憶された撮像画像間の移動に関する情報と、表示画像の移動との対応関係の情報に基づいて行われる。例えば、移動検出部13から入力された情報が、図6(c)に示すように、撮像画像が左上に移動していることを示す情報であった場合は、制御部14によって表示部11に表示される画像は左上に移動させるように制御される。また、移動検出部13から入力された情報に加速度の情報が含まれていれば、加速度に応じた制御が行われる。
上述したように、本実施形態に係る携帯端末10によれば、カメラ12によって撮像される撮像画像が移動することによって、表示部11に表示される表示画像が当該撮像画像の移動に応じて移動する。従って、携帯端末10のユーザが携帯端末10を移動させて撮像画像が移動するようにすれば、表示部11に表示される画像を移動させることができる。例えば、図2〜4に示す画像の例のように、ユーザに、携帯端末10の表示部11の先にあたかも存在するような表示部11の表示部分よりも大きい仮想的な画像を、携帯端末10を、当該画像上をなぞるように動かすことによって画像全体を見るようにさせることができる。
また、撮像画像が移動するためには、必ずしもユーザによって携帯端末10が必ずしも移動させる必要はなく、移動しているものをカメラ12で撮像することとしてもよい。
本実施形態のような携帯端末10では、カメラが必要となるがカメラ付きの携帯電話機等が広く用いられているので、汎用性がある。また、移動量を算出するためのオプティカルフロー法自体は、広く用いられておりその完成度が高いので、本発明の要素技術として用いることができ、確実かつ安価に本発明を実施することができる。
また、感圧センサ等の撮像装置の動きを物理的に検出するための機構を設けることなしに、表示部11に表示される表示画像を移動させるための情報を取得できる。即ち、本実施形態に係る携帯端末10によれば、携帯端末10の表示部11に表示させる画像をより簡易に移動させることができ、かつ容易に実現可能な携帯端末を提供することができる。
また、撮像画像の移動の加速度を検出して、表示画像の移動の制御に当該加速度の情報に応じて行うこととすれば、より操作性が高い表示画像の移動を実現することができる。例えば、加速度が大きい場合、表示画像が大きく移動することとすれば、仮に撮像画像の移動量自体が小さくても、加速度を大きくすれば表示画像を大きく移動させることができる。即ち、携帯端末10を勢いよく移動させれば、移動量が小さくても大きく表示画像を移動させることができる。
また、表示部11の表示方向とカメラ12による撮像方向とがほぼ一致していれば、通常、表示部11の表示画像を見るユーザの顔が近い距離で撮像されるため、より確実に撮像画像からの動きの検出することができ、より確実に本発明の効果を奏することができる。
なお、本実施形態では、表示部11によって表示されて制御部14によって制御される表示画像は、図2〜4に示すように、表示部11全体あるいはほぼ全体を占める画像であったが、表示画像において制御部14により移動される部分は、表示画像の一部であってもよい。例えば、図8に示すようなゲーム画面60において、ゲーム画面60の一部のボール画像61が移動するようなものであってもよい。図8に示すゲーム画面60は、手62からボール61を放って、的63に命中させて破壊するというものである。図8(a)に示すようにボール61が手に持たれた61から、上述したように制御部14の制御を受けて図8(b)に示すようにボール61が的63に向かう。ボール61が放たれる方向は、上述したようにカメラ12によって撮像された撮像画像の移動方向から計算され、ボール61の破壊力は撮像画像の移動の加速度によって計算される。
また、本実施形態における画面表示システムは、全ての構成要素が1つの装置に備えられる携帯端末10としたが、必ずしも全ての構成要素が1つの装置に備えられている必要はない。即ち、表示部11、移動検出部13及び制御部14の1つ以上が、携帯端末10以外の装置(例えば、ゲーム機)に備えられていてもよい。
10…携帯端末、11…表示部、12…カメラ、13…移動検出部、14…制御部。
Claims (3)
- 入力された表示画像を表示させる表示部と、
画像を撮像する撮像手段と、
前記撮像手段により連続的に撮像された複数の撮像画像から、当該複数の撮像画像間の移動の向きを検出する移動検出手段と、
前記移動検出手段により検出された移動の向きに応じて、前記表示部に表示される表示画像を移動させる制御を行う制御手段と、
を備える画像表示システム。 - 前記移動検出手段は、前記複数の撮像画像から、当該複数の撮像画像間の移動の加速度を検出し、
前記制御手段は、前記移動検出手段により検出された移動の加速度にも応じて、前記表示部に表示される表示画像を移動させる制御を行う、
ことを特徴とする請求項1に記載の画像表示システム。 - 前記表示部の表示方向と、前記撮像手段による撮像方向とがほぼ一致していることを特徴とする請求項1に記載の画像表示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007039610A JP2008203538A (ja) | 2007-02-20 | 2007-02-20 | 画像表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007039610A JP2008203538A (ja) | 2007-02-20 | 2007-02-20 | 画像表示システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008203538A true JP2008203538A (ja) | 2008-09-04 |
Family
ID=39781112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007039610A Pending JP2008203538A (ja) | 2007-02-20 | 2007-02-20 | 画像表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008203538A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008298946A (ja) * | 2007-05-30 | 2008-12-11 | Kyocera Corp | 携帯端末、及び表示方法 |
WO2010098160A1 (ja) * | 2009-02-24 | 2010-09-02 | 国立大学法人 九州工業大学 | 物体運動推定装置、物体運動推定方法、プログラム及び記録媒体 |
JP2015158648A (ja) * | 2014-02-25 | 2015-09-03 | 株式会社ソニー・コンピュータエンタテインメント | 容器、画像表示システム、画像表示方法、画像表示プログラム及び記録媒体 |
JPWO2014073403A1 (ja) * | 2012-11-08 | 2016-09-08 | アルプス電気株式会社 | 入力装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10240436A (ja) * | 1996-12-26 | 1998-09-11 | Nikon Corp | 情報処理装置および記録媒体 |
JP2004317813A (ja) * | 2003-04-16 | 2004-11-11 | Sony Corp | 画像表示装置及び画像ぶれ防止方法 |
JP2005122100A (ja) * | 2003-06-02 | 2005-05-12 | Fuji Photo Film Co Ltd | 画像表示システム、画像表示装置およびプログラム |
JP2006323255A (ja) * | 2005-05-20 | 2006-11-30 | Nippon Telegr & Teleph Corp <Ntt> | 表示装置 |
-
2007
- 2007-02-20 JP JP2007039610A patent/JP2008203538A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10240436A (ja) * | 1996-12-26 | 1998-09-11 | Nikon Corp | 情報処理装置および記録媒体 |
JP2004317813A (ja) * | 2003-04-16 | 2004-11-11 | Sony Corp | 画像表示装置及び画像ぶれ防止方法 |
JP2005122100A (ja) * | 2003-06-02 | 2005-05-12 | Fuji Photo Film Co Ltd | 画像表示システム、画像表示装置およびプログラム |
JP2006323255A (ja) * | 2005-05-20 | 2006-11-30 | Nippon Telegr & Teleph Corp <Ntt> | 表示装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008298946A (ja) * | 2007-05-30 | 2008-12-11 | Kyocera Corp | 携帯端末、及び表示方法 |
WO2010098160A1 (ja) * | 2009-02-24 | 2010-09-02 | 国立大学法人 九州工業大学 | 物体運動推定装置、物体運動推定方法、プログラム及び記録媒体 |
JP5504426B2 (ja) * | 2009-02-24 | 2014-05-28 | 国立大学法人九州工業大学 | 物体運動推定装置、物体運動推定方法、プログラム及び記録媒体 |
US8805023B2 (en) | 2009-02-24 | 2014-08-12 | Kyushu Institute Of Technology | Object motion estimating device, object motion estimating method, program, and recording medium |
JPWO2014073403A1 (ja) * | 2012-11-08 | 2016-09-08 | アルプス電気株式会社 | 入力装置 |
JP2015158648A (ja) * | 2014-02-25 | 2015-09-03 | 株式会社ソニー・コンピュータエンタテインメント | 容器、画像表示システム、画像表示方法、画像表示プログラム及び記録媒体 |
WO2015129522A1 (ja) * | 2014-02-25 | 2015-09-03 | 株式会社ソニー・コンピュータエンタテインメント | 容器、画像表示システム、画像表示方法、画像表示プログラム及び記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6153564B2 (ja) | カメラとマーク出力とによるポインティング装置 | |
US10970915B2 (en) | Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium | |
JP6223169B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP6491517B2 (ja) | 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置 | |
CN111833403B (zh) | 用于空间定位的方法和装置 | |
JP5378135B2 (ja) | 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置 | |
KR101642402B1 (ko) | 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법 | |
CN105516579A (zh) | 一种图像处理方法、装置和电子设备 | |
JP2012238293A (ja) | 入力装置 | |
JP5847610B2 (ja) | Ar技術を用いたコンピュータ・グラフィックス画像処理システム及び方法 | |
WO2017041740A1 (en) | Methods and systems for light field augmented reality/virtual reality on mobile devices | |
JP6486603B2 (ja) | 画像処理装置 | |
KR20160125715A (ko) | 3차원 스캐너 및 스캐닝 방법 | |
Wang et al. | Panoramic image mosaic based on SURF algorithm using OpenCV | |
JP2008203538A (ja) | 画像表示システム | |
WO2011096571A1 (ja) | 入力装置 | |
Ha et al. | Embedded panoramic mosaic system using auto-shot interface | |
Chew et al. | Panorama stitching using overlap area weighted image plane projection and dynamic programming for visual localization | |
JP2018032991A (ja) | 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム | |
JPWO2019053790A1 (ja) | 位置座標算出方法及び位置座標算出装置 | |
KR102028726B1 (ko) | 공간 내의 물체 운동 분석 장치 및 그 제어 방법 | |
JP6995529B2 (ja) | 撮像装置およびその制御方法 | |
JP6242009B2 (ja) | 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法 | |
JP2015184838A (ja) | 画像処理装置、方法、および、プログラム | |
TWI779332B (zh) | 擴增實境系統與其錨定顯示虛擬物件的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120911 |