JP2014056434A - Projection device, projection system, and program - Google Patents
Projection device, projection system, and program Download PDFInfo
- Publication number
- JP2014056434A JP2014056434A JP2012200896A JP2012200896A JP2014056434A JP 2014056434 A JP2014056434 A JP 2014056434A JP 2012200896 A JP2012200896 A JP 2012200896A JP 2012200896 A JP2012200896 A JP 2012200896A JP 2014056434 A JP2014056434 A JP 2014056434A
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- projection
- unit
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、投影装置、投影システム及びプログラムに関する。 The present invention relates to a projection apparatus, a projection system, and a program.
投影装置を電柱等に設置し、道路標識等のコンテンツを路面に投影する技術（以下「街灯プロジェクタ」という。）が知られている。例えば、特許文献１には、矢印や数字等を路面に投影する交通情報システムが開示されている。特許文献１の交通情報システムは、投影画像により、道路を走行する自動車等の運転者に、交通情報を提供している。
A technique (hereinafter referred to as “streetlight projector”) that projects a content such as a road sign on a road surface by installing a projection device on a utility pole or the like is known. For example,
しかしながら、従来の街灯プロジェクタは、路面環境の変化や、周囲の明るさの変化に応じて、投影画像を変化させることができなかった。 However, the conventional street lamp projector cannot change the projected image in accordance with the change in the road surface environment or the change in the surrounding brightness.
本発明は、上記に鑑みてなされたものであって、撮影環境の変化に応じて、投影されるコンテンツを変更することができる投影装置、投影システム及びプログラムを提供することを目的にする。 The present invention has been made in view of the above, and an object of the present invention is to provide a projection device, a projection system, and a program that can change the content to be projected in accordance with a change in the shooting environment.
上述した課題を解決し、目的を達成するために、本発明の投影装置は、投影画像を投影面に投影する投影部と、前記投影面を撮影して画像を取得する撮影部と、時刻Ｔの前記画像のエッジである第１エッジと、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の前記画像のエッジである第２エッジとを抽出するエッジ抽出部と、前記第１エッジと前記第２エッジとの差分の画像を表すエッジ差分画像を認識するエッジ差分認識部と、前記エッジ差分画像に含まれるエッジを分類することにより１以上の分類画像を抽出し、前記投影画像に配置するコンテンツの候補から、抽出された前記分類画像に類似または一致する前記コンテンツを選択する選択部とを備え、前記投影部は、選択された前記コンテンツが配置された前記投影画像を投影面に投影する。 In order to solve the above-described problems and achieve the object, the projection apparatus of the present invention includes a projection unit that projects a projection image onto a projection surface, a photographing unit that photographs the projection surface and acquires an image, and a time T An edge extracting unit that extracts a first edge that is an edge of the image and a second edge that is an edge of the image at time TT ′ T ′ before time T, the first edge, and the first edge An edge difference recognition unit for recognizing an edge difference image representing a difference image from two edges, and one or more classified images extracted by classifying edges included in the edge difference image, and arranged in the projected image A selection unit that selects the content that is similar to or matches the extracted classified image from the candidates, and the projection unit projects the projection image on which the selected content is arranged onto a projection plane.
また、本発明の投影システムは、投影画像を投影面に投影する投影部と、前記投影面を撮影して画像を取得する撮影部と、時刻Ｔの前記画像のエッジである第１エッジと、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の前記画像のエッジである第２エッジとを抽出するエッジ抽出部と、前記第１エッジと前記第２エッジとの差分の画像を表すエッジ差分画像を認識するエッジ差分認識部と、前記エッジ差分画像に含まれるエッジを分類することにより１以上の分類画像を抽出し、前記投影画像に配置するコンテンツの候補から、抽出された前記分類画像に類似または一致する前記コンテンツを選択する選択部とを備え、前記投影部は、選択された前記コンテンツが配置された前記投影画像を投影面に投影する。 In addition, the projection system of the present invention includes a projection unit that projects a projection image onto a projection surface, a photographing unit that photographs the projection surface to acquire an image, a first edge that is an edge of the image at time T, An edge extraction unit that extracts a second edge that is an edge of the image at time TT ′ T ′ before time T, and an edge difference image that represents an image of a difference between the first edge and the second edge An edge difference recognizing unit for recognizing the image, and extracting one or more classified images by classifying the edges included in the edge difference image, similar to the extracted classified image from content candidates to be arranged in the projection image Or a selection unit that selects the matching content, and the projection unit projects the projection image on which the selected content is arranged onto a projection plane.
また、本発明のプログラムは、コンピュータを、時刻Ｔの画像のエッジである第１エッジと、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のエッジである第２エッジとを抽出するエッジ抽出部と、前記第１エッジと前記第２エッジとの差分の画像を表すエッジ差分画像を認識するエッジ差分認識部と、前記エッジ差分画像に含まれるエッジを分類することにより１以上の分類画像を抽出し、投影画像に配置するコンテンツの候補から、抽出された前記分類画像に類似または一致する前記コンテンツを選択する選択部として機能させる。 Further, the program of the present invention causes the computer to extract a first edge that is an edge of an image at time T and a second edge that is an edge of an image at time TT ′ T ′ before time T. An extraction unit, an edge difference recognition unit that recognizes an edge difference image that represents an image of a difference between the first edge and the second edge, and one or more classified images by classifying the edges included in the edge difference image Is extracted, and functions as a selection unit that selects the content that is similar to or matches the extracted classified image from the content candidates to be arranged in the projection image.
本発明によれば、撮影環境の変化に応じて、投影されるコンテンツを変更することができる投影装置、投影システム及びプログラムを提供することができるという効果を奏する。 According to the present invention, there is an effect that it is possible to provide a projection device, a projection system, and a program that can change the content to be projected according to a change in the shooting environment.
以下に添付図面を参照して、投影装置、投影システム及びプログラムの実施の形態を詳細に説明する。 Exemplary embodiments of a projection apparatus, a projection system, and a program will be described below in detail with reference to the accompanying drawings.
（第１の実施の形態）
図１は、本実施の形態の投影装置１の構成の一例を示すブロック図である。また、図２は、本実施の形態の投影装置１における画像処理フローの一例を示す図である。本実施の形態の投影装置１は、撮影部２、認識部３、選択部４、補正部５、及び投影部６を備える。
(First embodiment)
FIG. 1 is a block diagram showing an example of the configuration of the
撮影部２は、投影部６により投影される投影画像の投影面を撮影し、画像を取得する。取得された画像は、時系列のフレームの画像として、撮影部２に記憶される。認識部３は、撮影部２により撮影された画像から、時刻Ｔの画像のエッジを抽出した画像と、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のエッジを抽出した画像の差分を表すエッジ差分画像と、画像の輝度の変化を認識する。エッジ差分画像の認識方法と、画像の輝度の変化の認識方法の詳細については後述する。
The
選択部４は、エッジ差分画像に含まれるエッジを分類することにより１以上の分類画像を抽出し、投影画像に配置するコンテンツの候補から、抽出された分類画像に類似または一致するコンテンツを選択する。コンテンツの選択方法の詳細については後述する。補正部５は、エッジ差分画像と、画像の輝度の変化に基づいて、投影画像を補正する。投影画像の補正方法の詳細については後述する。投影部６は、補正された投影画像を路面に投影する。
The
図３は、本実施の形態の投影装置１を電柱に設置した場合の一例を示す図である。本実施の形態の投影装置１は、撮影部２により得られる画像に応じて、投影部６により投影される投影画像が変更される。
FIG. 3 is a diagram illustrating an example when the
図４は、本実施の形態の投影装置１の認識部３の構成の一例を示すブロック図である。本実施の形態の認識部３は、エッジ認識部３０、及び輝度認識部３５を備える。エッジ認識部３０は、動物体抽出部３１、エッジ抽出部３２、エッジ頻度算出部３３、及びエッジ差分認識部３４を備える。輝度認識部３５は、平均輝度算出部３６、及び差分値取得部３７を備える。
FIG. 4 is a block diagram illustrating an example of the configuration of the
動物体抽出部３１は、ｎフレーム目の画像の輝度と、ｎ＋１フレーム目の画像の輝度を比較して、物体が移動した領域を構成する画素（以下「動物体画素」という。）を抽出する。動物体抽出部３１は、時刻Ｔの画像の前後Ｎフレームの画像の輝度を比較して、時刻Ｔの画像の動物体画素を抽出する。また、動物体抽出部３１は、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像の前後Ｎフレームの画像の輝度を比較して、時刻Ｔ−Ｔ’の画像の動物体画素を抽出する。
The moving
図５Ａは、本実施の形態の投影装置１の撮影部２により撮影されたｎフレーム目の画像の一例を示す図である。図６Ａは、本実施の形態の投影装置１の撮影部２により撮影されたｎ＋１フレーム目の画像の一例を示す図である。動物体抽出部３１は、図５Ａの画像（ｎフレーム目の画像）と図６Ａの画像（ｎ＋１フレーム目の画像）の輝度を比較し、輝度が類似している領域を認識する。動物体抽出部３１は、輝度が類似している領域の画像内の位置が変わっていれば、当該領域を動物体領域であると認識する。
FIG. 5A is a diagram illustrating an example of an n-th frame image captured by the
類似領域を検出する手法としては、ピラミッド画像生成による粗密検索や、ブロックマッチング手法であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、及びＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が適用できる。 As a method for detecting a similar region, coarse / fine search by pyramid image generation, SSD (Sum of Squared Difference), which is a block matching method, and SAD (Sum of Absolute Difference) are applicable.
図５Ｂは、図５Ａにより示される画像の動物体領域を示す図である。図６Ｂは、図６Ａにより示される画像の動物体領域を示す図である。動物体抽出部３１は、動物体領域を構成する画素を、動物体画素として認識する。
FIG. 5B is a diagram showing a moving object region of the image shown in FIG. 5A. FIG. 6B is a diagram showing a moving object region of the image shown in FIG. 6A. The moving
動物体抽出部３１は、動物体画素をフラグ情報により管理してもよい。すなわち、（ｘ，ｙ）座標の画素が動物体画素であるならば、（ｘ，ｙ）座標の画素のフラグを１とし、動物体画素でないならば、フラグを０として管理してもよい。
The moving
また、動物体抽出部３１は、動物体領域が移動した方向を示すオプティカルフローを算出する。動物体抽出部３１は、ｎフレーム目の画像の動物体領域と、ｎ＋１フレーム目の画像の動物体領域を、オプティカルフロー方向につないだ領域についても、動物体画素を抽出する。
In addition, the moving
図７は、図５Ｂと図６Ｂの動物体領域をオプティカルベクトル方向につなげた領域を示す図である。図７の例では、動物体領域の境界線の斜線箇所を含む画素が存在する。動物体抽出部３１が、当該斜線箇所を含む画素を、どのような場合に動物体画素として認識するかは、投影装置１の設定により適宜定めてよい。例えば、動物体抽出部３１は、動物体領域の境界線の斜線箇所を含む画素については、領域と画素との重なりの部分の面積が、画素の面積の５０％以上を占めているときに、当該画素のフラグを１にすることにより、動物体画素であることを認識してもよい。
FIG. 7 is a diagram showing a region in which the moving object regions of FIGS. 5B and 6B are connected in the optical vector direction. In the example of FIG. 7, there are pixels including the hatched portion of the boundary line of the moving object region. In what case the moving
動物体抽出部３１は、時刻Ｔの画像における動物体画素を、時刻Ｔの画像と、時刻Ｔの画像の前後Ｎフレームの画像を使用して抽出する。すなわち、２Ｎ組の連続する２つのフレームの画像について動物体画素を抽出する。
The moving
なお、Ｎの値は、投影装置１のユーザが、投影装置１の設定を変更することにより、適宜決定できるようにしてもよい。例えば、Ｎ＝１０であれば、動物体抽出部３１は、時刻Ｔの画像における動物体画素を、時刻Ｔの画像と、時刻Ｔの画像の前の１０フレーム分の画像と、時刻Ｔの画像の後の１０フレーム分の画像を使用して抽出する。
Note that the value of N may be appropriately determined by the user of the
図４に戻り、エッジ抽出部３２は、時刻Ｔの画像のエッジ画素を、動物体画素を除く、（ｘ，ｙ）座標の画素について抽出する。画像のエッジ抽出手法については、既によく知られている。例えば、エッジ抽出部３２は、Ｓｏｂｅｌフィルタを用いて、画像の縦線方向のエッジの抽出と、画像の横線方向のエッジを抽出する。
Returning to FIG. 4, the
ここで、Ｓｏｂｅｌフィルタについて説明する。
（１）は、画像内の縦方向のエッジを抽出するために、画像右方向（水平方向）に作用させるフィルタである。（２）は、画像内の横方向のエッジを抽出するために、画像下方向（垂直方向）に作用させるフィルタである。 (1) is a filter that acts in the right direction (horizontal direction) of the image in order to extract vertical edges in the image. (2) is a filter that acts in the downward direction (vertical direction) of the image in order to extract the horizontal edge in the image.
ここで、（ｘ，ｙ）座標の画素に、（１）のフィルタを作用させる場合について説明する。（ｘ，ｙ）座標の画素の輝度をｇ（ｘ，ｙ）とすると、（１）のフィルタを作用させた後の（ｘ，ｙ）座標の画素の輝度ｆｈ（ｘ，ｙ）は、（３）により求められる。
（ｘ，ｙ）座標の画素に、（２）のフィルタを作用させる場合についても、（１）のフィルタを作用させる場合と同様である。ｆｖ（ｘ，ｙ）を（２）のフィルタを作用させた後の（ｘ，ｙ）座標の画素の輝度とすると、両方のフィルタを作用させた場合の（ｘ，ｙ）座標の画素の輝度ｆｖｈ（ｘ，ｙ）は、（４）により求められる。
エッジ抽出部３２は、（４）により、縦方向と横方向のエッジが強調された画像を得ることができる。なお、エッジ抽出部３２は、Ｓｏｂｅｌフィルタ以外のフィルタを利用して、画像のエッジ抽出をしてもよい。例えば、エッジ抽出部３２は、Ｃａｎｎｙフィルタ等を使用してエッジ抽出をしてもよい。
The
エッジ頻度算出部３３は、時刻Ｔの画像の（ｘ，ｙ）座標の画素が、エッジ画素として検出された頻度を表すエッジ頻度ｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）を、時刻Ｔの画像と、時刻Ｔの前後Ｎフレームの画像により、（５）により算出する。ただし、ｅｄｇｅｎ（ｘ，ｙ）は、ｎフレーム目の画像の（ｘ，ｙ）座標の画素がエッジであるならば１、エッジでなければ０とする。
同様に、エッジ頻度算出部３３は、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像の（ｘ，ｙ）座標の画素が、エッジ画素として検出された頻度を表すエッジ頻度ｉｍｇ＿ｅｄｇｅ’（（ｘ，ｙ）を、（５）と同様にして算出する。
Similarly, the edge
エッジ差分認識部３４は、時刻Ｔの画像のエッジ差分画素を認識する。具体的には、エッジ差分認識部３４は、時刻Ｔのｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）、及び時刻ＴのＴ’前の時刻Ｔ−Ｔ’のｉｍｇ＿ｅｄｇｅ’（ｘ，ｙ）について、ｓｕｂ＿ｅｄｇｅ（ｘ，ｙ）＝ａｂｓ（ｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）−ｉｍｇ＿ｅｄｇｅ’（ｘ，ｙ））が、所定の閾値以上である場合に、（ｘ，ｙ）座標の画素がエッジ差分画素であると認識する。
The edge
エッジ差分認識部３４は、エッジ差分画素により表されるエッジ差分画像を認識する。ここで、エッジ差分画像について、具体例を用いて説明する。図８は、路面環境の変化により、路面に描かれた道路標示が視認できなくなった場合の一例を示す図である。図８の例は、路面に雪が積もり、路面に描かれた「止まれ」が視認できなくなっている。
The edge
図９は、本実施の形態の投影装置１の撮影部２により撮影された時刻Ｔ−Ｔ’の画像の一例を示す図である。図９の時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像では、路面に雪が積もっていない。エッジ抽出部３２、及びエッジ頻度算出部３３により、時刻Ｔ−Ｔ’における画像の（ｘ，ｙ）座標の画素のエッジ頻度ｉｍｇ＿ｅｄｇｅ’（ｘ，ｙ）が算出される。
FIG. 9 is a diagram illustrating an example of an image at time T-T ′ captured by the
なお、時刻ＴのＴ’前の時刻Ｔ−Ｔ’は、投影装置１の設定により、任意に設定してよい。例えば、時刻Ｔ−Ｔ’は、時刻Ｔの１時間前でも２４時間前でもよいし、或いは、１週間前や１ヶ月前等に設定してもよい。
Note that the time T-T ′ before T ′ of the time T may be arbitrarily set according to the setting of the
図１０は、本実施の形態の投影装置１の撮影部２により撮影された時刻Ｔの画像の一例を示す図である。図１０の時刻Ｔの画像では、路面に雪が積もっている。エッジ抽出部３２、及びエッジ頻度算出部３３により、時刻Ｔにおける画像の（ｘ，ｙ）座標の画素のエッジ頻度ｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）が算出される。
FIG. 10 is a diagram illustrating an example of an image at time T photographed by the photographing
時刻Ｔの画像の（ｘ，ｙ）座標の画素のエッジ頻度ｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）の最大値は、エッジ頻度の定義より１である。また、（ｘ，ｙ）座標の画素のエッジ頻度ｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）の最小値は、エッジ頻度の定義より０である。理解を容易にするため、一番簡単な例として、時刻Ｔの画像と、時刻Ｔの画像の前後Ｎフレームが全て同じ画像であり、動物体領域がない場合を考える。このとき、時刻Ｔの任意の（ｘ，ｙ）座標の画素のエッジ頻度ｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）は、０又は１である。この場合に、画像内の全ての画素でエッジ頻度ｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）を考えると、図９の画像のエッジ（輪郭）のみが浮き上がった画像（以下「エッジ画像」という。）ができる。 The maximum value of the edge frequency img_edge (x, y) of the pixel at the (x, y) coordinate of the image at time T is 1 according to the definition of the edge frequency. Further, the minimum value of the edge frequency img_edge (x, y) of the pixel at the (x, y) coordinate is 0 according to the definition of the edge frequency. In order to facilitate understanding, the simplest example is a case where the image at time T and the N frames before and after the image at time T are all the same image and there is no moving object region. At this time, the edge frequency img_edge (x, y) of the pixel at an arbitrary (x, y) coordinate at time T is 0 or 1. In this case, when the edge frequency img_edge (x, y) is considered for all the pixels in the image, an image in which only the edge (outline) of the image in FIG. 9 is raised (hereinafter referred to as “edge image”) can be formed.
時刻Ｔ−Ｔ’の画像の（ｘ，ｙ）座標の画素のエッジ頻度ｉｍｇ＿ｅｄｇｅ’（ｘ，ｙ）についても同様である。 The same applies to the edge frequency img_edge '(x, y) of the pixel at the (x, y) coordinate of the image at time T-T'.
エッジ差分認識部３４は、ｓｕｂ＿ｅｄｇｅ（ｘ，ｙ）＝ａｂｓ（ｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）−ｉｍｇ＿ｅｄｇｅ’（ｘ，ｙ））が、所定の閾値以上である場合に、エッジ差分画素であると認識する。エッジ差分画素の定義により、エッジ差分画素は、２つの時刻の画像の（ｘ，ｙ）座標の画素が、一方の時刻では、エッジ画素であるが、他方の時刻では、エッジ画素ではないことを示す。エッジ差分画素を、画像内の全ての（ｘ，ｙ）座標の画素で考えると、エッジ差分画像となる。図１１は、本実施の形態の投影装置１の認識部３により生成されたエッジ差分画像の一例を示す図である。図１１の例は、図９の画像に対応するエッジ画像と、図１０の画像に対応するエッジ画像の差分が、エッジ差分画像として現れている。
The edge
本実施の形態の投影装置１は、エッジ差分画像を取得する過程で、動物体領域を除去することにより、路面変化による画像のエッジ差分だけを取得することができる。
The
また、本実施の形態の投影装置１は、エッジ差分画像を取得する過程で、複数の画像から算出されたエッジ頻度を考慮することで、１枚の画像の情報からエッジ差分画像を取得する場合に比べ、路面変化による画像のエッジ差分の取得精度を上げることができる。
Further, in the process of acquiring the edge difference image, the
なお、エッジ差分認識部３４は、時刻Ｔの画像と時刻Ｔ−Ｔ’の画像のエッジ差分画像を、上述のエッジ頻度の差分ではなく、時刻Ｔの画像のエッジ画素で表される画像と時刻Ｔ−Ｔ’の画像のエッジ画素で表される画像の差分により取得してもよい。
Note that the edge
図４に戻り、平均輝度算出部３６は、時刻Ｔの画像の平均輝度を、時刻Ｔの画像と、時刻Ｔの画像の前後Ｎフレームの画像を使用して、（６）により算出する。ただし、ｍｅａｎｎ＝（ｎフレーム目の画像の動物体画素でない画素の輝度の和）／（ｎフレーム目の画像の動物体画素を除いた画素数）とする。
差分値取得部３７は、（時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のＮｍｅａｎ’）−（時刻Ｔの画像のＮｍｅａｎ）により、差分値を取得する。
The difference
図１２は、本実施の形態の投影装置１の投影部６の投影範囲の路面の状態が明るい場合を示す図である。また、図１３は、本実施の形態の投影装置１の投影部６の投影範囲の路面の状態が暗い場合を示す図である。時刻ＴのＴ’前の路面の状態が図１２の状態であり、時刻Ｔの路面の状態が図１３の状態であるとする。このとき、差分値取得部３７により取得される差分値は、正の値となる。
FIG. 12 is a diagram illustrating a case where the road surface state in the projection range of the
なお、差分値の取得方法は、（時刻Ｔの画像のＮｍｅａｎ）−（時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のＮｍｅａｎ’）であってもよい。差分値取得部３７により取得された差分値は、後述する補正部５の輝度調整部５０により利用される。
The difference value acquisition method may be (Nmean of the image at time T) − (Nmean ′ of the image at time T-T ′ before T ′ at time T). The difference value acquired by the difference
図１４は、本実施の形態の投影装置１の選択部４の構成の一例を示すブロック図である。本実施の形態の選択部４は、クラスタリング部４０、多角形生成部４１、最多輝度特定部４２、コンテンツ記憶部４３、コンテンツ選択部４４、及び位置決定部４５を備える。
FIG. 14 is a block diagram illustrating an example of the configuration of the
クラスタリング部４０は、エッジ差分認識部３４により得られたエッジ差分画像を、クラスタリング手法を利用して、分類画像に分類する。図１５は、本実施の形態の投影装置１のクラスタリング手法の一例を示す図である。クラスタリング部４０は、エッジ差分画素を中心として、所定の半径内の領域（以下「近傍」という。）と、他のエッジ差分画素の近傍が、所定の距離内にあるか否かにより、エッジ差分画素をクラスタリングする。例えば、第１のエッジ差分画素の近傍と、第２のエッジ画素の近傍が重なっていれば、第１のエッジ差分画素と第２のエッジ差分画素は、同一のクラスタに含まれるとしてもよい。分類画像は、同一クラスタに含まれるエッジ差分画素によって生成される画像である。
The
多角形生成部４１は、分類画像の頂点を線分で結ぶことにより、分類画像を被覆する多角形を生成する。図１６は、本実施の形態の投影装置１の多角形生成部４１が生成した多角形の一例を示す図である。
The
なお、同一のクラスタに２つ以上のコンテンツが含まれる可能性がある場合には、クラスタリングの後に、デローニ三角形分割等の処理を行うことにより、更に詳細に、ある一定距離内のエッジ画素のみを考慮するようにしてもよい。 If there is a possibility that two or more contents are included in the same cluster, by performing processing such as Delaunay triangulation after clustering, only edge pixels within a certain distance can be obtained in more detail. You may make it consider.
図１４に戻り、最多輝度特定部４２は、多角形生成部４１により生成された多角形に含まれる画素の輝度ヒストグラムを求める。最多輝度特定部４２は、当該輝度ヒストグラムにおいて、出願頻度が最も多い輝度（以下「最多輝度」という。）を特定する。
Returning to FIG. 14, the most frequent
図１７は、本実施の形態の投影装置１の最多輝度特定部４２が生成する輝度ヒストグラムの一例を示す図である。図１７の例では、輝度の値が２５３であるときに、輝度ヒストグラムが最大になる。したがって、図１７の例では、最多輝度の値は、２５３である。
FIG. 17 is a diagram illustrating an example of a brightness histogram generated by the most-
なお、輝度ヒストグラムは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、及びＢ（Ｂｌｕｅ）毎に判断してもよい。 Note that the luminance histogram may be determined for each of R (Red), G (Green), and B (Blue).
図１４に戻り、コンテンツ記憶部４３は、投影部６により投影される投影画像内に配置するコンテンツを記憶する。当該コンテンツは、文字、数字、記号、及び図形等を表す画像である。コンテンツ選択部４４は、分類画像と最多輝度とに基づいて、コンテンツ記憶部４３からコンテンツを選択する。図１８は、本実施の形態の投影装置１のコンテンツ選択方法の一例を示す図である。コンテンツ選択部４４は、分類画像の形状（パターンマッチング）と、分類画像の最多輝度（色マッチング）により、コンテンツ記憶部４３からコンテンツを選択する。
Returning to FIG. 14, the
なお、コンテンツ選択部４４は、分類画像の形状（パターンマッチング）と、分類画像の最多輝度（色マッチング）のうち、いずれか一方の方法によってコンテンツを選択してもよい。
Note that the
図１４に戻り、位置決定部４５は、コンテンツ選択部４４により選択されたコンテンツの投影画像内の位置を決定する。位置決定部４５は、当該コンテンツと、エッジ差分画像とのパターンマッチングを行い、当該コンテンツの投影画像内の位置（座標や、コンテンツの向き等）を決定する。位置決定部４５によるパターンマッチングは、ＰＯＣ（Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）等のパターンマッチング手法により行う。なお、位置決定部４５によるパターンマッチング手法は、ＰＯＣに限られない。
Returning to FIG. 14, the
図２０は、本実施の形態の投影装置１の補正部５の構成の一例を示すブロック図である。本実施の形態の補正部５は、輝度調整部５０、及びコンテンツ配置部５１を備える。
FIG. 20 is a block diagram illustrating an example of the configuration of the
輝度調整部５０は、投影画像の全画素の輝度に、輝度認識部３５の差分値取得部３７で取得された差分値を加算（又は減算）する補正を行う。これにより、朝方、夕方、日中、及び夜間等の明るさの違いや、晴れ、曇り、雨、及び霧等の天候による明るさの違いによって、投影画像の輝度を変更することができる。投影装置１の周囲が明るくなった場合には、投影画像の輝度を下げることにより、省電力効果がある。投影装置１の周囲が暗くなった場合には、投影画像の輝度を上げることにより、投影面の視認性を向上させる効果がある。
The
コンテンツ配置部５１は、輝度が補正された当該画像に、コンテンツを重畳する。
The
図２１は、本実施の形態の投影装置１の投影部６により、路面にコンテンツが投影された場合の一例を示す図である。図２１の例は、路面に「止」が投影されている。図２１の例は、雪により視認できなくなった道路標示「止まれ」の「止」の部分を、視認できるようにしている。
FIG. 21 is a diagram illustrating an example when content is projected onto a road surface by the
なお、図２１の例では、説明のために簡略しているため、１つのコンテンツ「止」のみを投影している。しかしながら、投影装置１は、図１１のエッジ差分画像と、自身の投影画像範囲に重なる路面上の白線部分も、同時に投影してもよい。すなわち、投影装置１は、複数のコンテンツを同時に投影してもよい。
In the example of FIG. 21, only one content “stop” is projected because it is simplified for explanation. However, the
なお、本実施の形態の投影装置１の認識部３、選択部４、及び補正部５は、ソフトウェアにより実現してもよい。また、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。また、ソフトウェア及びハードウェアを併用して実現してもよい。
Note that the
以上が、本実施の形態の投影装置１の構成の説明である。次に、本実施の形態の投影装置１の動作方法を、フローチャートを用いて説明する。
The above is the description of the configuration of the
図２２は、本実施の形態の投影装置１の動物体画素抽出方法の一例を説明するためのフローチャートである。
FIG. 22 is a flowchart for explaining an example of the moving object pixel extraction method of the
動物体抽出部３１は、時刻Ｔの画像と、時刻Ｔの画像の前後Ｎフレームの画像を、撮影部２から取得する（ステップＳ１）。
The moving
動物体抽出部３１は、ｎフレーム目の画像の輝度と、ｎ＋１フレーム目の画像の輝度を比較して、物体が移動した領域を構成する画素を表す動物体画素を認識する（ステップＳ２）。動物体抽出部３１は、輝度が類似している領域の画像内の位置が変わっていれば、当該領域を動物体領域であると認識する。
The moving
動物体抽出部３１は、ステップＳ２により認識された動物体画素にフラグ（以下「動物体フラグ」という。）を付与する（ステップＳ３）。
The moving
動物体抽出部３１は、ｎフレーム目の画像の動物体領域と、ｎ＋１フレーム目の画像の動物体領域に基づいて、動物体領域が移動した方向を示すオプティカルフローを計算する（ステップＳ４）。
The moving
動物体抽出部３１は、ｎフレーム目の画像の動物体領域と、ｎ＋１フレーム目の画像の動物体領域を、オプティカルフロー方向につないだ領域（以下「オプティカルフロー領域」という。）を作成する（ステップＳ５）。動物体抽出部３１は、オプティカルフロー領域に動物体フラグを付与する（ステップＳ６）。
The moving
動物体抽出部３１は、全フレーム（２Ｎ＋１フレーム）の画像を処理したか否かを判定する（ステップＳ７）。全フレームを処理した場合は、動物体抽出部３１は、動物体画素の抽出を終了する（ステップＳ７、Ｙｅｓ）。全フレームを処理していない場合は、ステップＳ２に戻る（ステップＳ７、Ｎｏ）。
The moving
図２３は、本実施の形態の投影装置１のエッジ画素抽出方法の一例を説明するためのフローチャートである。
FIG. 23 is a flowchart for explaining an example of the edge pixel extraction method of the
エッジ抽出部３２は、エッジ画素抽出対象の画像から画素を１つ選択する（ステップＳ１１）。
The
エッジ抽出部３２は、ステップＳ１１により選択された画素について、エッジ抽出に使用されるフィルタサイズのブロック画像を生成する（ステップＳ１２）。例えば、フィルタのサイズが、３×３の大きさであれば、エッジ抽出部３２は、９つの画素から構成される正方形のブロック画像を生成する。
The
エッジ抽出部３２は、ブロック画像内に動物体フラグを有する画素があるか否かを判定する（ステップＳ１３）。動物体フラグを有する画素がある場合は、ステップＳ１８に進む（ステップＳ１３、Ｙｅｓ）。動物体フラグを有する画素がない場合は、ステップＳ１４に進む。
The
エッジ抽出部３２は、ステップＳ１１により選択された画素に対して、エッジ抽出を行う（ステップＳ１４）。エッジ抽出部３２は、当該選択された画素がエッジ画素であるか否かを判定する（ステップＳ１５）。エッジ画素である場合（ステップＳ１５、Ｙｅｓ）は、エッジ抽出部３２は、当該選択された画素のエッジフラグを１にする（ステップＳ１６）。エッジ画素でない場合（ステップＳ１５、Ｎｏ）は、エッジ抽出部３２は、当該選択された画素のエッジフラグを０にする（ステップＳ１６）。
The
エッジ抽出部３２は、画像内の全ての画素を選択したか否かを判定する（ステップＳ１８）。全ての画素を選択した場合は、当該画像のエッジ画素の抽出を終了する（ステップＳ１８、Ｙｅｓ）。全ての画素を選択していない場合は、ステップＳ１１に戻る（ステップＳ１８、Ｎｏ）。
The
図２４は、本実施の形態の投影装置１のエッジ差分画像生成方法の一例を説明するためのフローチャートである。
FIG. 24 is a flowchart for explaining an example of the edge difference image generation method of the
エッジ抽出部３２は、時刻Ｔの画像と、時刻Ｔの画像の前後Ｎフレームの画像のエッジ画素を抽出する（ステップＳ２１）。エッジ抽出部３２は、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像と、時刻Ｔ−Ｔ’の画像の前後Ｎフレームの画像のエッジ画素を抽出する（ステップＳ２２）。
The
エッジ頻度算出部３３は、時刻Ｔの画像の（ｘ，ｙ）座標の画素が、エッジ画素として検出された頻度を表すエッジ頻度ｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）を、時刻Ｔの画像と、時刻Ｔの前後Ｎフレームの画像から算出する（ステップＳ２３）。エッジ頻度算出部３３は、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像の（ｘ，ｙ）座標の画素が、エッジ画素として検出された頻度を表すエッジ頻度ｉｍｇ＿ｅｄｇｅ’（ｘ，ｙ）を、時刻Ｔ’の画像と、時刻Ｔ’の前後Ｎフレームの画像から算出する（ステップＳ２４）。
The edge
エッジ差分認識部３４は、時刻Ｔのｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）と、時刻ＴのＴ’前の時刻Ｔ−Ｔ’のｉｍｇ＿ｅｄｇｅ’（ｘ，ｙ）の差分を、ｓｕｂ＿ｅｄｇｅ（ｘ，ｙ）＝ａｂｓ（ｉｍｇ＿ｅｄｇｅ（ｘ，ｙ）−ｉｍｇ＿ｅｄｇｅ’（ｘ，ｙ））により算出する（ステップＳ２５）。
The edge
エッジ差分認識部３４は、エッジ頻度の差分ｓｕｂ＿ｅｄｇｅ（ｘ，ｙ）が、所定の閾値以上であるか否かを判定する（ステップＳ２６）。所定の閾値以上である場合（ステップＳ２６、Ｙｅｓ）は、エッジ差分認識部３４は、（ｘ，ｙ）座標の画素が、エッジ差分画素であると認識する（ステップＳ２７）。所定の閾値より小さい場合（ステップＳ２６、Ｎｏ）は、エッジ差分認識部３４は、（ｘ，ｙ）座標の画素が、エッジ差分画素ではないと認識する（ステップＳ２８）。
The edge
エッジ差分認識部３４は、全ての（ｘ，ｙ）座標のエッジ差分画素により表されるエッジ差分画像を認識する（ステップＳ２９）。
The edge
図２５は、本実施の形態の投影装置１のコンテンツの選択方法の一例を説明するためのフローチャートである。
FIG. 25 is a flowchart for explaining an example of a content selection method of the
クラスタリング部４０は、エッジ差分認識部３４により得られたエッジ差分画像を、クラスタリング手法を利用して、分類画像に分類する（ステップＳ３１）。クラスタリング部４０は、エッジ差分画素の近傍と、他のエッジ差分画素の近傍が、所定の距離内にあるか否かにより、エッジ差分画素をクラスタリングする。分類画像は、同一クラスタに含まれるエッジ差分画素によって生成される画像である。
The
多角形生成部４１は、分類画像の頂点を線分で結ぶことにより、分類画像を被覆する多角形を生成する（ステップＳ３２）。
The
最多輝度特定部４２は、多角形生成部４１により生成された多角形に含まれる画素の輝度ヒストグラムを計算する（ステップＳ３３）。最多輝度特定部４２は、当該輝度ヒストグラムにおいて、出願頻度が最も多い輝度を表す最多輝度を特定する。
The most frequent
コンテンツ選択部４４は、分類画像の形状（パターンマッチング）と、分類画像の最多輝度（色マッチング）により、コンテンツ記憶部４３からコンテンツを選択する（ステップＳ３４）。
The
位置決定部４５は、コンテンツ選択部４４により選択されたコンテンツの投影画像内の位置を決定する（ステップＳ３５）。位置決定部４５は、当該コンテンツと、エッジ差分画像とのパターンマッチングを、ＰＯＣ等のパターンマッチング手法により行う。位置決定部４５は、パターンマッチング手法の結果に基づいて、当該コンテンツの投影画像内の位置（座標や、コンテンツの向き等）を決定する。
The
図２６は、本実施の形態の投影装置１の平均輝度（Ｎｍｅａｎ）算出方法の一例を説明するためのフローチャートである。
FIG. 26 is a flowchart for explaining an example of an average luminance (Nmean) calculation method of the
平均輝度算出部３６は、時刻Ｔの画像と、時刻Ｔの画像の前後Ｎフレームの画像を、撮影部２から取得する（ステップＳ４１）。平均輝度算出部３６は、ステップＳ４１で取得した画像から、ｎフレーム目の画像を選択する（ステップＳ４２）。平均輝度算出部３６は、ｍｅａｎｎ＝（ｎフレーム目の画像の動物体画素でない画素の輝度の和）／（ｎフレーム目の画像の動物体画素を除いた画素数）を算出する（ステップＳ４３）。
The average
平均輝度算出部３６は、ステップＳ４１で取得した全フレーム（２Ｎ＋１個のフレーム）の画像のｍｅａｎｎを算出したか否かを判定する（ステップＳ４４）。全フレームの画像のｍｅａｎｎを算出していない場合は、ステップＳ４２に戻る（ステップＳ４４、Ｎｏ）全フレームの画像のｍｅａｎｎを算出した場合は、ステップＳ４５に進む（ステップＳ４４、Ｙｅｓ）。
The average
平均輝度算出部３６は、時刻Ｔの画像と、時刻Ｔの画像の前後Ｎフレームの画像のｍｅａｎｎの平均により、時刻Ｔの画像の平均輝度Ｎｍｅａｎを算出する（ステップＳ４５）。
The average
図２７は、本実施の形態の投影装置１の投影画像の輝度調整方法の一例を説明するためのフローチャートである。
FIG. 27 is a flowchart for explaining an example of the brightness adjustment method of the projection image of the
差分値取得部３７は、（時刻Ｔの画像のＮｍｅａｎ）−（時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のＮｍｅａｎ’）により、差分値を取得する（ステップＳ５１）。
The difference
差分値取得部３７は、（時刻Ｔの画像のＮｍｅａｎ）＞（時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のＮｍｅａｎ’）であるか否かを判定する（ステップＳ５２）。（時刻Ｔの画像のＮｍｅａｎ）＞（時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のＮｍｅａｎ’）である場合（ステップＳ５２、Ｙｅｓ）は、輝度調整部５０は、時刻Ｔの画像の全画素の輝度値からＮｍｅａｎ−Ｎｍｅａｎ’だけ輝度値を引く（ステップＳ５３）。（時刻Ｔの画像のＮｍｅａｎ）≦（時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のＮｍｅａｎ’）である場合（ステップＳ５２、Ｎｏ）は、ステップＳ５４に進む。
The difference
差分値取得部３７は、（時刻Ｔの画像のＮｍｅａｎ）＜（時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のＮｍｅａｎ’）であるか否かを判定する（ステップＳ５４）。（時刻Ｔの画像のＮｍｅａｎ）＜（時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のＮｍｅａｎ’）である場合（ステップＳ５４、Ｙｅｓ）は、輝度調整部５０は、時刻Ｔの画像の全画素の輝度値にＮｍｅａｎ−Ｎｍｅａｎ’だけ輝度値を加える（ステップＳ５４）。（時刻Ｔの画像のＮｍｅａｎ）＜（時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のＮｍｅａｎ’）でない場合（ステップＳ５４、Ｎｏ）は、ステップＳ５６に進む。
The difference
コンテンツ配置部５１は、時刻Ｔの画像に対する輝度補正に基づいた輝度値を有する投影画像に、コンテンツを重畳する（ステップＳ５６）。
The
次に、本実施の形態の投影装置１のハードウェア構成について説明する。図２８は、本実施の形態の投影装置１のハードウェア構成の一例を示す図である。本実施の形態の投影装置１は、プロジェクタ７０、撮影装置７１、制御装置７２、主記憶装置７３、補助記憶装置７４、及び通信装置７５を備える。
Next, the hardware configuration of the
プロジェクタ７０は、投影面に画像を投影する。例えば、図１の投影部６がプロジェクタ７０に相当する。撮影装置７１は、当該投影面の状態を撮影する。例えば、図１の撮影部２が撮影装置７１に相当する。撮影装置７１は、カメラ等である。制御装置７２は、投影装置１の動作を制御する。例えば、図１の認識部３、選択部４、及び補正部５は、制御装置７２により実現される。制御装置７２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等である。主記憶装置７３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。補助記憶装置７４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、光学ドライブ等である。通信装置７５は、投影装置１が、無線や有線の通信手段によりネットワークに接続するための装置である。
The
本実施の形態の投影装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。
A program executed by the
また、本実施の形態の投影装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態の投影装置１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
Further, the program executed by the
また、本実施の形態の投影装置１のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
In addition, the program of the
本実施の形態の投影装置１で実行されるプログラムは、上述した各部（認識部３、選択部４、及び補正部５）を含むモジュール構成となっており、実際のハードウェアとしては制御装置７２が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置７３上にロードされ、認識部３、選択部４、及び補正部５が主記憶装置７３上に生成されるようになっている。
The program executed by the
本実施の形態の投影装置１によれば、投影面の変化や、周囲の明るさの変化に応じて、投影されるコンテンツや、投影画像の輝度を変更することができる。
According to the
次に、本実施の形態の変形例について説明する。 Next, a modification of the present embodiment will be described.
上述の第１の実施の形態の説明では、投影装置１の認識部３は、撮影部２により撮影された画像を、そのまま使用して、エッジ差分画像を認識した。しかしながら、一般に、撮影部２を配置する位置によっては、道路平面は射影的に歪んだ状態で撮影される。この歪みが大きい場合には、認識部３によるマッチング精度が悪化する恐れがある。
In the description of the first embodiment described above, the
投影装置１は、撮影部２により撮影された画像に、射影変換をかけてから、認識部３によってエッジ差分画像を認識してもよい。図２９は、第１の実施の形態の投影装置１の撮影部２により撮影された画像に、射影変換を行う場合の一例を示す図である。
The
例えば、投影装置１は、画像上の道路の白線のエッジ情報を用いて、白線のエッジが水平になるように射影変換をかける。すなわち、投影装置１は、道路を鳥瞰図としてみることのできる射影変換行列を保存しておく。投影装置１は、撮影部２により取得した画像に、射影変換行列をかけた後に、エッジ差分画像を認識する。
For example, the
また、上述の第１の実施の形態の説明では、投影装置１は、視認できなくなった道路標示と同一の道路標示を、路面に投影している。しかしながら、投影する画像に含まれるコンテンツは、視認できなくなった道路標示と同一でなくてもよい。図３０は、第１の実施の形態の投影装置１の投影部６が、投影するコンテンツを変更した場合の一例を示す図である。図３０の例では、視認できなくなった道路標示「止まれ」ではなく、道路標識（一時停止の規制標識）を投影している。
In the description of the first embodiment described above, the
また、上述の第１の実施の形態の説明では、投影装置１は、２次元情報のみを扱ったが、道路上の３次元形状を取得してもよい。３次元情報の取得方法については、プロジェクタとカメラを利用したステレオ法が知られている。投影装置１は、３次元情報を認識することにより、道路の陥没等による路面の変化を認識することができる。
In the description of the first embodiment described above, the
（第２の実施の形態）
図３１は、第２の実施の形態の投影システム８０の構成の一例を示すブロック図である。本実施の形態の投影システム８０は、プロジェクタ８１、及び演算装置８２を備える。プロジェクタ８１は、撮影部２、投影部６、及び通信部７を備える。演算装置８２は、認識部３、選択部４、補正部５、及び通信部８を備える。
(Second Embodiment)
FIG. 31 is a block diagram illustrating an example of the configuration of the projection system 80 according to the second embodiment. The projection system 80 according to the present embodiment includes a
撮影部２、認識部３、選択部４、補正部５、及び投影部６については、第１の実施の形態と同様であるため、説明を省略する。通信部７、及び通信部８は、プロジェクタ８１と演算装置８２の間のデータを、無線又は有線による通信手段により送受信する。
Since the
本実施の形態の投影システム８０によれば、画像の取得と投影を行う装置と、演算処理を行う認識部３、選択部４、及び補正部５を分離することができる。これにより、複数のプロジェクタ８１で、一台の演算装置８２を共有するといった運用も可能となる。演算装置８２は、コンピュータ等の情報処理装置であってもよい。
According to the projection system 80 of the present embodiment, it is possible to separate the image acquisition and projection apparatus from the
（第３の実施の形態）
図３２は、第３の実施の形態の投影システム８０を説明するための図である。本実施の形態の投影システム８０は、撮影部２ａ、撮影部２ｂ、撮影部２ｃ、投影部６ａ、投影部６ｂ、及び投影部６ｃを備える。
(Third embodiment)
FIG. 32 is a diagram for explaining a projection system 80 according to the third embodiment. The projection system 80 according to the present embodiment includes an
投影部６ａ、投影部６ｂ、及び投影部６ｃは、投影画像内に、各々の投影範囲を識別するためのマーカーを含める。投影システム８０は、撮影部２ａ、撮影部２ｂ、及び撮影部２ｃにより撮影された画像に含まれるマーカーによって、隣接する投影部６の投影範囲を認識する。これにより、投影システム８０は、複数の投影部６が投影画像を投影することによる投影画像の重複等を防ぐことができる。なお、撮影部２、及び投影部６の台数は３台に限らず、任意の台数でよい。
The
本実施の形態の投影システム８０によれば、複数の投影装置１が連携して、複数のコンテンツを含む画像を、路面に投影することができる。
According to the projection system 80 of the present embodiment, a plurality of
１ 投影装置
２，２ａ〜２ｃ 撮影部
４ 選択部
５ 補正部
６，６ａ〜６ｃ 投影部
７ 通信部
８ 通信部
３０ エッジ認識部
３１ 動物体抽出部
３２ エッジ抽出部
３３ エッジ頻度算出部
３４ エッジ差分認識部
３５ 輝度認識部
３６ 平均輝度算出部
３７ 差分値取得部
４０ クラスタリング部
４１ 多角形生成部
４２ 最多輝度特定部
４３ コンテンツ記憶部
４４ コンテンツ選択部
４５ 位置決定部
５０ 輝度調整部
５１ コンテンツ配置部
７０ プロジェクタ
７１ 撮影装置
７２ 制御装置
７３ 主記憶装置
７４ 補助記憶装置
７５ 通信装置
８０ 投影システム
８１ プロジェクタ
８２ 演算装置
DESCRIPTION OF
Claims (8)
前記投影面を撮影して画像を取得する撮影部と、
時刻Ｔの前記画像のエッジである第１エッジと、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の前記画像のエッジである第２エッジとを抽出するエッジ抽出部と、
前記第１エッジと前記第２エッジとの差分の画像を表すエッジ差分画像を認識するエッジ差分認識部と、
前記エッジ差分画像に含まれるエッジを分類することにより１以上の分類画像を抽出し、前記投影画像に配置するコンテンツの候補から、抽出された前記分類画像に類似または一致する前記コンテンツを選択する選択部とを備え、
前記投影部は、選択された前記コンテンツが配置された前記投影画像を前記投影面に投影する
投影装置。 A projection unit that projects a projection image onto a projection plane;
A photographing unit for photographing the projection plane to obtain an image;
An edge extraction unit that extracts a first edge that is an edge of the image at time T and a second edge that is an edge of the image at time TT ′ T ′ before time T;
An edge difference recognition unit for recognizing an edge difference image representing an image of a difference between the first edge and the second edge;
Selection of extracting one or more classified images by classifying edges included in the edge difference image, and selecting the content that is similar to or matches the extracted classified image from candidate content to be arranged in the projection image With
The projection unit projects the projection image on which the selected content is arranged onto the projection plane.
前記エッジ抽出部は、前記動物体画素を除いた前記画像からエッジを抽出する
請求項１に記載の投影装置。 The luminance of the image in the N frames before and after the image at time T is compared, and the moving object pixel representing the pixel constituting the region where the object of the image at time T has moved is extracted, and the image at time TT ′ is extracted. A moving object extracting unit that compares the luminance of the image in the N frames before and after the image and extracts the moving object pixel of the image at the time TT ′;
The projection device according to claim 1, wherein the edge extraction unit extracts an edge from the image excluding the moving object pixel.
前記エッジ差分認識部は、
前記時刻Ｔのエッジ頻度と、前記時刻Ｔ−Ｔ’のエッジ頻度の差分が、所定の閾値以上の画素で表されるエッジ差分画像を認識する
請求項１又は２に記載の投影装置。 An edge frequency representing the frequency at which pixels of the image at the time T are detected as the edge is calculated from the image at the time T and images of N frames before and after the image at the time T, and the image at the time TT ′. An edge frequency calculating unit that calculates an edge frequency representing a frequency at which the pixel of the pixel is detected as the edge from an image at time TT ′ and images of N frames before and after the image at time TT ′;
The edge difference recognition unit
The projection apparatus according to claim 1, wherein an edge difference image in which a difference between the edge frequency at the time T and the edge frequency at the time TT ′ is represented by pixels having a predetermined threshold value or more is recognized.
前記分類画像を被覆する多角形を生成する多角形生成部と、
前記多角形に含まれる画素の輝度ヒストグラムから、最多輝度を特定する最多輝度特定部と
を更に備え、
前記選択部は、更に、前記最多輝度が、前記分類画像の輝度に類似または一致する前記コンテンツを選択する
請求項１乃至３のいずれか１項に記載の投影装置。 The selection unit includes:
A polygon generating unit that generates a polygon covering the classified image;
A maximum brightness specifying unit for specifying the maximum brightness from the brightness histogram of the pixels included in the polygon; and
The projection device according to any one of claims 1 to 3, wherein the selection unit further selects the content in which the maximum luminance is similar to or coincides with the luminance of the classified image.
（時刻Ｔ−Ｔ’の画像のＮｍｅａｎ’）−（時刻Ｔの画像のＮｍｅａｎ）により、差分値を取得する差分値取得部と
前記選択されたコンテンツを配置する前の投影画像の全画素の輝度に、前記差分値を加算することにより、前記投影画像の輝度を調整する輝度調整部と
を更に備える請求項１乃至４のいずれか１項に記載の投影装置。 Using the average brightness Nmean of the image at time T and the image at time T and the images of N frames before and after the image at time T, mean n = (nth frame image from n = 0 to n = 2N) The sum of the luminances of the non-animal pixels) / (the number of pixels excluding the animal pixels in the nth frame image),
(Nmean ′ of image at time TT ′) − (Nmean of image at time T) −Difference value acquisition unit for acquiring a difference value and luminance of all pixels of the projection image before the selected content is arranged The projection apparatus according to claim 1, further comprising: a luminance adjustment unit that adjusts the luminance of the projection image by adding the difference value.
請求項１乃至５のいずれか１項に記載の投影装置。 The said selection part classifies the said edge according to whether the vicinity of the pixel which comprises the said edge, and the vicinity of the pixel which comprises the other said edge are in a predetermined range. The projection apparatus according to Item 1.
前記投影面を撮影して画像を取得する撮影部と、
時刻Ｔの前記画像のエッジである第１エッジと、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の前記画像のエッジである第２エッジとを抽出するエッジ抽出部と、
前記第１エッジと前記第２エッジとの差分の画像を表すエッジ差分画像を認識するエッジ差分認識部と、
前記エッジ差分画像に含まれるエッジを分類することにより１以上の分類画像を抽出し、前記投影画像に配置するコンテンツの候補から、抽出された前記分類画像に類似または一致する前記コンテンツを選択する選択部とを備え、
前記投影部は、選択された前記コンテンツが配置された前記投影画像を前記投影面に投影する
投影システム。 A projection unit that projects a projection image onto a projection plane;
A photographing unit for photographing the projection plane to obtain an image;
An edge extraction unit that extracts a first edge that is an edge of the image at time T and a second edge that is an edge of the image at time TT ′ T ′ before time T;
An edge difference recognition unit for recognizing an edge difference image representing an image of a difference between the first edge and the second edge;
Selection of extracting one or more classified images by classifying edges included in the edge difference image, and selecting the content that is similar to or matches the extracted classified image from candidate content to be arranged in the projection image With
The projection unit projects the projection image on which the selected content is arranged onto the projection plane.
時刻Ｔの画像のエッジである第１エッジと、時刻ＴのＴ’前の時刻Ｔ−Ｔ’の画像のエッジである第２エッジとを抽出するエッジ抽出部と、
前記第１エッジと前記第２エッジとの差分の画像を表すエッジ差分画像を認識するエッジ差分認識部と、
前記エッジ差分画像に含まれるエッジを分類することにより１以上の分類画像を抽出し、投影画像に配置するコンテンツの候補から、抽出された前記分類画像に類似または一致する前記コンテンツを選択する選択部と
して機能させるためのプログラム。 Computer
An edge extraction unit that extracts a first edge that is an edge of an image at time T and a second edge that is an edge of an image at time TT ′ T ′ before time T;
An edge difference recognition unit for recognizing an edge difference image representing an image of a difference between the first edge and the second edge;
A selection unit that extracts one or more classified images by classifying edges included in the edge difference image, and selects the content that is similar to or coincides with the extracted classified image from candidate content to be arranged in the projected image Program to function as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012200896A JP2014056434A (en) | 2012-09-12 | 2012-09-12 | Projection device, projection system, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012200896A JP2014056434A (en) | 2012-09-12 | 2012-09-12 | Projection device, projection system, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014056434A true JP2014056434A (en) | 2014-03-27 |
Family
ID=50613693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012200896A Ceased JP2014056434A (en) | 2012-09-12 | 2012-09-12 | Projection device, projection system, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014056434A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020250658A1 (en) * | 2019-06-12 | 2020-12-17 | 株式会社小糸製作所 | Infractructure for traffic |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6479886A (en) * | 1987-09-21 | 1989-03-24 | Nec Corp | Pattern recognizing system |
| JP2006525590A (en) * | 2003-05-07 | 2006-11-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Traffic information system that conveys information to the driver |
-
2012
- 2012-09-12 JP JP2012200896A patent/JP2014056434A/en not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6479886A (en) * | 1987-09-21 | 1989-03-24 | Nec Corp | Pattern recognizing system |
| JP2006525590A (en) * | 2003-05-07 | 2006-11-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Traffic information system that conveys information to the driver |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020250658A1 (en) * | 2019-06-12 | 2020-12-17 | 株式会社小糸製作所 | Infractructure for traffic |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10185879B2 (en) | Image processing device | |
| JP5747549B2 (en) | Signal detector and program | |
| KR101758684B1 (en) | Apparatus and method for tracking object | |
| JP6371553B2 (en) | Video display device and video display system | |
| KR102089343B1 (en) | Around view monitoring system and calibration method for around view cameras | |
| JP6501257B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| JP2013203374A (en) | Display device for vehicle, control method therefor, and program | |
| WO2019082797A1 (en) | Reconfiguration method and reconfiguration device | |
| JP2018124890A (en) | Image processing apparatus, image processing method, and image processing program | |
| KR20190030870A (en) | Image composition apparatus using virtual chroma-key background, method and computer program | |
| KR101699014B1 (en) | Method for detecting object using stereo camera and apparatus thereof | |
| CN114627175A (en) | Image processing method, intelligent terminal and computer readable storage medium | |
| JP6091727B1 (en) | Image processing apparatus, image processing method, and program | |
| CN108965646A (en) | Image processing apparatus, image processing method and storage medium | |
| JP4882577B2 (en) | Object tracking device and control method thereof, object tracking system, object tracking program, and recording medium recording the program | |
| US9569674B2 (en) | Movement amount estimation device, movement amount estimation method, and computer-readable recording medium storing movement amount estimation program | |
| JP5338762B2 (en) | White balance coefficient calculation device and program | |
| JP2020095621A (en) | Image processing device and image processing method | |
| JP2011170568A (en) | Device and method for detecting obstacle | |
| KR101726692B1 (en) | Apparatus and method for extracting object | |
| JP2014056434A (en) | Projection device, projection system, and program | |
| JP6316154B2 (en) | Vehicle detection device, adjustment support device, vehicle detection method, and adjustment method | |
| JP2017174380A (en) | Recognition device, method for recognizing object, program, and storage medium | |
| Itu et al. | An efficient obstacle awareness application for android mobile devices | |
| JP2011150594A (en) | Image processor and image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160628 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160727 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170104 |
|
| A045 | Written measure of dismissal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20170530 |