JP2006270711A - Information providing device and control program of information providing device - Google Patents
Information providing device and control program of information providing device Download PDFInfo
- Publication number
- JP2006270711A JP2006270711A JP2005088003A JP2005088003A JP2006270711A JP 2006270711 A JP2006270711 A JP 2006270711A JP 2005088003 A JP2005088003 A JP 2005088003A JP 2005088003 A JP2005088003 A JP 2005088003A JP 2006270711 A JP2006270711 A JP 2006270711A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- viewer
- motion
- information providing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置に関し、特に鑑賞者に画像情報に加えて画像以外の感覚情報を提供し高臨場感での画像鑑賞を可能とする情報提供装置及びその制御用プログラムに関する。 The present invention relates to an information providing device including an image display device that displays an image based on input image information, and in particular, provides viewers with sensory information other than images in addition to image information, and allows image viewing with high presence. The present invention relates to an information providing apparatus and a control program thereof.
高臨場感の情報提供を目的として画像・音声に加えて複数の感覚を同時に体験させる試みが従来より行われている。映像に合わせた座面の移動や空調制御は娯楽施設のアトラクションでしばしば用いられるが、一般の映像鑑賞においては風の効果も臨場感を増すために重要である。乗り物に乗ったときなどに必ず感じる風の効果をシミュレーションすることにより、リアルな感覚を得ることができる。下記の特許文献1では、この点に着目して画像表示装置の背面に送風装置を組み込み風の効果の有る仮想空間を生成する方法を開示している。
上記特許文献1に記載されている従来技術においては、画像再生と送風のタイミングをシナリオに合わせてあらかじめ設定しておく必要があるため、感覚情報を含む高臨場感での画像鑑賞はあらかじめ提供者がタイミングを設定し編集したコンテンツに限られる。すなわち、任意の画像コンテンツを随時高臨場感で鑑賞することはできないという問題があった。また、上記従来技術においては、送風装置の規模が大きく実現可能な環境が限られているという点も問題であった。
In the prior art described in
そこで本発明は、任意の画像コンテンツに対して鑑賞者に提供する適切な感覚情報を即時に自動生成し、感覚情報を含む高臨場感での画像鑑賞を随時可能とすることを目的とする。さらに、限られた情報提供環境で効果的な感覚情報提供による臨場感の演出を可能とすることを目的とする。 In view of the above, an object of the present invention is to immediately and automatically generate appropriate sensory information to be provided to a viewer for arbitrary image content, and to enable image appreciation including high sensory information at any time. It is another object of the present invention to provide a sense of presence by providing effective sensory information in a limited information providing environment.
本発明は上記目的を達成するため、画像中の所定の動きを抽出して画像を解析し、抽出された動きに基づき鑑賞者へ提供すべき皮膚感覚情報を生成し、生成された皮膚感覚情報を鑑賞者に提供するようにしたものである。 In order to achieve the above object, the present invention extracts a predetermined motion in an image, analyzes the image, generates skin sensation information to be provided to a viewer based on the extracted motion, and generates the generated skin sensation information. Is provided to viewers.
すなわち、本発明によれば、入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置において、
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析手段と、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも1つを含む皮膚感覚情報を生成する皮膚感覚情報生成手段と、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供手段とを、
設けたことを特徴とする情報提供装置が提供される。
That is, according to the present invention, in an information providing apparatus including an image display apparatus that displays an image based on input image information,
Image analysis means capable of supporting all image inputs without being limited to a specific image, and detecting a motion vector of the input image and extracting a predetermined motion in the image;
Skin sensation information generation means for generating skin sensation information including at least one of wind direction, wind pressure, and vibration to be provided to the viewer based on the extracted movement;
Skin sensation information providing means for providing the viewer with the generated skin sensation information,
An information providing apparatus characterized by being provided is provided.
また本発明によれば、入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置の制御をコンピュータに実現させるためのプログラムにおいて、
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析ステップと、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも1つを含む皮膚感覚情報を生成する皮膚感覚情報生成ステップと、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供ステップとを、 設けたことを特徴とする情報提供装置の制御用プログラムが提供される。
According to the present invention, in a program for causing a computer to control an information providing apparatus including an image display apparatus that displays an image based on input image information.
An image analysis step capable of supporting all image inputs without being limited to a specific image, detecting a motion vector of the input image and extracting a predetermined motion in the image;
A skin sensory information generating step for generating skin sensory information including at least one of wind direction, wind pressure, and vibration to be provided to the viewer based on the extracted movement;
There is provided a control program for an information providing apparatus, characterized in that a skin sensation information providing step for providing the generated skin sensation information to the viewer is provided.
なお、鑑賞者の生理的情報を取得し、生理的情報に基づいて鑑賞者の状態を判定し、判定結果に応じて皮膚感覚情報を提供することは、本発明の好ましい態様である。 In addition, it is a preferable aspect of the present invention to acquire physiological information of the viewer, determine the state of the viewer based on the physiological information, and provide skin sensation information according to the determination result.
本発明の情報提供装置又はその制御用プログラムによれば、画像情報中の動き情報に基づき皮膚感覚情報を生成することにより、任意の画像コンテンツに対して鑑賞者に提供する適切な感覚情報を即時に自動生成し、感覚情報を含む高臨場感での画像鑑賞を随時可能とするという効果を得ることができる。さらに、本発明は、画像情報中の動き情報に基づき、対象とする情報提供装置で実現容易な感覚情報を生成することにより、限られた情報提供環境で効果的な感覚情報提供による臨場感の演出を可能とするという効果を得ることができる。また、本発明の一態様では、鑑賞者の状態に基づいて提供情報を制御することにより、鑑賞者の健康維持増進に適切な情報提供を可能とするという効果を得ることができる。 According to the information providing apparatus or the control program of the present invention, by generating skin sensation information based on movement information in image information, appropriate sensory information to be provided to a viewer for any image content is immediately provided. It is possible to obtain an effect of enabling image viewing with high presence including sensory information at any time. Furthermore, the present invention generates sensory information that can be easily realized by the target information providing device based on the motion information in the image information, thereby providing a sense of presence by providing effective sensory information in a limited information providing environment. An effect of enabling production can be obtained. In addition, according to one aspect of the present invention, it is possible to obtain an effect that information suitable for maintaining and improving the health of the viewer can be provided by controlling the provided information based on the state of the viewer.
以下図面を参照して本発明の好ましい実施の形態について説明する。なお、本発明の情報提供装置は画像情報を表示可能な各種装置に皮膚感覚情報の生成・提供機能を付加する形態で実現することができる。
<第1の実施の形態>
図2は本発明の情報提供装置の第1の実施の形態を示す構成図である。テレビジョン装置1は、ビデオカメラ2、光ディスクプレーヤなどの画像記録再生装置3、デジタル放送受信アンテナ4などの画像入力手段と接続し画像情報を入力することができる。表示画面5の周囲には図示しないスピーカと送風装置6が設置されている。図1は本発明の情報提供装置の第1の実施の形態を示すブロック図である。情報提供装置101はデジタル映像信号及びアナログ映像信号を入力するデータ入力部102、データ変換及び画質改善処理を行う画像処理部103、表示デバイスを駆動する出力ドライバ104、表示パネルからなる画像表示部105、画像情報から所定の動きを検出する動き検出部106、動き情報を基に送風部108のコントロール情報を生成する送風情報生成部107、静音型ファンからなる送風部108、各部を統括制御する制御部109を備える。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In addition, the information provision apparatus of this invention is realizable with the form which adds the production | generation / provision function of skin sensation information to the various apparatuses which can display image information.
<First Embodiment>
FIG. 2 is a block diagram showing the first embodiment of the information providing apparatus of the present invention. The
画像表示処理の流れは通常のテレビジョン装置と同様である。データ入力部102ではデジタル映像信号はデコードされ、アナログ映像信号はデジタル化されてデジタル画像情報として画像処理部103に送られる。画像処理部103では画像情報を分析しガンマ補正、コントラスト補正、色彩補正などを行い出力ドライバ104に送る。出力ドライバ104では画像情報を出力デバイスに最適化し画像表示部105に出力し、画像表示部105では高精細画像として表示する。
The flow of image display processing is the same as that of a normal television device. In the
一方、データ入力部102でデジタル化された画像情報は動き検出部106に送られる。動き検出処理の流れを図3を用いて説明する。各フレームごとの入力画像情報に対し、ノイズ除去・エッジ抽出などの前処理を施し(S201)、前フレームとの差分を取る(S202)。フレーム差分結果から画像中に動きが有れば(S203→Y)、動きを領域として抽出し(S204)、動きベクトルviを抽出する(S205)。さらに、各領域の動きベクトルの平均Vave及び動きベクトルの分散Vvarの統計値を算出し(S206)、フレーム情報を保存しておく(S207)。画像中に動きが無ければ(S203→N)、フレーム情報を保存して(S207)終了する。ここで処理フレームにおける各動き領域の動き情報及び統計値が求められる。
On the other hand, the image information digitized by the
動き情報を基に送風情報生成部107で送風情報を生成する。送風情報生成処理の流れを図4を用いて説明する。動きベクトルの平均Vaveの値が所定の閾値Thaveより大きければ(S211→Y)、送風情報決定処理(S212)を行い、送風設定をオン(ON)にする(S215)。動きベクトルの平均Vaveの値が所定の閾値Thave以下ならば(S211→N)、動きベクトルの分散Vvarと所定の閾値Thvarを比較する(S213)。動きベクトルの分散Vvarが所定の閾値Thvarより大きければ(S213→Y)、送風領域を限定せず全面送風する設定とし(S214)、送風設定をONとする(S215)。動きベクトルの分散Vvarが所定の閾値Thvarより小さければ(S213→N)、送風設定をオフ(OFF)とする(S216)。
The blow information is generated by the blow
動きベクトルの平均Vaveの値が所定の閾値Thaveより大きい場合の送風情報決定処理(S212)について図5を用いて説明する。送風情報決定処理(S212)では、動き物体の位置を送風元として定位し、風向及び風量を設定する。まず、画像情報の構図を基に奥行き情報の有無を検出する(S221)。具体的にはハフ変換を用いて車線などの本来の平行線を表す一定角度関係の複数の線分を検出し消失点を求める。消失点が高い確度で求まり奥行情報が有る画像と判断されれば(S222→Y)、動き領域の位置情報を補正する(S223)。さらに、動き領域の分布を評価し背景画像が移動していると判断されれば(S224→Y)、風向を奥行情報に従って補正する(S225)。その後動き領域の位置に合わせて送風元を定位し(S226)、動き量に応じて風量の設定を行う(S227)。 The blowing information determination process (S212) when the average Vave value of motion vectors is larger than a predetermined threshold value Thave will be described with reference to FIG. In the blowing information determination process (S212), the position of the moving object is localized as the blowing source, and the wind direction and the air volume are set. First, the presence / absence of depth information is detected based on the composition of the image information (S221). Specifically, a vanishing point is obtained by detecting a plurality of line segments having a constant angular relationship representing an original parallel line such as a lane using Hough transform. If the vanishing point is determined with high accuracy and it is determined that the image has depth information (S222 → Y), the position information of the motion region is corrected (S223). Furthermore, if the distribution of the motion area is evaluated and it is determined that the background image is moving (S224 → Y), the wind direction is corrected according to the depth information (S225). Thereafter, the air source is localized according to the position of the movement area (S226), and the air volume is set according to the movement amount (S227).
送風情報を基に送風部108を駆動し所定の風向及び風量での送風を行う。具体的な送風情報生成処理を図6の画像例を用いて説明する。動きベクトルの平均Vaveの値が閾値Thaveより大きい場合は、図6(a)、(c)のように画面中に一定レベルのサイズ及び速度の動き物体が存在するか、図6(b)、(d)のように画面の広範囲に一定方向の動きが有る場合が想定され、送風情報決定処理の対象となる。動きベクトルの平均Vaveの値が閾値Thave以下の場合は、画面中にほとんど動きが存在しない場合(Vvar≦Thvar)と、図6(e)の水面の小波のように画面中に様々な方向の動きが存在する場合(Vvar>Thvar)が想定される。動きが存在しない場合は送風情報の設定は行わない。画面中に様々な方向の動きが存在する場合、個々の動き物体の位置を特定しそれぞれの動きを送風情報に反映させるのは小規模な装置では困難である。そこでこのような場合は、画面全体の動きを想定した送風元設定を行い小風量での送風を行う。
Based on the air blowing information, the air blowing
図4に示す送風情報決定処理S212では送風元の定位及び風向、風量を決定する。基本的には図6(c)のように動き物体の位置を送風元として定位し、動きベクトル量に対応した風量を設定することにより物体の移動に伴って鑑賞者が受ける風圧を表現する。図6(d)の流し撮りのように広範囲で動きが有る場合は画面全体を送風元として定位することにより風を切る感覚を表現することができる。ただし図6(a)、(b)のように奥行情報の有る画像の場合にはこれを補正して定位する必要がある。例えば図6(a)の車両は画面上の座標では上から下に移動しているが、実際には平面上を遠方から近づいてくるのであって、上下に移動している訳ではない。このために図6(a)のように本来の平行線を表す一定角度関係の複数の線分を近似し消失点Pを求め、消失点Pに向かう本来の平行線を表す一定角度関係の複数の線分の向きを奥行方向として、動き領域で奥行方向に動く物体について、その位置を画面上の座標からPを奥行方向とした位置座標に変換する。奥行方向の動きか否かを判定する際、動き領域の大きさの変化を用いて精度を向上させることができる。 In the blowing information determination process S212 shown in FIG. 4, the localization of the blowing source, the wind direction, and the air volume are determined. Basically, as shown in FIG. 6C, the position of the moving object is localized as the air source, and the wind pressure received by the viewer as the object moves is expressed by setting the air volume corresponding to the motion vector amount. When there is a wide range of movement as in the panning shot of FIG. 6 (d), it is possible to express the sensation of cutting off the wind by localizing the entire screen as the air source. However, in the case of an image having depth information as shown in FIGS. 6A and 6B, it is necessary to correct this and localize it. For example, the vehicle in FIG. 6 (a) is moving from top to bottom in the coordinates on the screen, but actually it is approaching from a distance on the plane, not moving up and down. For this purpose, as shown in FIG. 6 (a), a plurality of line segments having a constant angle relation representing the original parallel lines are approximated to obtain the vanishing point P, and a plurality of constant angle relations representing the original parallel lines toward the vanishing point P are obtained. Assuming that the direction of the line segment is the depth direction, the position of the object moving in the depth direction in the motion region is converted from the coordinates on the screen to the position coordinates where P is the depth direction. When determining whether or not the movement is in the depth direction, the accuracy can be improved by using a change in the size of the movement region.
さらに、図6(b)の車載カメラからの映像のように背景が奥行方向に移動する場合、送風元は画面全体に定位するが、背景が近づく方向に動く場合は鑑賞者に向けて送風し風を切る感覚を表現するのに対し、背景が遠ざかる方向に動く場合は逆に風向を設定し背景空間から遠ざかる感覚を表現する。 Furthermore, when the background moves in the depth direction as in the video from the in-vehicle camera in Fig. 6 (b), the air source is localized to the entire screen, but when the background moves in the direction approaching, the air is directed toward the viewer. In contrast to expressing the feeling of cutting the wind, if the background moves away, the direction of the wind is set to express the feeling of moving away from the background space.
送風元の定位は複数の送風ファンのオン/オフ(ON/OFF)及び風向制御で行う。また、制御部109では画像表示と送風が対応するフレーム位置で行われるようタイミング制御する。特に、送風動作のタイムラグが大きいときや、送風装置と鑑賞者の距離が遠いときなどは、画像の動きが送風動作に対して先行してしまうので、画像データを遅延させるなどして画像の動きと送風動作の同期をとることにより時間差を解消することができる。画像データを遅延させるためには、例えば図1中の画像表示部105の内部のメモリに格納した画像データを遅延させて読み出すことができる。
The localization of the air source is performed by ON / OFF and air direction control of a plurality of air blowing fans. In addition, the
なお、画像中の動きを検出する手法としては、様々な手法を用いることができるが、本出願人が先に出願した特許出願2003−278841号に記載した手法を用いることが好ましい。この手法は、下記の(1)−(4)に記載の装置又はプログラムにより実行されるものである。 Various techniques can be used as a technique for detecting motion in an image, but it is preferable to use the technique described in Japanese Patent Application No. 2003-278841 filed earlier by the present applicant. This method is executed by the apparatus or program described in the following (1) to (4).
(1)
時系列に入力される画像情報を記憶して画像の動きを検出する動き検出装置において、入力された画像フレームを複数のブロックに分割するフレーム分割手段と、分割された各分割ブロックに掛かる輝度の代表値を求める第1演算手段と、前記画像フレーム全体の輝度の代表値を求める第2演算手段と、前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第1記憶手段と、前記第1記憶手段から読み出された各輝度の代表値を用いて、時系列に入力された2つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する動きブロック検出手段と、前記動きブロックを記憶する第2記憶手段と、前記第2記憶手段から読み出された動きブロックのうち隣接するものを統合し動き領域候補とするとともに、その動き領域候補に関する情報である動き領域候補情報を作成する動き領域候補抽出手段と、前記動き領域候補抽出手段によって現フレームについて作成された動き領域候補情報を記憶する第3記憶手段と、前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記第3記憶手段から読み出された現フレームの動き領域候補情報とに基づいて作成する動き領域候補対応付け手段と、前記前フレームまでの動き領域候補対応付け情報を前記動き領域候補対応付け手段に供給するとともに、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第4記憶手段と、前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する動き領域判定手段と、前記動き領域判定手段による判定結果を出力する出力手段とを具備したことを特徴とする画像の動き検出装置。
(1)
First calculation means for obtaining a representative value; second calculation means for obtaining a representative value of the luminance of the entire image frame; and a representative value of the luminance applied to each of the divided blocks and a representative value of the luminance of the entire image frame. Using the representative value of each luminance read from the first storage means and between the divided blocks at positions corresponding to each other in two image frames input in time series A motion block detecting means for detecting a predetermined change as a motion and detecting a motion block, a second storage means for storing the motion block, and a motion block read from the second storage means. Adjacent areas of the image are integrated into motion area candidates, and motion area candidate extraction means for generating motion area candidate information, which is information relating to the motion area candidates, is created for the current frame by the motion area candidate extraction means. The third storage means for storing the motion area candidate information, and the motion area candidate association information of the current frame that associates the motion area candidate up to the previous frame with the motion area candidate of the current frame, up to the previous frame already created Motion region candidate association information created based on the motion region candidate association information of the current frame and the motion region candidate association information of the current frame read from the third storage unit, and motion region candidate association information up to the previous frame To the motion region candidate associating means, and the generated motion region candidate associating information of the current frame A motion region determination that determines whether or not the motion region candidate of the current frame corresponds to a predetermined motion region based on the fourth storage means to be stored and the created motion region candidate association information of the current frame And an output means for outputting a result of determination by the motion area determination means.
(2)
前記判定手段において、動き領域の判定基準は、前記対応付けられた動き領域候補に含まれる動きブロックの数、動きの対応付けられたフレーム数、前記対応付けられた動き領域候補に含まれる各動きブロックの位置の平均の連続するフレーム間の変位量又は変位方向、前記対応付けられた動き領域候補に含まれる各動きブロックの位置の平均の前記動き領域候補検出開始時からの変位量又は変位方向の内の、少なくとも1つを用いたものであることを特徴とする上記(1)に記載の画像の動き検出装置。
(2)
In the determination unit, the determination criterion of the motion region is the number of motion blocks included in the associated motion region candidate, the number of frames associated with the motion, and each motion included in the associated motion region candidate. The average displacement amount or displacement direction between consecutive frames of the block position, the displacement amount or displacement direction from the start of detection of the motion region candidate of the average position of each motion block included in the associated motion region candidate The image motion detection apparatus according to (1), wherein at least one of the above is used.
(3)
時系列に入力される画像情報を記憶して画像の動きを検出するための動き検出用のコンピュータプログラムであって、入力された画像フレームを複数のブロックに分割する第1手順と、分割された各分割ブロックに掛かる輝度の代表値を求める第2手順と、前記画像フレーム全体の輝度の代表値を求める第3手順と、前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第4手順と、前記記憶された各輝度の代表値を用いて、時系列に入力された2つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する第5手順と、前記動きブロックを記憶する第6手順と、前記記憶された動きブロックのうち隣接するものを統合し動き領域候補とするとともに、その動き領域候補に関する情報である動き領域候補情報を作成する第7手順と、前記第7手順によって現フレームについて作成された動き領域候補情報を記憶する第8手順と、前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記記憶された現フレームの動き領域候補情報とに基づいて作成する第9手順と、前記前フレームまでの動き領域候補対応付け情報を出力するとともに、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第10手順と、前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する第11手順と、前記第11手順による判定結果を出力する第12手順とをコンピュータに実行させることを特徴とするコンピュータプログラム。
(3)
A computer program for motion detection for detecting image motion by storing image information input in time series, a first procedure for dividing an input image frame into a plurality of blocks, and A second procedure for obtaining a representative value of the luminance applied to each divided block; a third procedure for obtaining a representative value of the luminance of the entire image frame; and a representative value of the luminance applied to each divided block and the luminance of the entire image frame. A fourth procedure for storing a representative value and a predetermined value between each divided block at a position corresponding to each other in two image frames input in time series using the stored representative value of each luminance. A fifth procedure for detecting a change as a motion and detecting a motion block, a sixth procedure for storing the motion block, and a motion region candidate by integrating adjacent ones of the stored motion blocks In addition, a seventh procedure for creating motion region candidate information that is information relating to the motion region candidate, an eighth procedure for storing motion region candidate information created for the current frame by the seventh procedure, and up to the previous frame Current region motion region candidate association information for associating a motion region candidate with a current region motion region candidate, motion region candidate association information up to the previous frame already created, and the stored current region motion region candidate information And a tenth procedure for outputting motion region candidate association information up to the previous frame and newly storing the created motion region candidate association information for the current frame, Based on the created current frame motion region candidate association information, the current frame motion region candidate is assigned to a predetermined motion region. And whether eleventh procedure for determining whether the computer program characterized by executing the first 12 steps of outputting a determination result by the first 11 steps on a computer.
(4)
前記第11手順において、動き領域の判定基準は、前記対応付けられた動き領域候補に含まれる動きブロック候補の数、動きの対応付けられたフレーム数、前記対応付けられた動き領域候補に含まれる各動きブロック候補の位置の平均のフレーム間の変位量又は変位方向、前記対応付けられた動き領域候補に含まれる各動きブロック候補の位置の平均の前記動き領域候補検出開始時からの変位量又は変位方向の内の、少なくとも1つを用いたものであることを特徴とする上記(3)に記載のコンピュータプログラム。
(4)
In the eleventh procedure, the motion region determination criterion includes the number of motion block candidates included in the associated motion region candidate, the number of frames associated with motion, and the associated motion region candidate. The displacement amount or displacement direction of the average position of each motion block candidate, the displacement amount from the start of detection of the motion region candidate, or the average position of each motion block candidate included in the associated motion region candidate, or The computer program according to (3), wherein at least one of the displacement directions is used.
この先願にかかる画像の動き検出装置によれば、照明状態の変化の影響を受けにくい動き判定を可能にし、監視システムなどにおいて照明状態の変化に伴う動きの誤検出によって発生するトラブルを有効に防止する。加えて、ユーザの監視したい対象物の動きの特徴を動き判定基準に反映させることで、検出が必要な動きを精度良く検出し、背景の検出不要な動きを排除することができるため、効率の良い監視システム構築が可能となる。また、分割ブロックや画像フレーム全体の輝度に掛かる代表値(平均値など)を動き検出の演算に用いることで、フリッカーなどのノイズの影響をあらかじめ低減させ、動き判定処理を効率化できるという利点がある。 According to the image motion detection device according to the prior application, it is possible to perform motion determination that is not easily affected by changes in the illumination state, and effectively prevent troubles caused by erroneous detection of motion associated with changes in the illumination state in a monitoring system or the like. To do. In addition, by reflecting the characteristics of the motion of the object that the user wants to monitor in the motion criterion, it is possible to accurately detect the motion that needs to be detected and eliminate the motion that does not require the detection of the background. A good monitoring system can be constructed. In addition, the use of representative values (average value, etc.) related to the brightness of the divided blocks and the entire image frame for the motion detection calculation has the advantage that the influence of noise such as flicker can be reduced in advance and the motion determination process can be made more efficient. is there.
<第2の実施の形態>
図7は本発明の情報提供装置の第2の実施の形態を示すブロック図である。情報提供装置101は情報提供装置本体120にデジタル映像信号及びアナログ映像信号を入力するデータ入力部102、データ変換及び画質改善処理を行う画像処理部103、表示デバイスを駆動する出力ドライバ104、表示パネルからなる画像表示部105、画像情報から所定の動きを検出する動き検出部106、動き情報を基に送風部のコントロール情報を生成する送風情報生成部107、静音型ファンからなる送風部108、各部を統括制御する制御部109を備える点は第1の実施の形態と同様である。本実施の形態では更に、血圧センサ113、脈拍センサ114、データ送信部115、制御部116を備えた生理的情報取得装置112を備え、情報提供装置本体120にデータ受信部111、ユーザ状態判定部110を備える。
<Second Embodiment>
FIG. 7 is a block diagram showing a second embodiment of the information providing apparatus of the present invention. The information providing apparatus 101 includes a
生理的情報取得装置112は鑑賞者に装着され、血圧センサ113、脈拍センサ114を制御して鑑賞者の生理的情報を取得し、生理的情報をデータ送信部115より情報提供装置本体120に送信する。情報提供装置本体120のデータ受信部111は生理的情報を受信し、ユーザ状態判定部110は鑑賞者の生理的情報に基づいて鑑賞者の状態を判定し、判定結果を画像処理部103と送風情報生成部107の双方に出力する。
具体的には、ユーザ状態判定部110は、例えば血圧が高く、脈拍が速い場合には、鑑賞者は興奮状態にあると判定する。画像処理部103ではこれを受けて画像のコントラストなどを鑑賞者の興奮を和らげる方向に調整する。送風情報生成部107では鑑賞者への刺激を和らげる方向で風量設定を所定より少なく設定する。なお、ユーザ状態判定部110は、画像鑑賞時に想定される適切な範囲での状態変化は許容範囲内として判定する。一方、鑑賞者の状態が通常の範囲を著しく超える場合には、画像処理部103を制御して、画像表示部105にアラーム情報を出力することが望ましい。
The physiological
Specifically, for example, when the blood pressure is high and the pulse is fast, the user
<第3の実施の形態>
図8は本発明の情報提供装置の第3の実施の形態を示すブロック図である。携帯型情報提供端末301は無線によるデジタル信号を入力するデータ入力部302、データ変換及び画質改善処理を行う画像処理部303、表示デバイスを駆動する出力ドライバ304、表示パネルからなる画像表示部305、画像情報から所定の動きを検出する動き検出部306、動き情報を基に振動部308のコントロール情報を生成する振動情報生成部307、バイブレータからなる振動部308、各部を統括制御する制御部309を備える。
<Third Embodiment>
FIG. 8 is a block diagram showing a third embodiment of the information providing apparatus of the present invention. A portable
画像表示処理の流れは通常の携帯型情報提供端末と同等である。データ入力部302ではデジタル信号がデコードされ、デジタル画像情報として画像処理部303に送られる。画像処理部303では画像情報のサイズ変換、画像効果処理などを行い出力ドライバ304に送る。出力ドライバ304では画像情報を出力デバイスに最適化し画像表示部305に出力し、画像表示部305に表示する。
The flow of the image display process is the same as that of a normal portable information providing terminal. The
一方、データ入力部302でデジタル化された画像情報は動き検出部306に送られる。動き検出処理の流れを図10を用いて説明する。各フレームごとの入力画像情報に対し、ノイズ除去エッジ抽出などの前処理を施し(S401)、前フレームとの差分を取る(S402)。フレーム差分結果から画像中に動きが有れば(S403→Y)、動きピクセル位置の平均Atを算出し(S404)、前フレームの動きピクセル位置の平均At-1との差分Vtを算出する(S405)。算出処理が終わればフレーム情報を保存する(S406)。画像中に動きが無ければ(S403→N)、フレーム情報を保存して(S406)終了する。この時点で処理フレームにおける動きピクセル位置の平均At及び、動きピクセル位置の平均Atの移動量Vt(上記差分)が得られている。平均を算出する過程でカウントした各処理フレームの動きピクセル数Ctも保存する。
On the other hand, the image information digitized by the
動き情報を基に振動情報生成部307で振動情報を生成する。振動情報生成処理の流れを図11を用いて説明する。現フレームで検出された動きピクセル数Ctと前フレームで検出された動きピクセル数Ct-1の変化量Ct-Ct-1が所定の負値の閾値Thcより小さい場合(S411→Y)、及び、現フレームで検出された動きピクセル位置の平均At移動量Vtの変化量の絶対値|Vt-Vt-1|が所定の閾値Thvより大きい場合(S412→Y)は、振動設定をONにする(S413)。Ct-Ct-1が所定の閾値Thc以上で(S411→N)、かつ、|Vt-Vt-1|が所定の閾値Thv以下の場合(S412→N)は、振動設定をOFFにする(S414)。
Based on the movement information, the vibration
図12に本実施の形態における動きピクセル数の変化と振動情報発生タイミングを人が手を叩くシーンを例に示す。画面上の動きピクセル数は両手が合って動きが止まると減少する。閾値Thcを-5000と設定すると、図12中の↑のフレームで振動設定がONになる。 FIG. 12 shows an example of a scene in which a person taps a hand with respect to the change in the number of moving pixels and the generation timing of vibration information in the present embodiment. The number of moving pixels on the screen decreases when both hands meet and stop moving. When the threshold value Thc is set to -5000, the vibration setting is turned ON in the frame indicated by ↑ in FIG.
図9は本発明の情報提供装置の第3の実施の形態における提供情報例であり、画面上で人物が手を叩くシーンで両手が合って動きが止まったフレームで振動が発生するものである。通常人が手を叩く時には手の表面に衝撃を受けるので、このタイミングに合わせて端末を把持した手に振動情報を受けることは自然な感覚である。またボールが壁に跳ね返って向きを変えるように瞬間的な力が加わる時に圧力を感じることは自然な感覚である。このようにユーザが端末を把持して画像を参照する際に、画面上の動きと合った振動情報を与えることにより高い臨場感を得ることができる。 FIG. 9 is an example of provided information in the third embodiment of the information providing apparatus of the present invention, in which vibration is generated in a frame where both hands stop moving in a scene where a person claps his hands on the screen. . Normally, when a person taps the hand, the hand surface is shocked. Therefore, it is a natural feeling that the hand holding the terminal receives vibration information in accordance with this timing. It is a natural sensation to feel pressure when a momentary force is applied as the ball bounces off the wall and changes direction. Thus, when the user holds the terminal and refers to the image, it is possible to obtain a high sense of realism by giving vibration information that matches the movement on the screen.
図8に示す振動部308には従来マナーモードとして使用されているバイブレータ機能を流用することができる。なお、各実施の形態では実用的で簡単な動き情報抽出の例を示したが、画面上の動きとより一致度の高い皮膚感覚情報設定を精度良く行うために、処理リソースに応じて動きの詳細な情報を抽出利用することは本発明の範囲内である。また、各実施の形態には特記しないが、本発明の実施の形態に対応する従来の情報提供装置に含まれる、映像と同期する音声情報の処理機能は本発明の実施の形態の情報提供装置の構成に当然含まれるものとする。
The vibrator function conventionally used as the manner mode can be used for the
以上説明したように、本発明の情報提供装置及び情報提供装置の制御用プログラムでは、画像中の所定の動きを抽出して画像を解析し、抽出された動きに基づき鑑賞者へ提供すべき皮膚感覚情報を生成し、生成された皮膚感覚情報を鑑賞者に提供するようにしたので、動きにマッチしたリアルタイムな皮膚感覚情報を容易に鑑賞者に提供することを可能とするものであり、よって、本発明は画像表示装置を含む情報提供装置である、ビデオ再生装置、テレビ受信機、各種画像モニタなど、様々な情報提供装置の分野で有用である。 As described above, the information providing apparatus and the control program for the information providing apparatus according to the present invention extract the predetermined motion in the image, analyze the image, and provide the skin to the viewer based on the extracted motion. Since the sensory information is generated and the generated skin sensory information is provided to the viewer, the real-time skin sensory information that matches the movement can be easily provided to the viewer. The present invention is useful in the field of various information providing devices such as a video reproducing device, a television receiver, and various image monitors, which are information providing devices including an image display device.
1 テレビジョン装置
2 ビデオカメラ
3 画像記録再生装置
4 デジタル放送受信アンテナ
5 表示画面
6 送風装置
101 情報提供装置
102、302 データ入力部
103、303 画像処理部
104、304 出力ドライバ
105、305 画像表示部
106、306 動き検出部(画像解析手段)
107 送風情報生成部(皮膚感覚情報生成手段)
108 送風部(皮膚感覚情報提供手段)
109、116、309 制御部
110 ユーザ状態判定部
111 データ受信部
112 生理的情報取得装置
113 血圧センサ
114 脈拍センサ
115 データ送信部
120 情報提供装置本体
301 携帯型情報提供端末
307 振動情報生成部
308 振動部
DESCRIPTION OF
107 Blower information generation part (skin sensation information generation means)
108 Blower (Skin Sense Information Providing Unit)
109, 116, 309
Claims (4)
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析手段と、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも1つを含む皮膚感覚情報を生成する皮膚感覚情報生成手段と、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供手段とを、
設けたことを特徴とする情報提供装置。 In an information providing device including an image display device that displays an image based on input image information,
Image analysis means capable of supporting all image inputs without being limited to a specific image, and detecting a motion vector of the input image and extracting a predetermined motion in the image;
Skin sensation information generation means for generating skin sensation information including at least one of wind direction, wind pressure, and vibration to be provided to the viewer based on the extracted movement;
Skin sensation information providing means for providing the viewer with the generated skin sensation information,
An information providing apparatus characterized by being provided.
前記生理的情報に基づいて前記鑑賞者の状態を判定する鑑賞者状態判定手段とを、
備え、前記鑑賞者状態判定手段の出力信号に応じて前記皮膚感覚情報提供手段を制御し、よって前記画像中の動きと前記鑑賞者の生理状態に基づいて前記皮膚感覚情報を提供することを特徴とする請求項1に記載の情報提供装置。 Physiological information acquisition means for acquiring physiological information of the viewer;
Viewer state determination means for determining the state of the viewer based on the physiological information;
And controlling the skin sensation information providing means according to an output signal of the viewer state determination means, and thus providing the skin sensation information based on the movement in the image and the physiological state of the viewer. The information providing apparatus according to claim 1.
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析ステップと、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも1つを含む皮膚感覚情報を生成する皮膚感覚情報生成ステップと、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供ステップとを、 設けたことを特徴とする情報提供装置の制御用プログラム。 In a program for causing a computer to control an information providing apparatus including an image display apparatus that displays an image based on input image information,
An image analysis step capable of supporting all image inputs without being limited to a specific image, detecting a motion vector of the input image and extracting a predetermined motion in the image;
A skin sensory information generating step for generating skin sensory information including at least one of wind direction, wind pressure, and vibration to be provided to the viewer based on the extracted movement;
A control program for an information providing apparatus, comprising: a skin sensation information providing step for providing the viewer with the generated skin sensation information.
前記生理的情報に基づいて前記鑑賞者の状態を判定する鑑賞者状態判定ステップとを、 備え、前記鑑賞者状態判定ステップの判定結果に応じて前記皮膚感覚情報提供ステップを実行し、よって前記画像中の動きと前記鑑賞者の生理状態に基づいて前記皮膚感覚情報を提供することを特徴とする請求項3に記載の情報提供装置の制御用プログラム。
A physiological information acquisition step of acquiring physiological information of the viewer;
A viewer state determination step of determining the state of the viewer based on the physiological information, and executing the skin sensation information providing step according to a determination result of the viewer state determination step, and thus the image 4. The information providing apparatus control program according to claim 3, wherein the skin sensation information is provided on the basis of a movement inside and a physiological state of the viewer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005088003A JP2006270711A (en) | 2005-03-25 | 2005-03-25 | Information providing device and control program of information providing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005088003A JP2006270711A (en) | 2005-03-25 | 2005-03-25 | Information providing device and control program of information providing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006270711A true JP2006270711A (en) | 2006-10-05 |
Family
ID=37206168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005088003A Pending JP2006270711A (en) | 2005-03-25 | 2005-03-25 | Information providing device and control program of information providing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006270711A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2315441A1 (en) * | 2008-07-15 | 2011-04-27 | Sharp Kabushiki Kaisha | Data transmission device, data reception device, method for transmitting data, method for receiving data, and method for controlling audio-visual environment |
JP2011523515A (en) * | 2008-03-10 | 2011-08-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Video processing |
JP2012010212A (en) * | 2010-06-28 | 2012-01-12 | Casio Comput Co Ltd | Image display device and program |
JP2014229315A (en) * | 2013-05-24 | 2014-12-08 | イマージョン コーポレーションImmersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
WO2017002435A1 (en) * | 2015-07-01 | 2017-01-05 | ソニー株式会社 | Information processing device, information processing method, and program |
US10298876B2 (en) | 2014-11-07 | 2019-05-21 | Sony Corporation | Information processing system, control method, and storage medium |
CN115561140A (en) * | 2022-10-12 | 2023-01-03 | 宁波得立丰服饰有限公司 | Clothing air permeability detection method and system, storage medium and intelligent terminal |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002035418A (en) * | 2000-07-21 | 2002-02-05 | Sony Corp | Device and method for information processing, information processing system, and recording medium |
JP2003324402A (en) * | 2002-05-07 | 2003-11-14 | Nippon Hoso Kyokai <Nhk> | Apparatus, method and program for producing contents linked with external equipment, and apparatus, method and program for reproducing contents linked with external equipment |
-
2005
- 2005-03-25 JP JP2005088003A patent/JP2006270711A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002035418A (en) * | 2000-07-21 | 2002-02-05 | Sony Corp | Device and method for information processing, information processing system, and recording medium |
JP2003324402A (en) * | 2002-05-07 | 2003-11-14 | Nippon Hoso Kyokai <Nhk> | Apparatus, method and program for producing contents linked with external equipment, and apparatus, method and program for reproducing contents linked with external equipment |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011523515A (en) * | 2008-03-10 | 2011-08-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Video processing |
EP2315441A1 (en) * | 2008-07-15 | 2011-04-27 | Sharp Kabushiki Kaisha | Data transmission device, data reception device, method for transmitting data, method for receiving data, and method for controlling audio-visual environment |
EP2315441A4 (en) * | 2008-07-15 | 2014-07-16 | Sharp Kk | Data transmission device, data reception device, method for transmitting data, method for receiving data, and method for controlling audio-visual environment |
JP2012010212A (en) * | 2010-06-28 | 2012-01-12 | Casio Comput Co Ltd | Image display device and program |
JP2019096349A (en) * | 2013-05-24 | 2019-06-20 | イマージョン コーポレーションImmersion Corporation | Method and device for providing tactile feedback on the basis of media content and one or more external parameters |
US10078368B2 (en) | 2013-05-24 | 2018-09-18 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
JP2014229315A (en) * | 2013-05-24 | 2014-12-08 | イマージョン コーポレーションImmersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
US10429934B2 (en) | 2013-05-24 | 2019-10-01 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
CN110502113A (en) * | 2013-05-24 | 2019-11-26 | 意美森公司 | The method and device of touch feedback is provided based on media content and external parameter |
KR20200040741A (en) * | 2013-05-24 | 2020-04-20 | 임머숀 코퍼레이션 | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
US10928910B2 (en) | 2013-05-24 | 2021-02-23 | Immersion Corporation | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
KR102251047B1 (en) * | 2013-05-24 | 2021-05-13 | 임머숀 코퍼레이션 | Method and apparatus to provide haptic feedback based on media content and one or more external parameters |
US10298876B2 (en) | 2014-11-07 | 2019-05-21 | Sony Corporation | Information processing system, control method, and storage medium |
WO2017002435A1 (en) * | 2015-07-01 | 2017-01-05 | ソニー株式会社 | Information processing device, information processing method, and program |
CN115561140A (en) * | 2022-10-12 | 2023-01-03 | 宁波得立丰服饰有限公司 | Clothing air permeability detection method and system, storage medium and intelligent terminal |
CN115561140B (en) * | 2022-10-12 | 2023-08-04 | 宁波得立丰服饰有限公司 | Clothing air permeability detection method, system, storage medium and intelligent terminal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006270711A (en) | Information providing device and control program of information providing device | |
KR101901908B1 (en) | Method for processing audio signal and apparatus for processing audio signal thereof | |
CN109416562B (en) | Apparatus, method and computer readable medium for virtual reality | |
US10998870B2 (en) | Information processing apparatus, information processing method, and program | |
CN111444748B (en) | Sitting posture detection method, device, equipment and storage medium | |
US20110228983A1 (en) | Information processor, information processing method and program | |
US20200342671A1 (en) | Information processing apparatus, information processing method, and program | |
US20200128348A1 (en) | An Apparatus and Associated Methods for Presentation of Spatial Audio | |
CN107888973B (en) | Electroencephalogram controlled video input auditory display blind guiding device and method | |
CN109154862B (en) | Apparatus, method, and computer-readable medium for processing virtual reality content | |
CN111918018A (en) | Video conference system, video conference apparatus, and video conference method | |
JP2009277097A (en) | Information processor | |
KR20180051202A (en) | Display apparatus and control method thereof | |
JP2009111833A (en) | Information presenting device | |
JP6058257B2 (en) | Image output apparatus, image output method, and program | |
US20190324708A1 (en) | Sound outputting apparatus, head-mounted display, sound outputting method, and program | |
CN112929739A (en) | Sound production control method and device, electronic equipment and storage medium | |
KR20120090565A (en) | Apparatus for processing sensory effect of image data and method for the same | |
US20220189200A1 (en) | Information processing system and information processing method | |
US20230007232A1 (en) | Information processing device and information processing method | |
WO2010140254A1 (en) | Image/sound output device and sound localizing method | |
JP4529360B2 (en) | Body sensation apparatus, motion signal generation method and program | |
US8873939B2 (en) | Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium | |
CN110418045A (en) | Image processing apparatus, image processing method and computer-readable medium | |
WO2018173445A1 (en) | Information processing device, information processing method, information processing system, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100430 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100628 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100713 |