JP2006270711A - Information providing device and control program of information providing device - Google Patents

Information providing device and control program of information providing device Download PDF

Info

Publication number
JP2006270711A
JP2006270711A JP2005088003A JP2005088003A JP2006270711A JP 2006270711 A JP2006270711 A JP 2006270711A JP 2005088003 A JP2005088003 A JP 2005088003A JP 2005088003 A JP2005088003 A JP 2005088003A JP 2006270711 A JP2006270711 A JP 2006270711A
Authority
JP
Japan
Prior art keywords
information
image
viewer
motion
information providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005088003A
Other languages
Japanese (ja)
Inventor
Tsukimi Wakabayashi
つきみ 若林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2005088003A priority Critical patent/JP2006270711A/en
Publication of JP2006270711A publication Critical patent/JP2006270711A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To automatically instantly generate proper feeling information provided to an appreciator for an arbitrary image content and ensure, as needed, viewing with high realistic sensations including the feeling information. <P>SOLUTION: There are provided image analyzing means 106 for extracting a predetermined movement in an image; skin feeling information generation means 107 for generating skin feeling information to be provided to the appreciator on the basis of the extracted movement; and skin feeling information providing means 108 for providing the generated skin feeling information to the appreciator. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置に関し、特に鑑賞者に画像情報に加えて画像以外の感覚情報を提供し高臨場感での画像鑑賞を可能とする情報提供装置及びその制御用プログラムに関する。   The present invention relates to an information providing device including an image display device that displays an image based on input image information, and in particular, provides viewers with sensory information other than images in addition to image information, and allows image viewing with high presence. The present invention relates to an information providing apparatus and a control program thereof.

高臨場感の情報提供を目的として画像・音声に加えて複数の感覚を同時に体験させる試みが従来より行われている。映像に合わせた座面の移動や空調制御は娯楽施設のアトラクションでしばしば用いられるが、一般の映像鑑賞においては風の効果も臨場感を増すために重要である。乗り物に乗ったときなどに必ず感じる風の効果をシミュレーションすることにより、リアルな感覚を得ることができる。下記の特許文献1では、この点に着目して画像表示装置の背面に送風装置を組み込み風の効果の有る仮想空間を生成する方法を開示している。
特開2000−78430号公報
Attempts to experience multiple sensations in addition to images and sounds have been made for the purpose of providing highly realistic information. The movement of the seat and the air-conditioning control according to the image are often used in attractions of entertainment facilities, but the effect of the wind is also important for increasing the sense of reality in general image viewing. Realistic feeling can be obtained by simulating the effect of the wind that is always felt when riding a vehicle. The following Patent Document 1 discloses a method of generating a virtual space having a wind effect by incorporating a blower device on the back of an image display device, paying attention to this point.
JP 2000-78430 A

上記特許文献1に記載されている従来技術においては、画像再生と送風のタイミングをシナリオに合わせてあらかじめ設定しておく必要があるため、感覚情報を含む高臨場感での画像鑑賞はあらかじめ提供者がタイミングを設定し編集したコンテンツに限られる。すなわち、任意の画像コンテンツを随時高臨場感で鑑賞することはできないという問題があった。また、上記従来技術においては、送風装置の規模が大きく実現可能な環境が限られているという点も問題であった。   In the prior art described in Patent Document 1 above, it is necessary to set the timing of image reproduction and blowing in advance according to the scenario. Is limited to content that has been set and edited. In other words, there is a problem that any image content cannot be viewed with a high sense of presence at any time. Moreover, in the said prior art, the point that the environment where the scale of an air blower is large and realizable is restricted was also a problem.

そこで本発明は、任意の画像コンテンツに対して鑑賞者に提供する適切な感覚情報を即時に自動生成し、感覚情報を含む高臨場感での画像鑑賞を随時可能とすることを目的とする。さらに、限られた情報提供環境で効果的な感覚情報提供による臨場感の演出を可能とすることを目的とする。   In view of the above, an object of the present invention is to immediately and automatically generate appropriate sensory information to be provided to a viewer for arbitrary image content, and to enable image appreciation including high sensory information at any time. It is another object of the present invention to provide a sense of presence by providing effective sensory information in a limited information providing environment.

本発明は上記目的を達成するため、画像中の所定の動きを抽出して画像を解析し、抽出された動きに基づき鑑賞者へ提供すべき皮膚感覚情報を生成し、生成された皮膚感覚情報を鑑賞者に提供するようにしたものである。   In order to achieve the above object, the present invention extracts a predetermined motion in an image, analyzes the image, generates skin sensation information to be provided to a viewer based on the extracted motion, and generates the generated skin sensation information. Is provided to viewers.

すなわち、本発明によれば、入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置において、
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析手段と、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも1つを含む皮膚感覚情報を生成する皮膚感覚情報生成手段と、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供手段とを、
設けたことを特徴とする情報提供装置が提供される。
That is, according to the present invention, in an information providing apparatus including an image display apparatus that displays an image based on input image information,
Image analysis means capable of supporting all image inputs without being limited to a specific image, and detecting a motion vector of the input image and extracting a predetermined motion in the image;
Skin sensation information generation means for generating skin sensation information including at least one of wind direction, wind pressure, and vibration to be provided to the viewer based on the extracted movement;
Skin sensation information providing means for providing the viewer with the generated skin sensation information,
An information providing apparatus characterized by being provided is provided.

また本発明によれば、入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置の制御をコンピュータに実現させるためのプログラムにおいて、
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析ステップと、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも1つを含む皮膚感覚情報を生成する皮膚感覚情報生成ステップと、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供ステップとを、 設けたことを特徴とする情報提供装置の制御用プログラムが提供される。
According to the present invention, in a program for causing a computer to control an information providing apparatus including an image display apparatus that displays an image based on input image information.
An image analysis step capable of supporting all image inputs without being limited to a specific image, detecting a motion vector of the input image and extracting a predetermined motion in the image;
A skin sensory information generating step for generating skin sensory information including at least one of wind direction, wind pressure, and vibration to be provided to the viewer based on the extracted movement;
There is provided a control program for an information providing apparatus, characterized in that a skin sensation information providing step for providing the generated skin sensation information to the viewer is provided.

なお、鑑賞者の生理的情報を取得し、生理的情報に基づいて鑑賞者の状態を判定し、判定結果に応じて皮膚感覚情報を提供することは、本発明の好ましい態様である。   In addition, it is a preferable aspect of the present invention to acquire physiological information of the viewer, determine the state of the viewer based on the physiological information, and provide skin sensation information according to the determination result.

本発明の情報提供装置又はその制御用プログラムによれば、画像情報中の動き情報に基づき皮膚感覚情報を生成することにより、任意の画像コンテンツに対して鑑賞者に提供する適切な感覚情報を即時に自動生成し、感覚情報を含む高臨場感での画像鑑賞を随時可能とするという効果を得ることができる。さらに、本発明は、画像情報中の動き情報に基づき、対象とする情報提供装置で実現容易な感覚情報を生成することにより、限られた情報提供環境で効果的な感覚情報提供による臨場感の演出を可能とするという効果を得ることができる。また、本発明の一態様では、鑑賞者の状態に基づいて提供情報を制御することにより、鑑賞者の健康維持増進に適切な情報提供を可能とするという効果を得ることができる。   According to the information providing apparatus or the control program of the present invention, by generating skin sensation information based on movement information in image information, appropriate sensory information to be provided to a viewer for any image content is immediately provided. It is possible to obtain an effect of enabling image viewing with high presence including sensory information at any time. Furthermore, the present invention generates sensory information that can be easily realized by the target information providing device based on the motion information in the image information, thereby providing a sense of presence by providing effective sensory information in a limited information providing environment. An effect of enabling production can be obtained. In addition, according to one aspect of the present invention, it is possible to obtain an effect that information suitable for maintaining and improving the health of the viewer can be provided by controlling the provided information based on the state of the viewer.

以下図面を参照して本発明の好ましい実施の形態について説明する。なお、本発明の情報提供装置は画像情報を表示可能な各種装置に皮膚感覚情報の生成・提供機能を付加する形態で実現することができる。
<第1の実施の形態>
図2は本発明の情報提供装置の第1の実施の形態を示す構成図である。テレビジョン装置1は、ビデオカメラ2、光ディスクプレーヤなどの画像記録再生装置3、デジタル放送受信アンテナ4などの画像入力手段と接続し画像情報を入力することができる。表示画面5の周囲には図示しないスピーカと送風装置6が設置されている。図1は本発明の情報提供装置の第1の実施の形態を示すブロック図である。情報提供装置101はデジタル映像信号及びアナログ映像信号を入力するデータ入力部102、データ変換及び画質改善処理を行う画像処理部103、表示デバイスを駆動する出力ドライバ104、表示パネルからなる画像表示部105、画像情報から所定の動きを検出する動き検出部106、動き情報を基に送風部108のコントロール情報を生成する送風情報生成部107、静音型ファンからなる送風部108、各部を統括制御する制御部109を備える。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In addition, the information provision apparatus of this invention is realizable with the form which adds the production | generation / provision function of skin sensation information to the various apparatuses which can display image information.
<First Embodiment>
FIG. 2 is a block diagram showing the first embodiment of the information providing apparatus of the present invention. The television apparatus 1 can be connected to image input means such as a video camera 2, an image recording / reproducing apparatus 3 such as an optical disc player, a digital broadcast receiving antenna 4, and the like, and can input image information. A speaker and a blower 6 (not shown) are installed around the display screen 5. FIG. 1 is a block diagram showing a first embodiment of an information providing apparatus of the present invention. The information providing apparatus 101 includes a data input unit 102 that inputs a digital video signal and an analog video signal, an image processing unit 103 that performs data conversion and image quality improvement processing, an output driver 104 that drives a display device, and an image display unit 105 that includes a display panel. A motion detection unit 106 that detects a predetermined motion from the image information, a blower information generation unit 107 that generates control information of the blower unit 108 based on the motion information, a blower unit 108 that includes a silent fan, and a control that performs overall control of each unit Part 109 is provided.

画像表示処理の流れは通常のテレビジョン装置と同様である。データ入力部102ではデジタル映像信号はデコードされ、アナログ映像信号はデジタル化されてデジタル画像情報として画像処理部103に送られる。画像処理部103では画像情報を分析しガンマ補正、コントラスト補正、色彩補正などを行い出力ドライバ104に送る。出力ドライバ104では画像情報を出力デバイスに最適化し画像表示部105に出力し、画像表示部105では高精細画像として表示する。   The flow of image display processing is the same as that of a normal television device. In the data input unit 102, the digital video signal is decoded, and the analog video signal is digitized and sent to the image processing unit 103 as digital image information. The image processing unit 103 analyzes the image information, performs gamma correction, contrast correction, color correction, and the like, and sends them to the output driver 104. The output driver 104 optimizes the image information for the output device and outputs it to the image display unit 105, and the image display unit 105 displays the image information as a high-definition image.

一方、データ入力部102でデジタル化された画像情報は動き検出部106に送られる。動き検出処理の流れを図3を用いて説明する。各フレームごとの入力画像情報に対し、ノイズ除去・エッジ抽出などの前処理を施し(S201)、前フレームとの差分を取る(S202)。フレーム差分結果から画像中に動きが有れば(S203→Y)、動きを領域として抽出し(S204)、動きベクトルviを抽出する(S205)。さらに、各領域の動きベクトルの平均Vave及び動きベクトルの分散Vvarの統計値を算出し(S206)、フレーム情報を保存しておく(S207)。画像中に動きが無ければ(S203→N)、フレーム情報を保存して(S207)終了する。ここで処理フレームにおける各動き領域の動き情報及び統計値が求められる。   On the other hand, the image information digitized by the data input unit 102 is sent to the motion detection unit 106. The flow of the motion detection process will be described with reference to FIG. The input image information for each frame is subjected to preprocessing such as noise removal and edge extraction (S201), and a difference from the previous frame is obtained (S202). If there is motion in the image from the frame difference result (S203 → Y), the motion is extracted as a region (S204), and the motion vector vi is extracted (S205). Further, statistical values of average Vave of motion vectors and variance Vvar of motion vectors in each region are calculated (S206), and frame information is stored (S207). If there is no motion in the image (S203 → N), the frame information is saved (S207) and the process ends. Here, motion information and statistical values of each motion region in the processing frame are obtained.

動き情報を基に送風情報生成部107で送風情報を生成する。送風情報生成処理の流れを図4を用いて説明する。動きベクトルの平均Vaveの値が所定の閾値Thaveより大きければ(S211→Y)、送風情報決定処理(S212)を行い、送風設定をオン(ON)にする(S215)。動きベクトルの平均Vaveの値が所定の閾値Thave以下ならば(S211→N)、動きベクトルの分散Vvarと所定の閾値Thvarを比較する(S213)。動きベクトルの分散Vvarが所定の閾値Thvarより大きければ(S213→Y)、送風領域を限定せず全面送風する設定とし(S214)、送風設定をONとする(S215)。動きベクトルの分散Vvarが所定の閾値Thvarより小さければ(S213→N)、送風設定をオフ(OFF)とする(S216)。   The blow information is generated by the blow information generation unit 107 based on the motion information. The flow of the blowing information generation process will be described with reference to FIG. If the average Vave value of the motion vectors is larger than the predetermined threshold value Thave (S211 → Y), the ventilation information determination process (S212) is performed, and the ventilation setting is turned on (S215). If the average Vave value of the motion vectors is equal to or less than a predetermined threshold Thave (S211 → N), the motion vector variance Vvar is compared with the predetermined threshold Thvar (S213). If the motion vector variance Vvar is larger than the predetermined threshold value Thvar (S213 → Y), the entire area is set to be blown without limiting the blowing area (S214), and the blowing setting is turned on (S215). If the motion vector variance Vvar is smaller than the predetermined threshold value Thvar (S213 → N), the fan setting is turned off (OFF) (S216).

動きベクトルの平均Vaveの値が所定の閾値Thaveより大きい場合の送風情報決定処理(S212)について図5を用いて説明する。送風情報決定処理(S212)では、動き物体の位置を送風元として定位し、風向及び風量を設定する。まず、画像情報の構図を基に奥行き情報の有無を検出する(S221)。具体的にはハフ変換を用いて車線などの本来の平行線を表す一定角度関係の複数の線分を検出し消失点を求める。消失点が高い確度で求まり奥行情報が有る画像と判断されれば(S222→Y)、動き領域の位置情報を補正する(S223)。さらに、動き領域の分布を評価し背景画像が移動していると判断されれば(S224→Y)、風向を奥行情報に従って補正する(S225)。その後動き領域の位置に合わせて送風元を定位し(S226)、動き量に応じて風量の設定を行う(S227)。   The blowing information determination process (S212) when the average Vave value of motion vectors is larger than a predetermined threshold value Thave will be described with reference to FIG. In the blowing information determination process (S212), the position of the moving object is localized as the blowing source, and the wind direction and the air volume are set. First, the presence / absence of depth information is detected based on the composition of the image information (S221). Specifically, a vanishing point is obtained by detecting a plurality of line segments having a constant angular relationship representing an original parallel line such as a lane using Hough transform. If the vanishing point is determined with high accuracy and it is determined that the image has depth information (S222 → Y), the position information of the motion region is corrected (S223). Furthermore, if the distribution of the motion area is evaluated and it is determined that the background image is moving (S224 → Y), the wind direction is corrected according to the depth information (S225). Thereafter, the air source is localized according to the position of the movement area (S226), and the air volume is set according to the movement amount (S227).

送風情報を基に送風部108を駆動し所定の風向及び風量での送風を行う。具体的な送風情報生成処理を図6の画像例を用いて説明する。動きベクトルの平均Vaveの値が閾値Thaveより大きい場合は、図6(a)、(c)のように画面中に一定レベルのサイズ及び速度の動き物体が存在するか、図6(b)、(d)のように画面の広範囲に一定方向の動きが有る場合が想定され、送風情報決定処理の対象となる。動きベクトルの平均Vaveの値が閾値Thave以下の場合は、画面中にほとんど動きが存在しない場合(Vvar≦Thvar)と、図6(e)の水面の小波のように画面中に様々な方向の動きが存在する場合(Vvar>Thvar)が想定される。動きが存在しない場合は送風情報の設定は行わない。画面中に様々な方向の動きが存在する場合、個々の動き物体の位置を特定しそれぞれの動きを送風情報に反映させるのは小規模な装置では困難である。そこでこのような場合は、画面全体の動きを想定した送風元設定を行い小風量での送風を行う。   Based on the air blowing information, the air blowing unit 108 is driven to blow air at a predetermined wind direction and air volume. A specific air blowing information generation process will be described with reference to the image example of FIG. When the average Vave value of the motion vectors is larger than the threshold Thave, there is a moving object of a certain size and speed in the screen as shown in FIGS. 6 (a) and 6 (c), FIG. 6 (b), As shown in (d), it is assumed that there is a movement in a certain direction over a wide range of the screen, and this is the target of the blowing information determination process. When the average Vave value of the motion vectors is less than or equal to the threshold Thave, there are almost no movements in the screen (Vvar ≦ Thvar), and there are various directions in the screen as in the small wave on the water surface in FIG. It is assumed that there is motion (Vvar> Thvar). When there is no movement, the air blow information is not set. When there are movements in various directions on the screen, it is difficult for a small-scale device to identify the position of each moving object and reflect the movements in the blowing information. Therefore, in such a case, the air source is set assuming the movement of the entire screen, and air is blown with a small air volume.

図4に示す送風情報決定処理S212では送風元の定位及び風向、風量を決定する。基本的には図6(c)のように動き物体の位置を送風元として定位し、動きベクトル量に対応した風量を設定することにより物体の移動に伴って鑑賞者が受ける風圧を表現する。図6(d)の流し撮りのように広範囲で動きが有る場合は画面全体を送風元として定位することにより風を切る感覚を表現することができる。ただし図6(a)、(b)のように奥行情報の有る画像の場合にはこれを補正して定位する必要がある。例えば図6(a)の車両は画面上の座標では上から下に移動しているが、実際には平面上を遠方から近づいてくるのであって、上下に移動している訳ではない。このために図6(a)のように本来の平行線を表す一定角度関係の複数の線分を近似し消失点Pを求め、消失点Pに向かう本来の平行線を表す一定角度関係の複数の線分の向きを奥行方向として、動き領域で奥行方向に動く物体について、その位置を画面上の座標からPを奥行方向とした位置座標に変換する。奥行方向の動きか否かを判定する際、動き領域の大きさの変化を用いて精度を向上させることができる。   In the blowing information determination process S212 shown in FIG. 4, the localization of the blowing source, the wind direction, and the air volume are determined. Basically, as shown in FIG. 6C, the position of the moving object is localized as the air source, and the wind pressure received by the viewer as the object moves is expressed by setting the air volume corresponding to the motion vector amount. When there is a wide range of movement as in the panning shot of FIG. 6 (d), it is possible to express the sensation of cutting off the wind by localizing the entire screen as the air source. However, in the case of an image having depth information as shown in FIGS. 6A and 6B, it is necessary to correct this and localize it. For example, the vehicle in FIG. 6 (a) is moving from top to bottom in the coordinates on the screen, but actually it is approaching from a distance on the plane, not moving up and down. For this purpose, as shown in FIG. 6 (a), a plurality of line segments having a constant angle relation representing the original parallel lines are approximated to obtain the vanishing point P, and a plurality of constant angle relations representing the original parallel lines toward the vanishing point P are obtained. Assuming that the direction of the line segment is the depth direction, the position of the object moving in the depth direction in the motion region is converted from the coordinates on the screen to the position coordinates where P is the depth direction. When determining whether or not the movement is in the depth direction, the accuracy can be improved by using a change in the size of the movement region.

さらに、図6(b)の車載カメラからの映像のように背景が奥行方向に移動する場合、送風元は画面全体に定位するが、背景が近づく方向に動く場合は鑑賞者に向けて送風し風を切る感覚を表現するのに対し、背景が遠ざかる方向に動く場合は逆に風向を設定し背景空間から遠ざかる感覚を表現する。   Furthermore, when the background moves in the depth direction as in the video from the in-vehicle camera in Fig. 6 (b), the air source is localized to the entire screen, but when the background moves in the direction approaching, the air is directed toward the viewer. In contrast to expressing the feeling of cutting the wind, if the background moves away, the direction of the wind is set to express the feeling of moving away from the background space.

送風元の定位は複数の送風ファンのオン/オフ(ON/OFF)及び風向制御で行う。また、制御部109では画像表示と送風が対応するフレーム位置で行われるようタイミング制御する。特に、送風動作のタイムラグが大きいときや、送風装置と鑑賞者の距離が遠いときなどは、画像の動きが送風動作に対して先行してしまうので、画像データを遅延させるなどして画像の動きと送風動作の同期をとることにより時間差を解消することができる。画像データを遅延させるためには、例えば図1中の画像表示部105の内部のメモリに格納した画像データを遅延させて読み出すことができる。   The localization of the air source is performed by ON / OFF and air direction control of a plurality of air blowing fans. In addition, the control unit 109 performs timing control so that image display and air blowing are performed at corresponding frame positions. In particular, when the time lag of the blower operation is large, or when the distance between the blower and the viewer is long, the motion of the image precedes the blower operation. The time difference can be eliminated by synchronizing the air blowing operation. In order to delay the image data, for example, the image data stored in the memory inside the image display unit 105 in FIG. 1 can be read with a delay.

なお、画像中の動きを検出する手法としては、様々な手法を用いることができるが、本出願人が先に出願した特許出願2003−278841号に記載した手法を用いることが好ましい。この手法は、下記の(1)−(4)に記載の装置又はプログラムにより実行されるものである。   Various techniques can be used as a technique for detecting motion in an image, but it is preferable to use the technique described in Japanese Patent Application No. 2003-278841 filed earlier by the present applicant. This method is executed by the apparatus or program described in the following (1) to (4).

(1)
時系列に入力される画像情報を記憶して画像の動きを検出する動き検出装置において、入力された画像フレームを複数のブロックに分割するフレーム分割手段と、分割された各分割ブロックに掛かる輝度の代表値を求める第1演算手段と、前記画像フレーム全体の輝度の代表値を求める第2演算手段と、前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第1記憶手段と、前記第1記憶手段から読み出された各輝度の代表値を用いて、時系列に入力された2つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する動きブロック検出手段と、前記動きブロックを記憶する第2記憶手段と、前記第2記憶手段から読み出された動きブロックのうち隣接するものを統合し動き領域候補とするとともに、その動き領域候補に関する情報である動き領域候補情報を作成する動き領域候補抽出手段と、前記動き領域候補抽出手段によって現フレームについて作成された動き領域候補情報を記憶する第3記憶手段と、前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記第3記憶手段から読み出された現フレームの動き領域候補情報とに基づいて作成する動き領域候補対応付け手段と、前記前フレームまでの動き領域候補対応付け情報を前記動き領域候補対応付け手段に供給するとともに、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第4記憶手段と、前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する動き領域判定手段と、前記動き領域判定手段による判定結果を出力する出力手段とを具備したことを特徴とする画像の動き検出装置。
(1)
First calculation means for obtaining a representative value; second calculation means for obtaining a representative value of the luminance of the entire image frame; and a representative value of the luminance applied to each of the divided blocks and a representative value of the luminance of the entire image frame. Using the representative value of each luminance read from the first storage means and between the divided blocks at positions corresponding to each other in two image frames input in time series A motion block detecting means for detecting a predetermined change as a motion and detecting a motion block, a second storage means for storing the motion block, and a motion block read from the second storage means. Adjacent areas of the image are integrated into motion area candidates, and motion area candidate extraction means for generating motion area candidate information, which is information relating to the motion area candidates, is created for the current frame by the motion area candidate extraction means. The third storage means for storing the motion area candidate information, and the motion area candidate association information of the current frame that associates the motion area candidate up to the previous frame with the motion area candidate of the current frame, up to the previous frame already created Motion region candidate association information created based on the motion region candidate association information of the current frame and the motion region candidate association information of the current frame read from the third storage unit, and motion region candidate association information up to the previous frame To the motion region candidate associating means, and the generated motion region candidate associating information of the current frame A motion region determination that determines whether or not the motion region candidate of the current frame corresponds to a predetermined motion region based on the fourth storage means to be stored and the created motion region candidate association information of the current frame And an output means for outputting a result of determination by the motion area determination means.

(2)
前記判定手段において、動き領域の判定基準は、前記対応付けられた動き領域候補に含まれる動きブロックの数、動きの対応付けられたフレーム数、前記対応付けられた動き領域候補に含まれる各動きブロックの位置の平均の連続するフレーム間の変位量又は変位方向、前記対応付けられた動き領域候補に含まれる各動きブロックの位置の平均の前記動き領域候補検出開始時からの変位量又は変位方向の内の、少なくとも1つを用いたものであることを特徴とする上記(1)に記載の画像の動き検出装置。
(2)
In the determination unit, the determination criterion of the motion region is the number of motion blocks included in the associated motion region candidate, the number of frames associated with the motion, and each motion included in the associated motion region candidate. The average displacement amount or displacement direction between consecutive frames of the block position, the displacement amount or displacement direction from the start of detection of the motion region candidate of the average position of each motion block included in the associated motion region candidate The image motion detection apparatus according to (1), wherein at least one of the above is used.

(3)
時系列に入力される画像情報を記憶して画像の動きを検出するための動き検出用のコンピュータプログラムであって、入力された画像フレームを複数のブロックに分割する第1手順と、分割された各分割ブロックに掛かる輝度の代表値を求める第2手順と、前記画像フレーム全体の輝度の代表値を求める第3手順と、前記各分割ブロックに掛かる輝度の代表値と前記画像フレーム全体の輝度の代表値とを記憶する第4手順と、前記記憶された各輝度の代表値を用いて、時系列に入力された2つの画像フレーム中で相互に対応する位置にある各分割ブロック間の所定の変化を動きとして検出し動きブロックを検出する第5手順と、前記動きブロックを記憶する第6手順と、前記記憶された動きブロックのうち隣接するものを統合し動き領域候補とするとともに、その動き領域候補に関する情報である動き領域候補情報を作成する第7手順と、前記第7手順によって現フレームについて作成された動き領域候補情報を記憶する第8手順と、前フレームまでの動き領域候補と現フレームの動き領域候補を対応付ける現フレームの動き領域候補対応付け情報を、既に作成されている前フレームまでの動き領域候補対応付け情報と前記記憶された現フレームの動き領域候補情報とに基づいて作成する第9手順と、前記前フレームまでの動き領域候補対応付け情報を出力するとともに、前記作成された現フレームの動き領域候補対応付け情報を新たに記憶する第10手順と、前記作成された現フレームの動き領域候補対応付け情報に基づき、前記現フレームの動き領域候補が所定の動き領域に該当するか否かを判定する第11手順と、前記第11手順による判定結果を出力する第12手順とをコンピュータに実行させることを特徴とするコンピュータプログラム。
(3)
A computer program for motion detection for detecting image motion by storing image information input in time series, a first procedure for dividing an input image frame into a plurality of blocks, and A second procedure for obtaining a representative value of the luminance applied to each divided block; a third procedure for obtaining a representative value of the luminance of the entire image frame; and a representative value of the luminance applied to each divided block and the luminance of the entire image frame. A fourth procedure for storing a representative value and a predetermined value between each divided block at a position corresponding to each other in two image frames input in time series using the stored representative value of each luminance. A fifth procedure for detecting a change as a motion and detecting a motion block, a sixth procedure for storing the motion block, and a motion region candidate by integrating adjacent ones of the stored motion blocks In addition, a seventh procedure for creating motion region candidate information that is information relating to the motion region candidate, an eighth procedure for storing motion region candidate information created for the current frame by the seventh procedure, and up to the previous frame Current region motion region candidate association information for associating a motion region candidate with a current region motion region candidate, motion region candidate association information up to the previous frame already created, and the stored current region motion region candidate information And a tenth procedure for outputting motion region candidate association information up to the previous frame and newly storing the created motion region candidate association information for the current frame, Based on the created current frame motion region candidate association information, the current frame motion region candidate is assigned to a predetermined motion region. And whether eleventh procedure for determining whether the computer program characterized by executing the first 12 steps of outputting a determination result by the first 11 steps on a computer.

(4)
前記第11手順において、動き領域の判定基準は、前記対応付けられた動き領域候補に含まれる動きブロック候補の数、動きの対応付けられたフレーム数、前記対応付けられた動き領域候補に含まれる各動きブロック候補の位置の平均のフレーム間の変位量又は変位方向、前記対応付けられた動き領域候補に含まれる各動きブロック候補の位置の平均の前記動き領域候補検出開始時からの変位量又は変位方向の内の、少なくとも1つを用いたものであることを特徴とする上記(3)に記載のコンピュータプログラム。
(4)
In the eleventh procedure, the motion region determination criterion includes the number of motion block candidates included in the associated motion region candidate, the number of frames associated with motion, and the associated motion region candidate. The displacement amount or displacement direction of the average position of each motion block candidate, the displacement amount from the start of detection of the motion region candidate, or the average position of each motion block candidate included in the associated motion region candidate, or The computer program according to (3), wherein at least one of the displacement directions is used.

この先願にかかる画像の動き検出装置によれば、照明状態の変化の影響を受けにくい動き判定を可能にし、監視システムなどにおいて照明状態の変化に伴う動きの誤検出によって発生するトラブルを有効に防止する。加えて、ユーザの監視したい対象物の動きの特徴を動き判定基準に反映させることで、検出が必要な動きを精度良く検出し、背景の検出不要な動きを排除することができるため、効率の良い監視システム構築が可能となる。また、分割ブロックや画像フレーム全体の輝度に掛かる代表値(平均値など)を動き検出の演算に用いることで、フリッカーなどのノイズの影響をあらかじめ低減させ、動き判定処理を効率化できるという利点がある。   According to the image motion detection device according to the prior application, it is possible to perform motion determination that is not easily affected by changes in the illumination state, and effectively prevent troubles caused by erroneous detection of motion associated with changes in the illumination state in a monitoring system or the like. To do. In addition, by reflecting the characteristics of the motion of the object that the user wants to monitor in the motion criterion, it is possible to accurately detect the motion that needs to be detected and eliminate the motion that does not require the detection of the background. A good monitoring system can be constructed. In addition, the use of representative values (average value, etc.) related to the brightness of the divided blocks and the entire image frame for the motion detection calculation has the advantage that the influence of noise such as flicker can be reduced in advance and the motion determination process can be made more efficient. is there.

<第2の実施の形態>
図7は本発明の情報提供装置の第2の実施の形態を示すブロック図である。情報提供装置101は情報提供装置本体120にデジタル映像信号及びアナログ映像信号を入力するデータ入力部102、データ変換及び画質改善処理を行う画像処理部103、表示デバイスを駆動する出力ドライバ104、表示パネルからなる画像表示部105、画像情報から所定の動きを検出する動き検出部106、動き情報を基に送風部のコントロール情報を生成する送風情報生成部107、静音型ファンからなる送風部108、各部を統括制御する制御部109を備える点は第1の実施の形態と同様である。本実施の形態では更に、血圧センサ113、脈拍センサ114、データ送信部115、制御部116を備えた生理的情報取得装置112を備え、情報提供装置本体120にデータ受信部111、ユーザ状態判定部110を備える。
<Second Embodiment>
FIG. 7 is a block diagram showing a second embodiment of the information providing apparatus of the present invention. The information providing apparatus 101 includes a data input unit 102 that inputs a digital video signal and an analog video signal to the information providing apparatus main body 120, an image processing unit 103 that performs data conversion and image quality improvement processing, an output driver 104 that drives a display device, and a display panel An image display unit 105, a motion detection unit 106 that detects a predetermined motion from image information, a blower information generation unit 107 that generates control information of the blower unit based on the motion information, a blower unit 108 that includes a silent fan, and each unit The point provided with the control part 109 which carries out overall control is the same as that of 1st Embodiment. The present embodiment further includes a physiological information acquisition device 112 including a blood pressure sensor 113, a pulse sensor 114, a data transmission unit 115, and a control unit 116. The information providing device main body 120 includes a data reception unit 111, a user state determination unit. 110.

生理的情報取得装置112は鑑賞者に装着され、血圧センサ113、脈拍センサ114を制御して鑑賞者の生理的情報を取得し、生理的情報をデータ送信部115より情報提供装置本体120に送信する。情報提供装置本体120のデータ受信部111は生理的情報を受信し、ユーザ状態判定部110は鑑賞者の生理的情報に基づいて鑑賞者の状態を判定し、判定結果を画像処理部103と送風情報生成部107の双方に出力する。
具体的には、ユーザ状態判定部110は、例えば血圧が高く、脈拍が速い場合には、鑑賞者は興奮状態にあると判定する。画像処理部103ではこれを受けて画像のコントラストなどを鑑賞者の興奮を和らげる方向に調整する。送風情報生成部107では鑑賞者への刺激を和らげる方向で風量設定を所定より少なく設定する。なお、ユーザ状態判定部110は、画像鑑賞時に想定される適切な範囲での状態変化は許容範囲内として判定する。一方、鑑賞者の状態が通常の範囲を著しく超える場合には、画像処理部103を制御して、画像表示部105にアラーム情報を出力することが望ましい。
The physiological information acquisition device 112 is attached to the viewer, acquires the physiological information of the viewer by controlling the blood pressure sensor 113 and the pulse sensor 114, and transmits the physiological information from the data transmission unit 115 to the information providing device main body 120. To do. The data receiving unit 111 of the information providing apparatus main body 120 receives physiological information, the user state determining unit 110 determines the state of the viewer based on the viewer's physiological information, and the determination result is sent to the image processing unit 103 and the air flow. The data is output to both of the information generation unit 107.
Specifically, for example, when the blood pressure is high and the pulse is fast, the user state determination unit 110 determines that the viewer is in an excited state. In response to this, the image processing unit 103 adjusts the contrast of the image and the like in a direction that softens the excitement of the viewer. In the air blow information generation unit 107, the air volume setting is set to be less than a predetermined value in a direction that softens the stimulus to the viewer. Note that the user state determination unit 110 determines that a state change in an appropriate range assumed when viewing an image is within an allowable range. On the other hand, when the viewer's state significantly exceeds the normal range, it is desirable to control the image processing unit 103 and output alarm information to the image display unit 105.

<第3の実施の形態>
図8は本発明の情報提供装置の第3の実施の形態を示すブロック図である。携帯型情報提供端末301は無線によるデジタル信号を入力するデータ入力部302、データ変換及び画質改善処理を行う画像処理部303、表示デバイスを駆動する出力ドライバ304、表示パネルからなる画像表示部305、画像情報から所定の動きを検出する動き検出部306、動き情報を基に振動部308のコントロール情報を生成する振動情報生成部307、バイブレータからなる振動部308、各部を統括制御する制御部309を備える。
<Third Embodiment>
FIG. 8 is a block diagram showing a third embodiment of the information providing apparatus of the present invention. A portable information providing terminal 301 includes a data input unit 302 for inputting a wireless digital signal, an image processing unit 303 for performing data conversion and image quality improvement processing, an output driver 304 for driving a display device, an image display unit 305 including a display panel, A motion detection unit 306 that detects a predetermined motion from image information, a vibration information generation unit 307 that generates control information of the vibration unit 308 based on the motion information, a vibration unit 308 that includes a vibrator, and a control unit 309 that performs overall control of each unit. Prepare.

画像表示処理の流れは通常の携帯型情報提供端末と同等である。データ入力部302ではデジタル信号がデコードされ、デジタル画像情報として画像処理部303に送られる。画像処理部303では画像情報のサイズ変換、画像効果処理などを行い出力ドライバ304に送る。出力ドライバ304では画像情報を出力デバイスに最適化し画像表示部305に出力し、画像表示部305に表示する。   The flow of the image display process is the same as that of a normal portable information providing terminal. The data input unit 302 decodes the digital signal and sends it to the image processing unit 303 as digital image information. The image processing unit 303 performs size conversion of image information, image effect processing, and the like, and sends them to the output driver 304. The output driver 304 optimizes the image information for the output device, outputs it to the image display unit 305, and displays it on the image display unit 305.

一方、データ入力部302でデジタル化された画像情報は動き検出部306に送られる。動き検出処理の流れを図10を用いて説明する。各フレームごとの入力画像情報に対し、ノイズ除去エッジ抽出などの前処理を施し(S401)、前フレームとの差分を取る(S402)。フレーム差分結果から画像中に動きが有れば(S403→Y)、動きピクセル位置の平均Atを算出し(S404)、前フレームの動きピクセル位置の平均At-1との差分Vtを算出する(S405)。算出処理が終わればフレーム情報を保存する(S406)。画像中に動きが無ければ(S403→N)、フレーム情報を保存して(S406)終了する。この時点で処理フレームにおける動きピクセル位置の平均At及び、動きピクセル位置の平均Atの移動量Vt(上記差分)が得られている。平均を算出する過程でカウントした各処理フレームの動きピクセル数Ctも保存する。   On the other hand, the image information digitized by the data input unit 302 is sent to the motion detection unit 306. The flow of the motion detection process will be described with reference to FIG. Preprocessing such as noise removal edge extraction is performed on the input image information for each frame (S401), and a difference from the previous frame is obtained (S402). If there is motion in the image from the frame difference result (S403 → Y), the average At of the motion pixel positions is calculated (S404), and the difference Vt from the average At-1 of the motion pixel positions of the previous frame is calculated ( S405). When the calculation process is completed, the frame information is saved (S406). If there is no motion in the image (S403 → N), the frame information is saved (S406) and the process ends. At this time, the average At of the motion pixel positions in the processing frame and the movement amount Vt (the above difference) of the average At of the motion pixel positions are obtained. The number of motion pixels Ct of each processing frame counted in the process of calculating the average is also stored.

動き情報を基に振動情報生成部307で振動情報を生成する。振動情報生成処理の流れを図11を用いて説明する。現フレームで検出された動きピクセル数Ctと前フレームで検出された動きピクセル数Ct-1の変化量Ct-Ct-1が所定の負値の閾値Thcより小さい場合(S411→Y)、及び、現フレームで検出された動きピクセル位置の平均At移動量Vtの変化量の絶対値|Vt-Vt-1|が所定の閾値Thvより大きい場合(S412→Y)は、振動設定をONにする(S413)。Ct-Ct-1が所定の閾値Thc以上で(S411→N)、かつ、|Vt-Vt-1|が所定の閾値Thv以下の場合(S412→N)は、振動設定をOFFにする(S414)。   Based on the movement information, the vibration information generation unit 307 generates vibration information. The flow of vibration information generation processing will be described with reference to FIG. When the amount of change Ct-Ct-1 between the number of motion pixels Ct detected in the current frame and the number of motion pixels Ct-1 detected in the previous frame is smaller than a predetermined negative threshold value Thc (S411 → Y), and When the absolute value | Vt−Vt−1 | of the change amount of the average At movement amount Vt of the motion pixel position detected in the current frame is larger than a predetermined threshold Thv (S412 → Y), the vibration setting is turned ON ( S413). When Ct-Ct-1 is equal to or greater than a predetermined threshold Thc (S411 → N) and | Vt-Vt-1 | is equal to or smaller than a predetermined threshold Thv (S412 → N), the vibration setting is turned OFF (S414 ).

図12に本実施の形態における動きピクセル数の変化と振動情報発生タイミングを人が手を叩くシーンを例に示す。画面上の動きピクセル数は両手が合って動きが止まると減少する。閾値Thcを-5000と設定すると、図12中の↑のフレームで振動設定がONになる。   FIG. 12 shows an example of a scene in which a person taps a hand with respect to the change in the number of moving pixels and the generation timing of vibration information in the present embodiment. The number of moving pixels on the screen decreases when both hands meet and stop moving. When the threshold value Thc is set to -5000, the vibration setting is turned ON in the frame indicated by ↑ in FIG.

図9は本発明の情報提供装置の第3の実施の形態における提供情報例であり、画面上で人物が手を叩くシーンで両手が合って動きが止まったフレームで振動が発生するものである。通常人が手を叩く時には手の表面に衝撃を受けるので、このタイミングに合わせて端末を把持した手に振動情報を受けることは自然な感覚である。またボールが壁に跳ね返って向きを変えるように瞬間的な力が加わる時に圧力を感じることは自然な感覚である。このようにユーザが端末を把持して画像を参照する際に、画面上の動きと合った振動情報を与えることにより高い臨場感を得ることができる。   FIG. 9 is an example of provided information in the third embodiment of the information providing apparatus of the present invention, in which vibration is generated in a frame where both hands stop moving in a scene where a person claps his hands on the screen. . Normally, when a person taps the hand, the hand surface is shocked. Therefore, it is a natural feeling that the hand holding the terminal receives vibration information in accordance with this timing. It is a natural sensation to feel pressure when a momentary force is applied as the ball bounces off the wall and changes direction. Thus, when the user holds the terminal and refers to the image, it is possible to obtain a high sense of realism by giving vibration information that matches the movement on the screen.

図8に示す振動部308には従来マナーモードとして使用されているバイブレータ機能を流用することができる。なお、各実施の形態では実用的で簡単な動き情報抽出の例を示したが、画面上の動きとより一致度の高い皮膚感覚情報設定を精度良く行うために、処理リソースに応じて動きの詳細な情報を抽出利用することは本発明の範囲内である。また、各実施の形態には特記しないが、本発明の実施の形態に対応する従来の情報提供装置に含まれる、映像と同期する音声情報の処理機能は本発明の実施の形態の情報提供装置の構成に当然含まれるものとする。   The vibrator function conventionally used as the manner mode can be used for the vibration unit 308 shown in FIG. In each embodiment, an example of practical and simple movement information extraction has been shown. However, in order to accurately set skin sensation information with a higher degree of coincidence with movement on the screen, movement information is extracted according to processing resources. It is within the scope of the present invention to extract and use detailed information. Although not specifically described in each embodiment, the processing function for audio information synchronized with video included in the conventional information providing apparatus corresponding to the embodiment of the present invention is the information providing apparatus according to the embodiment of the present invention. Of course, it shall be included in the configuration.

以上説明したように、本発明の情報提供装置及び情報提供装置の制御用プログラムでは、画像中の所定の動きを抽出して画像を解析し、抽出された動きに基づき鑑賞者へ提供すべき皮膚感覚情報を生成し、生成された皮膚感覚情報を鑑賞者に提供するようにしたので、動きにマッチしたリアルタイムな皮膚感覚情報を容易に鑑賞者に提供することを可能とするものであり、よって、本発明は画像表示装置を含む情報提供装置である、ビデオ再生装置、テレビ受信機、各種画像モニタなど、様々な情報提供装置の分野で有用である。   As described above, the information providing apparatus and the control program for the information providing apparatus according to the present invention extract the predetermined motion in the image, analyze the image, and provide the skin to the viewer based on the extracted motion. Since the sensory information is generated and the generated skin sensory information is provided to the viewer, the real-time skin sensory information that matches the movement can be easily provided to the viewer. The present invention is useful in the field of various information providing devices such as a video reproducing device, a television receiver, and various image monitors, which are information providing devices including an image display device.

本発明の情報提供装置の第1の実施の形態を示すブロック図である。1 is a block diagram showing a first embodiment of an information providing apparatus of the present invention. 本発明の情報提供装置の第1の実施の形態を示す構成図である。1 is a configuration diagram showing a first embodiment of an information providing apparatus of the present invention. 本発明の情報提供装置の第1の実施の形態における動き検出処理の流れを示すフローチャートである。6 is a flowchart showing a flow of motion detection processing in the first embodiment of the information providing apparatus of the present invention. 本発明の情報提供装置の第1の実施の形態における送風情報生成処理の流れを示すフローチャートである。6 is a flowchart showing a flow of a blowing information generation process in the first embodiment of the information providing apparatus of the present invention. 本発明の情報提供装置の第1の実施の形態における送風情報決定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the ventilation information determination process in 1st Embodiment of the information provision apparatus of this invention. 本発明の情報提供装置の第1の実施の形態における画像の例である。It is an example of the image in 1st Embodiment of the information provision apparatus of this invention. 本発明の情報提供装置の第2の実施の形態を示すブロック図である。It is a block diagram which shows 2nd Embodiment of the information provision apparatus of this invention. 本発明の情報提供装置の第3の実施の形態を示すブロック図である。It is a block diagram which shows 3rd Embodiment of the information provision apparatus of this invention. 本発明の情報提供装置の第3の実施の形態における提供情報の例である。It is an example of the provision information in 3rd Embodiment of the information provision apparatus of this invention. 本発明の情報提供装置の第3の実施の形態における動き検出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the motion detection process in 3rd Embodiment of the information provision apparatus of this invention. 本発明の情報提供装置の第3の実施の形態における振動情報生成処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the vibration information generation process in 3rd Embodiment of the information provision apparatus of this invention. 本発明の情報提供装置の第3の実施の形態における動きピクセル数の変化と振動情報発生タイミングを示す図である。It is a figure which shows the change of the number of motion pixels, and vibration information generation timing in 3rd Embodiment of the information provision apparatus of this invention.

符号の説明Explanation of symbols

1 テレビジョン装置
2 ビデオカメラ
3 画像記録再生装置
4 デジタル放送受信アンテナ
5 表示画面
6 送風装置
101 情報提供装置
102、302 データ入力部
103、303 画像処理部
104、304 出力ドライバ
105、305 画像表示部
106、306 動き検出部(画像解析手段)
107 送風情報生成部(皮膚感覚情報生成手段)
108 送風部(皮膚感覚情報提供手段)
109、116、309 制御部
110 ユーザ状態判定部
111 データ受信部
112 生理的情報取得装置
113 血圧センサ
114 脈拍センサ
115 データ送信部
120 情報提供装置本体
301 携帯型情報提供端末
307 振動情報生成部
308 振動部
DESCRIPTION OF SYMBOLS 1 Television apparatus 2 Video camera 3 Image recording / reproducing apparatus 4 Digital broadcast receiving antenna 5 Display screen 6 Blower apparatus 101 Information provision apparatus 102, 302 Data input part 103, 303 Image processing part 104, 304 Output driver 105, 305 Image display part 106, 306 Motion detection unit (image analysis means)
107 Blower information generation part (skin sensation information generation means)
108 Blower (Skin Sense Information Providing Unit)
109, 116, 309 Control unit 110 User state determination unit 111 Data reception unit 112 Physiological information acquisition device 113 Blood pressure sensor 114 Pulse sensor 115 Data transmission unit 120 Information provision device main body 301 Portable information provision terminal 307 Vibration information generation unit 308 Vibration Part

Claims (4)

入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置において、
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析手段と、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも1つを含む皮膚感覚情報を生成する皮膚感覚情報生成手段と、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供手段とを、
設けたことを特徴とする情報提供装置。
In an information providing device including an image display device that displays an image based on input image information,
Image analysis means capable of supporting all image inputs without being limited to a specific image, and detecting a motion vector of the input image and extracting a predetermined motion in the image;
Skin sensation information generation means for generating skin sensation information including at least one of wind direction, wind pressure, and vibration to be provided to the viewer based on the extracted movement;
Skin sensation information providing means for providing the viewer with the generated skin sensation information,
An information providing apparatus characterized by being provided.
前記鑑賞者の生理的情報を取得する生理的情報取得手段と、
前記生理的情報に基づいて前記鑑賞者の状態を判定する鑑賞者状態判定手段とを、
備え、前記鑑賞者状態判定手段の出力信号に応じて前記皮膚感覚情報提供手段を制御し、よって前記画像中の動きと前記鑑賞者の生理状態に基づいて前記皮膚感覚情報を提供することを特徴とする請求項1に記載の情報提供装置。
Physiological information acquisition means for acquiring physiological information of the viewer;
Viewer state determination means for determining the state of the viewer based on the physiological information;
And controlling the skin sensation information providing means according to an output signal of the viewer state determination means, and thus providing the skin sensation information based on the movement in the image and the physiological state of the viewer. The information providing apparatus according to claim 1.
入力された画像情報に基づいて画像を表示する画像表示装置を含む情報提供装置の制御をコンピュータに実現させるためのプログラムにおいて、
特定の画像に限られることなく、すべての画像入力に対応可能であり、前記入力された画像の動きベクトルを検出して前記画像中の所定の動きを抽出する画像解析ステップと、
抽出された前記動きに基づき鑑賞者へ提供すべき風向・風圧・振動の少なくとも1つを含む皮膚感覚情報を生成する皮膚感覚情報生成ステップと、
生成された前記皮膚感覚情報を前記鑑賞者に提供する皮膚感覚情報提供ステップとを、 設けたことを特徴とする情報提供装置の制御用プログラム。
In a program for causing a computer to control an information providing apparatus including an image display apparatus that displays an image based on input image information,
An image analysis step capable of supporting all image inputs without being limited to a specific image, detecting a motion vector of the input image and extracting a predetermined motion in the image;
A skin sensory information generating step for generating skin sensory information including at least one of wind direction, wind pressure, and vibration to be provided to the viewer based on the extracted movement;
A control program for an information providing apparatus, comprising: a skin sensation information providing step for providing the viewer with the generated skin sensation information.
前記鑑賞者の生理的情報を取得する生理的情報取得ステップと、
前記生理的情報に基づいて前記鑑賞者の状態を判定する鑑賞者状態判定ステップとを、 備え、前記鑑賞者状態判定ステップの判定結果に応じて前記皮膚感覚情報提供ステップを実行し、よって前記画像中の動きと前記鑑賞者の生理状態に基づいて前記皮膚感覚情報を提供することを特徴とする請求項3に記載の情報提供装置の制御用プログラム。
A physiological information acquisition step of acquiring physiological information of the viewer;
A viewer state determination step of determining the state of the viewer based on the physiological information, and executing the skin sensation information providing step according to a determination result of the viewer state determination step, and thus the image 4. The information providing apparatus control program according to claim 3, wherein the skin sensation information is provided on the basis of a movement inside and a physiological state of the viewer.
JP2005088003A 2005-03-25 2005-03-25 Information providing device and control program of information providing device Pending JP2006270711A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005088003A JP2006270711A (en) 2005-03-25 2005-03-25 Information providing device and control program of information providing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005088003A JP2006270711A (en) 2005-03-25 2005-03-25 Information providing device and control program of information providing device

Publications (1)

Publication Number Publication Date
JP2006270711A true JP2006270711A (en) 2006-10-05

Family

ID=37206168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005088003A Pending JP2006270711A (en) 2005-03-25 2005-03-25 Information providing device and control program of information providing device

Country Status (1)

Country Link
JP (1) JP2006270711A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2315441A1 (en) * 2008-07-15 2011-04-27 Sharp Kabushiki Kaisha Data transmission device, data reception device, method for transmitting data, method for receiving data, and method for controlling audio-visual environment
JP2011523515A (en) * 2008-03-10 2011-08-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Video processing
JP2012010212A (en) * 2010-06-28 2012-01-12 Casio Comput Co Ltd Image display device and program
JP2014229315A (en) * 2013-05-24 2014-12-08 イマージョン コーポレーションImmersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
WO2017002435A1 (en) * 2015-07-01 2017-01-05 ソニー株式会社 Information processing device, information processing method, and program
US10298876B2 (en) 2014-11-07 2019-05-21 Sony Corporation Information processing system, control method, and storage medium
CN115561140A (en) * 2022-10-12 2023-01-03 宁波得立丰服饰有限公司 Clothing air permeability detection method and system, storage medium and intelligent terminal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002035418A (en) * 2000-07-21 2002-02-05 Sony Corp Device and method for information processing, information processing system, and recording medium
JP2003324402A (en) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> Apparatus, method and program for producing contents linked with external equipment, and apparatus, method and program for reproducing contents linked with external equipment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002035418A (en) * 2000-07-21 2002-02-05 Sony Corp Device and method for information processing, information processing system, and recording medium
JP2003324402A (en) * 2002-05-07 2003-11-14 Nippon Hoso Kyokai <Nhk> Apparatus, method and program for producing contents linked with external equipment, and apparatus, method and program for reproducing contents linked with external equipment

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011523515A (en) * 2008-03-10 2011-08-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Video processing
EP2315441A1 (en) * 2008-07-15 2011-04-27 Sharp Kabushiki Kaisha Data transmission device, data reception device, method for transmitting data, method for receiving data, and method for controlling audio-visual environment
EP2315441A4 (en) * 2008-07-15 2014-07-16 Sharp Kk Data transmission device, data reception device, method for transmitting data, method for receiving data, and method for controlling audio-visual environment
JP2012010212A (en) * 2010-06-28 2012-01-12 Casio Comput Co Ltd Image display device and program
JP2019096349A (en) * 2013-05-24 2019-06-20 イマージョン コーポレーションImmersion Corporation Method and device for providing tactile feedback on the basis of media content and one or more external parameters
US10078368B2 (en) 2013-05-24 2018-09-18 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
JP2014229315A (en) * 2013-05-24 2014-12-08 イマージョン コーポレーションImmersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US10429934B2 (en) 2013-05-24 2019-10-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
CN110502113A (en) * 2013-05-24 2019-11-26 意美森公司 The method and device of touch feedback is provided based on media content and external parameter
KR20200040741A (en) * 2013-05-24 2020-04-20 임머숀 코퍼레이션 Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US10928910B2 (en) 2013-05-24 2021-02-23 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
KR102251047B1 (en) * 2013-05-24 2021-05-13 임머숀 코퍼레이션 Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US10298876B2 (en) 2014-11-07 2019-05-21 Sony Corporation Information processing system, control method, and storage medium
WO2017002435A1 (en) * 2015-07-01 2017-01-05 ソニー株式会社 Information processing device, information processing method, and program
CN115561140A (en) * 2022-10-12 2023-01-03 宁波得立丰服饰有限公司 Clothing air permeability detection method and system, storage medium and intelligent terminal
CN115561140B (en) * 2022-10-12 2023-08-04 宁波得立丰服饰有限公司 Clothing air permeability detection method, system, storage medium and intelligent terminal

Similar Documents

Publication Publication Date Title
JP2006270711A (en) Information providing device and control program of information providing device
KR101901908B1 (en) Method for processing audio signal and apparatus for processing audio signal thereof
CN109416562B (en) Apparatus, method and computer readable medium for virtual reality
US10998870B2 (en) Information processing apparatus, information processing method, and program
CN111444748B (en) Sitting posture detection method, device, equipment and storage medium
US20110228983A1 (en) Information processor, information processing method and program
US20200342671A1 (en) Information processing apparatus, information processing method, and program
US20200128348A1 (en) An Apparatus and Associated Methods for Presentation of Spatial Audio
CN107888973B (en) Electroencephalogram controlled video input auditory display blind guiding device and method
CN109154862B (en) Apparatus, method, and computer-readable medium for processing virtual reality content
CN111918018A (en) Video conference system, video conference apparatus, and video conference method
JP2009277097A (en) Information processor
KR20180051202A (en) Display apparatus and control method thereof
JP2009111833A (en) Information presenting device
JP6058257B2 (en) Image output apparatus, image output method, and program
US20190324708A1 (en) Sound outputting apparatus, head-mounted display, sound outputting method, and program
CN112929739A (en) Sound production control method and device, electronic equipment and storage medium
KR20120090565A (en) Apparatus for processing sensory effect of image data and method for the same
US20220189200A1 (en) Information processing system and information processing method
US20230007232A1 (en) Information processing device and information processing method
WO2010140254A1 (en) Image/sound output device and sound localizing method
JP4529360B2 (en) Body sensation apparatus, motion signal generation method and program
US8873939B2 (en) Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium
CN110418045A (en) Image processing apparatus, image processing method and computer-readable medium
WO2018173445A1 (en) Information processing device, information processing method, information processing system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100628

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100713