JP2007036846A - Motion picture reproducing apparatus and control method thereof - Google Patents

Motion picture reproducing apparatus and control method thereof Download PDF

Info

Publication number
JP2007036846A
JP2007036846A JP2005219164A JP2005219164A JP2007036846A JP 2007036846 A JP2007036846 A JP 2007036846A JP 2005219164 A JP2005219164 A JP 2005219164A JP 2005219164 A JP2005219164 A JP 2005219164A JP 2007036846 A JP2007036846 A JP 2007036846A
Authority
JP
Japan
Prior art keywords
moving image
position information
observer
playback
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005219164A
Other languages
Japanese (ja)
Inventor
Kashu Takemae
嘉修 竹前
Ikuo Yoda
育生 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2005219164A priority Critical patent/JP2007036846A/en
Publication of JP2007036846A publication Critical patent/JP2007036846A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a motion picture reproducing apparatus and control method thereof in which operation such as reproduction and stop is not required. <P>SOLUTION: While a visual line or the face is not turned toward a display device (S3:NO) and it is under motion picture reproduction (S5:YES), motion picture reproduction is stopped (S13), and position information indicating a position of the stop is stored (S15). While the visual line or the face is turned toward the display device (S3:YES) and it is not under motion picture reproduction (S7:NO) but while position information is being stored (S9:YES), the position information is read out (S17) and motion picture reproduction is started from a position that the position information indicates (S19). <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、動画再生装置およびその制御方法に関するものである。   The present invention relates to a moving image playback apparatus and a control method thereof.

ＣＲＴ（Cathode Ray Tube）や液晶パネルなどを用いた表示装置で動画の再生を行う動画再生装置としては、ＶＴＲ（Video Tape Recorder）、ＤＶＤ（Digital Versatile Disk）プレーヤなどが知られている。また、かかる機能を有するパソコンでも動画の再生が行える。   As a moving image reproducing device that reproduces moving images on a display device using a CRT (Cathode Ray Tube) or a liquid crystal panel, a VTR (Video Tape Recorder), a DVD (Digital Versatile Disk) player, or the like is known. In addition, it is possible to play a moving image on a personal computer having such a function.

このような動画再生装置では、動画の再生と停止にリモートコントローラ、マウス、キーボードなどが使用される。
大野健彦、武川直樹、吉川厚：２点補正による簡易キャリブレーションを実現した視線測定システム、情報処理学会論文誌、Vol.44, No.4, pp.1136-1149(2003) Morency, L.-P., Rahimi, A., and Darrell, T.: Adaptive View-based Appearance Model, Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp.803-810(2003) 高橋健一、中野倫明、山本新：画像処理による携帯電話による指向集中の検出の検討、第１１回画像センシングシンポジウム講演論文集、pp77-80(2005) In such a moving image reproducing apparatus, a remote controller, a mouse, a keyboard, and the like are used for reproducing and stopping the moving image.
Takehiko Ohno, Naoki Takekawa, Atsushi Yoshikawa: Gaze measurement system that realized simple calibration by two-point correction, Journal of Information Processing Society of Japan, Vol.44, No.4, pp.1136-1149 (2003) Morency, L.-P., Rahimi, A., and Darrell, T .: Adaptive View-based Appearance Model, Proc.IEEE Conference on Computer Vision and Pattern Recognition, pp.803-810 (2003) Kenichi Takahashi, Noriaki Nakano, Shin Yamamoto: Examination of detection of directional concentration by mobile phone using image processing, Proc. Of the 11th Image Sensing Symposium, pp77-80 (2005)

しかしながら、リモートコントローラなどは、手で操作しなければならないので、例えば、動画を見ながらの食事のときには不便を感じる。つまり、食卓の料理から食べるものを選んだり、その食事を共にする人との会話のときには、リモートコントローラなどを手で操作して再生を停止し、そのような時間の合間に動画を楽しむときには、リモートコントローラなどを手で操作して動画を再生するといったことが不便に感じられる。しかも、再生の停止を忘れると、見ていないにも関わらず動画が再生され、そのため、停止位置まで戻す操作が必要となるので、不便さは一層のことである。   However, since a remote controller or the like must be operated by hand, for example, it is inconvenient when eating while watching a movie. In other words, when you choose what you want to eat from the table or have a conversation with someone who is eating together, you can stop playback by manually operating a remote controller etc. It is inconvenient to play a video by manually operating a remote controller. In addition, if you forget to stop playback, the movie is played back even though you have not watched it, and therefore, an operation to return to the stop position is required, which is further inconvenient.

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、再生および停止などの操作が不要な動画再生装置とその制御方法を提供することにある。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a moving image playback apparatus that does not require operations such as playback and stop, and a control method thereof.

上記の課題を解決するために、請求項１の本発明は、表示装置での動画の再生を行う動画再生装置において、前記動画の観察者を撮像するカメラとともに用いられ、該カメラにより得られた当該観察者の画像を基に当該観察者の視線または顔の向きを検出する検出手段と、前記動画を再生および停止する手段にして、前記検出手段での検出結果を基に、当該観察者の視線または顔が前記表示装置に向けられている否かを判定し、否定的な判定結果が再生中に得られた場合、再生を停止するとともに停止した位置を記憶し、肯定的な判定結果が停止中に得られた場合、記憶した位置から再生する動画再生手段とを備えたことを特徴とする動画再生装置をもって解決手段とする。   In order to solve the above problems, the present invention of claim 1 is used in a moving image reproducing apparatus for reproducing a moving image on a display device, together with a camera for imaging an observer of the moving image, and obtained by the camera. Based on the result of detection by the detection means, a detection means for detecting the observer's line of sight or face orientation based on the observer's image and a means for reproducing and stopping the moving image. When it is determined whether or not the line of sight or the face is directed to the display device and a negative determination result is obtained during playback, the playback is stopped and the stop position is stored, and the positive determination result is A moving image reproducing device provided with moving image reproducing means for reproducing from a stored position when obtained during a stop is used as the solving means.

請求項２の本発明は、前記動画再生手段は、再生を停止した位置を示す位置情報が記憶される位置情報記憶手段を備え、再生を停止した位置を示す位置情報を前記位置情報記憶手段に記憶させ、当該位置情報記憶手段に記憶された位置情報を読み出して当該位置情報が示す位置から動画を再生することを特徴とする請求項１記載の動画再生装置をもって解決手段とする。   According to a second aspect of the present invention, the moving image reproduction means includes position information storage means for storing position information indicating a position where reproduction is stopped, and position information indicating the position where reproduction is stopped is stored in the position information storage means. The moving image reproducing apparatus according to claim 1, wherein the moving image reproducing device according to claim 1 is used as the solving means, wherein the moving image is reproduced from the position indicated by the position information by reading the position information stored in the position information storing means.

請求項３の本発明は、表示装置での動画の再生を行う動画再生装置が、前記動画の観察者を撮像するカメラにより得られた当該観察者の画像を基に当該観察者の視線または顔の向きを検出し、前記動画再生装置が、検出結果を基に、当該観察者の視線または顔が前記表示装置に向けられている否かを判定し、否定的な判定結果が再生中に得られた場合、再生を停止するとともに停止した位置を記憶し、肯定的な判定結果が停止中に得られた場合、記憶した位置から再生することを特徴とする動画再生装置の制御方法をもって解決手段とする。   According to the third aspect of the present invention, the moving image reproducing device that reproduces the moving image on the display device uses the observer's line of sight or face based on the image of the observer obtained by the camera that images the observer of the moving image. The moving image reproduction device determines whether or not the observer's line of sight or face is pointed at the display device based on the detection result, and a negative determination result is obtained during reproduction. If it is, the playback position is stopped and the stop position is stored. If a positive determination result is obtained during the stop, the playback is performed from the stored position. And

請求項４の本発明は、請求項１または２記載の動画再生装置としてコンピュータを機能させるコンピュータプログラムをもって解決手段とする。   According to a fourth aspect of the present invention, there is provided a computer program for causing a computer to function as the moving picture reproducing apparatus according to the first or second aspect.

請求項５の本発明は、請求項４記載のコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体をもって解決手段とする。   The fifth aspect of the present invention provides a computer-readable recording medium in which the computer program according to the fourth aspect is recorded as a solving means.

本発明によれば、観察者の眼球または顔が撮像されたときに得られた当該眼球または顔の画像を基に、当該観察者の視線または顔の向きを検出する検出手段を設けて、かかる検出を行い、検出手段での検出結果を基に、当該観察者の視線または顔が表示装置に向けられている否かを判定し、否定的な判定結果が再生中に得られた場合、再生を停止するとともに停止した位置を記憶し、肯定的な判定結果が停止中に得られた場合、記憶した位置から動画を再生する動画再生手段を設けて、かかる停止および再生を行うことで、再生中に観察者の視線または顔が表示装置に向けられなくなったときには動画の再生が停止し、停止中に観察者の視線または顔が表示装置に向けられたときには動画が、停止した位置から再生し、よって、再生の操作、停止の操作、停止位置まで戻す操作が不要であり、その結果、不便さを解消することができる。   According to the present invention, there is provided detection means for detecting the direction of the observer's line of sight or face based on the image of the eyeball or face obtained when the eyeball or face of the observer is imaged. Performs detection, based on the detection result of the detection means, determines whether or not the observer's line of sight or face is pointed at the display device, and if a negative determination result is obtained during playback, playback Is stored and the position where it was stopped is stored, and if a positive determination result is obtained during the stop, a video playback means for playing back the video from the stored position is provided, and playback is performed by performing such stop and playback. When the observer's line of sight or face can no longer be pointed at the display device, the playback of the movie stops.When the observer's line of sight or face is pointed at the display device during the stop, the movie plays from the position where it stopped. Therefore, the playback operation, Operation of the stop, it is unnecessary to operation of returning to the stopped position, as a result, it is possible to eliminate the inconvenience.

以下、本発明の実施の形態を図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本実施の形態に係る動画再生装置を用いたシステムの構成を示す図である。   FIG. 1 is a diagram showing a configuration of a system using the moving image playback apparatus according to the present embodiment.

図１に示す動画再生装置１は、ＶＴＲ、ＤＶＤプレーヤ、ビデオＣＤ（Compact Disk）プレーヤあるいはパーソナルコンピュータなどに組み込まれて、ＣＲＴや液晶パネルなどを用いた表示装置２での動画の再生を行うものである。動画再生装置１は、この動画の観察者を撮像するステレオカメラ３とともに用いられて、ビデオテープやＤＶＤなどである動画記録媒体４に記録された動画を再生するものである。   A moving image reproducing apparatus 1 shown in FIG. 1 is incorporated in a VTR, DVD player, video CD (Compact Disk) player, personal computer, or the like, and reproduces moving images on a display device 2 using a CRT or a liquid crystal panel. It is. The moving image reproducing apparatus 1 is used together with a stereo camera 3 that images the moving image observer, and reproduces a moving image recorded on a moving image recording medium 4 such as a video tape or a DVD.

動画再生装置１は、ステレオカメラ３により観察者の眼球または顔が撮像されたときに得られた当該眼球または顔の画像を基に、当該観察者の視線または顔の向きを検出する検出部１１と、動画を再生および停止する動画再生部にして、検出部１１での検出結果と予め記憶した表示装置２の位置を基に、観察者の視線または顔が表示装置２に向けられている否かを判定し、否定的な判定結果が再生中に得られた場合、再生を停止するとともに停止した位置を記憶し、肯定的な判定結果が停止中に得られた場合、当該記憶した位置から動画を再生する動画再生部１２を備える。動画再生部１２は、再生を停止した位置を示す位置情報が記憶される位置情報記憶部１２１を備え、再生を停止した位置を示す位置情報を位置情報記憶部１２１に記憶させ、位置情報記憶部１２１に記憶された位置情報を読み出して当該位置情報が示す位置から動画を再生するようになっている。   The moving image reproducing apparatus 1 detects a viewer's line of sight or face orientation based on an image of the eyeball or face obtained when the observer's eyeball or face is captured by the stereo camera 3. Whether or not the viewer's line of sight or face is directed to the display device 2 based on the detection result of the detection unit 11 and the position of the display device 2 stored in advance. If a negative determination result is obtained during playback, the playback is stopped and the position where it was stopped is stored. If a positive determination result is obtained during stoppage, the stored position is A moving image reproducing unit 12 for reproducing a moving image is provided. The moving image reproduction unit 12 includes a position information storage unit 121 that stores position information indicating a position where reproduction is stopped, and stores position information indicating a position where reproduction is stopped in the position information storage unit 121, so that the position information storage unit The position information stored in 121 is read out and a moving image is reproduced from the position indicated by the position information.

なお、検出部１１は視線の検出を、例えば、大野健彦、武川直樹、吉川厚：２点補正による簡易キャリブレーションを実現した視線測定システム、情報処理学会論文誌、Vol.44, No.4, pp.1136-1149(2003)で、大野らが提案した方法、つまり、角膜反射法に基づき人物の視線の向きを実時間計測できる方法により行う。   The detection unit 11 detects the line of sight, for example, Takehiko Ohno, Naoki Takekawa, Atsushi Yoshikawa: A line-of-sight measurement system that realizes simple calibration by two-point correction, Journal of Information Processing Society of Japan, Vol.44, No.4, In pp.1136-1149 (2003), the method proposed by Ohno et al., that is, a method capable of measuring the direction of a person's line of sight in real time based on the corneal reflection method.

また、検出部１１は顔の向きの検出を、例えば、Morency, L.-P., Rahimi, A., and Darrell, T.: Adaptive View-based Appearance Model, Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp.803-810(2003)で、Morencyらが提案した方法、つまり、ステレオカメラから得られる距離情報と画像処理により得られる顔の特徴点を追跡することにより、人物の顔の向きを実時間計測できる方法により行う。   The detection unit 11 detects the orientation of the face, for example, Morency, L.-P., Rahimi, A., and Darrell, T .: Adaptive View-based Appearance Model, Proc. IEEE Conference on Computer Vision and Pattern. Recognition, pp.803-810 (2003) proposed by Morency et al., That is, by tracking distance information obtained from stereo cameras and facial feature points obtained by image processing, the orientation of a person's face can be determined. Use a method that allows real-time measurement.

これらの技術は、ヒューマンインタフェース、認知科学または心理学の分析用ツールとして利用されているものである。例えば、高橋健一、中野倫明、山本新：画像処理による携帯電話による指向集中の検出の検討、第１１回画像センシングシンポジウム講演論文集、pp77-80(2005)で、高橋らは、安全な運転環境を提供するために、運転中のドライバの視線方向の変化を解析することにより、ドライバが携帯電話により通話に集中しているか否かを判定する方法を提案している。   These technologies are used as tools for human interface, cognitive science or psychological analysis. For example, Kenichi Takahashi, Tomoaki Nakano, Arata Yamamoto: Examination of detection of directional concentration by mobile phone using image processing, Proceedings of the 11th Image Sensing Symposium, pp77-80 (2005), Takahashi et al. In order to provide this, a method for determining whether or not the driver is concentrating on a call with a mobile phone by analyzing changes in the line of sight of the driver while driving has been proposed.

図２は、観察者から見た表示装置２とステレオカメラ３を示す図である。   FIG. 2 is a diagram showing the display device 2 and the stereo camera 3 as viewed from the observer.

ステレオカメラ３は、カメラ３１およびカメラ３２を備え、表示装置２と観察者の間以外で、観察者の眼球または顔を撮像できる位置に設ける必要があるので、例えば、図２に示すように、表示装置２上に配置される。   Since the stereo camera 3 includes the camera 31 and the camera 32 and needs to be provided at a position where the eyeball or face of the observer can be imaged other than between the display device 2 and the observer, for example, as shown in FIG. It is arranged on the display device 2.

図３は、動画記録媒体４に記録された動画の構成を示す図である。   FIG. 3 is a diagram illustrating a configuration of a moving image recorded on the moving image recording medium 4.

本実施の形態での動画の再生では、１秒間あたり例えば、約３０個の静止画（フレームという）が連続的に表示されるので、動画記録媒体４に記録される動画は、例えば、該動画を最初から最後まで再生したときにかかる秒数の約３０倍の数のフレームで構成される。   In the reproduction of a moving image in the present embodiment, for example, about 30 still images (referred to as frames) are continuously displayed per second. Therefore, the moving image recorded on the moving image recording medium 4 is, for example, the moving image Is composed of about 30 times as many frames as the number of seconds it takes to reproduce from the beginning to the end.

次に、ステレオカメラ３および動画再生装置１の制御方法を説明する。ここでは、動画が再生されておらず、または動画の最後までの再生が終了しており、これにより、位置情報記憶部１２１には位置情報が記憶されていないこととする。   Next, a method for controlling the stereo camera 3 and the moving image playback apparatus 1 will be described. Here, it is assumed that the moving image has not been reproduced, or the reproduction to the end of the moving image has been completed, and thus position information is not stored in the position information storage unit 121.

ステレオカメラ３は、例えば、３３ｍｓ（ミリ秒）が経過する度に、カメラ３１およびカメラ３２で観察者の眼球または顔を撮像し、各カメラにより得られた２つの画像（ステレオ画像と称する）を動画再生装置１に送信する。   For example, each time 33 ms (milliseconds) elapses, the stereo camera 3 takes an image of the observer's eyeball or face with the camera 31 and the camera 32, and two images (referred to as stereo images) obtained by each camera are captured. The video is transmitted to the video playback device 1.

一方、動画再生装置１では検出部１１が、ステレオ画像が送信される度に、その画像認識を行い、その結果を基に、当該観察者の視線または顔の向きを検出し、検出結果を動画再生部１２に通知する。検出結果は例えば、眼球や顔を始点とするベクトル情報である。ここでは、ステレオ画像による視線または顔の向きの検出を行うが、その代わりに単一の画像による検出を行ってもよい。   On the other hand, in the moving image reproducing apparatus 1, the detection unit 11 performs image recognition every time a stereo image is transmitted, detects the direction of the observer's line of sight or face based on the result, and detects the detection result as a moving image. Notify the playback unit 12. The detection result is, for example, vector information starting from an eyeball or a face. Here, the direction of the line of sight or the face is detected using a stereo image, but instead, detection using a single image may be performed.

図４は、かかる検出結果を通知される動画再生部１２のフローチャートである。   FIG. 4 is a flowchart of the moving image reproducing unit 12 that is notified of the detection result.

動画再生部１２は、検出結果が通知されたか否かを判定し（Ｓ１）、ＮＯと判定された場合は、ステップＳ１に戻る一方、ＹＥＳと判定された場合は、その検出結果と予め記憶した表示装置２の位置を基に、観察者の視線または顔が表示装置２に向けられている否かを判定する（Ｓ３）。ここでＮＯと判定された場合は、動画再生中か否かを判定する（Ｓ５）。まずは、ＮＯと判定されるので、この場合、ステップＳ１に戻る。   The video playback unit 12 determines whether or not a detection result has been notified (S1). If NO is determined, the process returns to step S1. If YES is determined, the detection result is stored in advance. Based on the position of the display device 2, it is determined whether or not the observer's line of sight or face is directed to the display device 2 (S3). If NO is determined here, it is determined whether or not a moving image is being reproduced (S5). First, since it is determined NO, in this case, the process returns to step S1.

ステップＳ３でＹＥＳと判定された場合は、動画再生中か否かを判定する（Ｓ７）。まずは、ＮＯと判定されるので、この場合、位置情報記憶部１２１に位置情報が記憶されているか否かを判定する（Ｓ９）。ここでも、まずは、ＮＯと判定されるので、この場合、動画再生部１２は動画記録媒体４に記憶された動画の最初のフレームからその後のフレームへと順次にフレームを読み出し、当該フレームをその読み出し順に表示装置２に表示させる動作すなわち動画再生を開始し（Ｓ１１）、ステップＳ１に戻る。   If “YES” is determined in the step S3, it is determined whether or not the moving image is being reproduced (S7). First, since it is determined as NO, in this case, it is determined whether or not position information is stored in the position information storage unit 121 (S9). Also here, first, since it is determined as NO, in this case, the moving image reproduction unit 12 sequentially reads out the frames from the first frame of the moving image stored in the moving image recording medium 4 to the subsequent frames, and reads out the frames. The operation of displaying on the display device 2 in sequence, that is, moving image reproduction is started (S11), and the process returns to step S1.

この動画再生の開始により、ステップＳ７でＹＥＳと判定された場合、ステップＳ１に戻る。よって、動画再生は継続する。   If YES is determined in step S7 due to the start of the moving image reproduction, the process returns to step S1. Therefore, the video playback continues.

また、この動画再生の開始により、ステップＳ５でＹＥＳと判定された場合、動画再生部１２は動画再生を停止し（Ｓ１３）、停止した位置を示す位置情報として、動画の最初からの再生時間やフレーム数を位置情報記憶部１２１に記憶させ（Ｓ１５）、ステップＳ１に戻る。なお、動画再生を停止している間は、その位置または近傍のフレームを表示してもよいし、何も表示しなくてもよい。   If YES in step S5 due to the start of moving image reproduction, the moving image reproduction unit 12 stops moving image reproduction (S13), and the position information indicating the stopped position is used as the reproduction time from the beginning of the moving image. The number of frames is stored in the position information storage unit 121 (S15), and the process returns to step S1. Note that while the video playback is stopped, the frame at or near that position may be displayed, or nothing may be displayed.

この位置情報の記憶により、ステップＳ９でＹＥＳと判定された場合、動画再生部１２はまず、位置情報記憶部１２１から、記憶させた位置情報を読み出し（Ｓ１７）、その位置情報が示す位置から動画再生を開始し（Ｓ１９）、ステップＳ１に戻る。   If YES in step S9 due to the storage of the position information, the moving image reproduction unit 12 first reads the stored position information from the position information storage unit 121 (S17), and the moving image from the position indicated by the position information. Playback is started (S19), and the process returns to step S1.

以上説明したように、本実施の形態に係る動画再生装置によれば、カメラにより得られた観察者の画像を基に当該観察者の視線または顔の向きを検出する検出手段としての検出部１１を設けて、かかる検出を行い、検出手段での検出結果を基に、当該観察者の視線または顔が表示装置に向けられている否かを判定し（ステップＳ３）、否定的な判定結果が再生中に得られた場合、再生を停止するとともに停止した位置を記憶し、肯定的な判定結果が停止中に得られた場合、記憶した位置から動画を再生する動画再生手段としての動画再生部１２を設けて、かかる停止および再生を行うことで、再生中に観察者の視線または顔が表示装置に向けられなくなったときには動画の再生が停止し、停止中に観察者の視線または顔が表示装置に向けられたときには動画が、停止した位置から再生し、よって、再生の操作、停止の操作、停止位置まで戻す操作が不要であり、その結果、不便さを解消することができる。   As described above, according to the moving image reproduction device of the present embodiment, the detection unit 11 as a detection unit that detects the observer's line of sight or face orientation based on the observer's image obtained by the camera. And detecting whether or not the observer's line of sight or face is directed to the display device based on the detection result of the detection means (step S3), and the negative determination result is When obtained during reproduction, the reproduction is stopped and the position where the reproduction is stopped is stored, and when a positive determination result is obtained during reproduction, the moving image reproduction unit as a moving image reproduction unit reproduces the moving image from the stored position. 12, the stop and playback are performed, so that when the viewer's line of sight or face cannot be pointed at the display device during playback, the playback of the video is stopped, and the viewer's line of sight or face is displayed during the stop. Directed to the device Sometimes video, reproduced from the stop position, thus, the operation of reproduction, operation of the stop, it is unnecessary to operation of returning to the stopped position, as a result, it is possible to eliminate the inconvenience.

また、動画再生手段は、再生を停止した位置を示す位置情報が記憶される位置情報記憶手段としての位置情報記憶部１２１を備え、再生を停止した位置を示す位置情報を位置情報記憶手段に記憶させ、当該位置情報記憶手段に記憶された位置情報を読み出して当該位置情報が示す位置から動画を再生することで、動画を、停止した位置から再生することができる。   In addition, the moving image reproduction means includes a position information storage unit 121 as position information storage means for storing position information indicating the position where the reproduction is stopped, and stores position information indicating the position where the reproduction is stopped in the position information storage means. Then, by reading the position information stored in the position information storage unit and reproducing the moving image from the position indicated by the position information, the moving image can be reproduced from the stopped position.

なお、本実施の形態では、観察者の視線または顔の向きを検出し、その検出結果を用いることとしたが、実際には視線だけを検出し、その検出結果を用いてもよいし、逆に観察者の顔の向きだけを検出し、その検出結果を用いてもよい。   In this embodiment, the observer's line of sight or face orientation is detected and the detection result is used. However, in actuality, only the line of sight is detected and the detection result may be used. Alternatively, only the orientation of the observer's face may be detected, and the detection result may be used.

また、本実施の形態のシステムを複数用いてもよい。例えば、複数のシステムを、一人の観察者を囲むように配置して動作させることで、この観察者の視線または顔が向けられている表示装置だけで動画を再生する一方、他の表示装置では動画を停止することができる。   A plurality of systems according to the present embodiment may be used. For example, by arranging and operating a plurality of systems so as to surround one observer, a video is reproduced only on a display device to which the observer's line of sight or face is directed, while other display devices You can stop the video.

また、本実施の形態では、ステレオカメラを用いたが、これに代えて単眼カメラを用いてもよい。   In this embodiment, a stereo camera is used, but a monocular camera may be used instead.

また、本実施の形態の動画再生装置を、コンピュータプログラムで動作するコンピュータを用いて実現してもよい。このコンピュータプログラムは、通信網を介して伝送させてもよいし、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に格納してもよい。   Moreover, you may implement | achieve the moving image reproducing device of this Embodiment using the computer which operate | moves with a computer program. This computer program may be transmitted via a communication network, or may be stored in a computer-readable recording medium such as a semiconductor memory, a magnetic disk, an optical disk, a magneto-optical disk, or a magnetic tape.

本実施の形態に係る動画再生装置を用いたシステムの構成を示す図である。It is a figure which shows the structure of the system using the moving image reproducing apparatus which concerns on this Embodiment. 観察者から見た表示装置２とステレオカメラ３を示す図である。It is a figure which shows the display apparatus 2 and the stereo camera 3 which were seen from the observer. 動画記録媒体４に記録された動画の構成を示す図である。FIG. 4 is a diagram illustrating a configuration of a moving image recorded on a moving image recording medium 4. 動画再生部１２のフローチャートである。5 is a flowchart of the moving image playback unit 12.

符号の説明Explanation of symbols

１ 動画再生装置
２ 表示装置
３ ステレオカメラ
４ 動画記録媒体
１１ 検出部
１２ 動画再生部
１２１ 位置情報記憶部 DESCRIPTION OF SYMBOLS 1 Movie reproducing device 2 Display device 3 Stereo camera 4 Movie recording medium 11 Detection unit 12 Movie reproducing unit 121 Position information storage unit

Claims (5)

表示装置での動画の再生を行う動画再生装置において、
前記動画の観察者を撮像するカメラとともに用いられ、
該カメラにより得られた前記観察者の画像を基に当該観察者の視線または顔の向きを検出する検出手段と、
前記動画を再生および停止する手段にして、前記検出手段での検出結果を基に、当該観察者の視線または顔が前記表示装置に向けられている否かを判定し、否定的な判定結果が再生中に得られた場合、再生を停止するとともに停止した位置を記憶し、肯定的な判定結果が停止中に得られた場合、記憶した位置から再生する動画再生手段と
を備えたことを特徴とする動画再生装置。 In a video playback device that plays a video on a display device,
Used with a camera that images the viewer of the video,
Detecting means for detecting the observer's line of sight or face orientation based on the image of the observer obtained by the camera;
The means for playing and stopping the moving image is used to determine whether or not the observer's line of sight or face is directed to the display device based on the detection result of the detection means, and the negative determination result is Video playback means for stopping playback and storing the stop position when obtained during playback, and playing back from the stored position when a positive determination result is obtained during stop A video playback device. 前記動画再生手段は、再生を停止した位置を示す位置情報が記憶される位置情報記憶手段を備え、再生を停止した位置を示す位置情報を前記位置情報記憶手段に記憶させ、当該位置情報記憶手段に記憶された位置情報を読み出して当該位置情報が示す位置から動画を再生する
ことを特徴とする請求項１記載の動画再生装置。 The moving image reproduction means includes position information storage means for storing position information indicating a position where the reproduction is stopped, stores position information indicating the position where the reproduction is stopped in the position information storage means, and the position information storage means The moving image reproducing apparatus according to claim 1, wherein the moving image is reproduced from a position indicated by the position information by reading the position information stored in the position information. 表示装置での動画の再生を行う動画再生装置が、前記動画の観察者を撮像するカメラにより得られた当該観察者の眼球または顔の画像を基に当該観察者の視線または顔の向きを検出し、
前記動画再生装置が、検出結果を基に、当該観察者の視線または顔が前記表示装置に向けられている否かを判定し、否定的な判定結果が再生中に得られた場合、再生を停止するとともに停止した位置を記憶し、肯定的な判定結果が停止中に得られた場合、記憶した位置から再生する
ことを特徴とする動画再生装置の制御方法。 A moving image reproducing device that reproduces a moving image on a display device detects a gaze or a face direction of the observer based on an eyeball or face image of the observer obtained by a camera that images the observer of the moving image. And
Based on the detection result, the video playback device determines whether or not the observer's line of sight or face is directed to the display device, and if a negative determination result is obtained during playback, playback is performed. A method for controlling a moving image playback apparatus, wherein the stop position is stored, the stop position is stored, and if a positive determination result is obtained during the stop, playback is performed from the stored position. 請求項１または２記載の動画再生装置としてコンピュータを機能させるコンピュータプログラム。   A computer program for causing a computer to function as the moving image reproducing apparatus according to claim 1. 請求項４記載のコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。   A computer-readable recording medium on which the computer program according to claim 4 is recorded.
JP2005219164A 2005-07-28 2005-07-28 Motion picture reproducing apparatus and control method thereof Pending JP2007036846A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005219164A JP2007036846A (en) 2005-07-28 2005-07-28 Motion picture reproducing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005219164A JP2007036846A (en) 2005-07-28 2005-07-28 Motion picture reproducing apparatus and control method thereof

Publications (1)

Publication Number Publication Date
JP2007036846A true JP2007036846A (en) 2007-02-08

Family

ID=37795526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005219164A Pending JP2007036846A (en) 2005-07-28 2005-07-28 Motion picture reproducing apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP2007036846A (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010278860A (en) * 2009-05-29 2010-12-09 Panasonic Corp Video recording apparatus and external terminal
KR101351487B1 (en) * 2009-08-13 2014-01-14 엘지전자 주식회사 Mobile terminal and control method thereof
JP2014526725A (en) * 2011-09-08 2014-10-06 インテル・コーポレーション Audio visual playback position selection based on gaze
WO2016013272A1 (en) * 2014-07-23 2016-01-28 ソニー株式会社 Information processing device, information processing method and image display system
US9292088B2 (en) 2013-08-06 2016-03-22 Konica Minolta, Inc. Display device, non-transitory computer-readable recording medium and image processing apparatus
JP5956051B1 (en) * 2015-12-14 2016-07-20 株式会社ガイア・システム・ソリューション Information provision system
JP2016178450A (en) * 2015-03-19 2016-10-06 カシオ計算機株式会社 Image pickup device, image regeneration method and program
JP6055535B1 (en) * 2015-12-04 2016-12-27 株式会社ガイア・システム・ソリューション Concentration processing system
WO2017221555A1 (en) * 2016-06-23 2017-12-28 株式会社ガイア・システム・ソリューション Engagement value processing system and engagement value processing device
JP2018506205A (en) * 2014-12-23 2018-03-01 ノキア テクノロジーズ オーユー Control virtual reality content
KR101821147B1 (en) * 2016-06-10 2018-03-08 카테노이드 주식회사 Device and Method for Providing Video
JP2019212110A (en) * 2018-06-06 2019-12-12 株式会社Ｊｖｃケンウッド Recording/reproducing apparatus, recording/reproducing method, and program
JP2020140304A (en) * 2019-02-27 2020-09-03 株式会社Ｊｖｃケンウッド Recording and reproducing device, recording and reproducing method, and program

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437245B2 (en) 2009-05-29 2016-09-06 Panasonic Intellectual Property Management Co., Ltd. Video recording apparatus and external terminal
JP2010278860A (en) * 2009-05-29 2010-12-09 Panasonic Corp Video recording apparatus and external terminal
KR101351487B1 (en) * 2009-08-13 2014-01-14 엘지전자 주식회사 Mobile terminal and control method thereof
JP2014526725A (en) * 2011-09-08 2014-10-06 インテル・コーポレーション Audio visual playback position selection based on gaze
US9292088B2 (en) 2013-08-06 2016-03-22 Konica Minolta, Inc. Display device, non-transitory computer-readable recording medium and image processing apparatus
WO2016013272A1 (en) * 2014-07-23 2016-01-28 ソニー株式会社 Information processing device, information processing method and image display system
US10692300B2 (en) 2014-07-23 2020-06-23 Sony Corporation Information processing apparatus, information processing method, and image display system
JPWO2016013272A1 (en) * 2014-07-23 2017-04-27 ソニー株式会社 Information processing apparatus, information processing method, and image display system
US10269184B2 (en) 2014-07-23 2019-04-23 Sony Corporation Information processing apparatus, information processing method, and image display system
JP2018506205A (en) * 2014-12-23 2018-03-01 ノキア テクノロジーズ オーユー Control virtual reality content
JP2016178450A (en) * 2015-03-19 2016-10-06 カシオ計算機株式会社 Image pickup device, image regeneration method and program
US10027922B2 (en) 2015-03-19 2018-07-17 Casio Computer Co., Ltd. Imaging apparatus for displaying a specific scene while continuously photographing, image playback method, and non-transitory computer-readable storage medium
JP6055535B1 (en) * 2015-12-04 2016-12-27 株式会社ガイア・システム・ソリューション Concentration processing system
JP2017103702A (en) * 2015-12-04 2017-06-08 株式会社ガイア・システム・ソリューション Concentration processing system
JP5956051B1 (en) * 2015-12-14 2016-07-20 株式会社ガイア・システム・ソリューション Information provision system
KR101821147B1 (en) * 2016-06-10 2018-03-08 카테노이드 주식회사 Device and Method for Providing Video
WO2017221555A1 (en) * 2016-06-23 2017-12-28 株式会社ガイア・システム・ソリューション Engagement value processing system and engagement value processing device
US20190340780A1 (en) * 2016-06-23 2019-11-07 Gaia System Solutions Inc. Engagement value processing system and engagement value processing apparatus
JP2018005892A (en) * 2016-06-23 2018-01-11 株式会社ガイア・システム・ソリューション Engagement value processing system and engagement value processing device
WO2019235127A1 (en) * 2018-06-06 2019-12-12 株式会社Ｊｖｃケンウッド Record/play device, record/play method, and program
CN111183458A (en) * 2018-06-06 2020-05-19 Jvc建伍株式会社 Recording/reproducing device, recording/reproducing method, and program
EP3806045A4 (en) * 2018-06-06 2021-08-11 JVCKenwood Corporation Record/play device, record/play method, and program
US11616905B2 (en) 2018-06-06 2023-03-28 Jvckenwood Corporation Recording reproduction apparatus, recording reproduction method, and program
JP2019212110A (en) * 2018-06-06 2019-12-12 株式会社Ｊｖｃケンウッド Recording/reproducing apparatus, recording/reproducing method, and program
CN111183458B (en) * 2018-06-06 2021-03-02 Jvc建伍株式会社 Recording/reproducing device, recording/reproducing method, and program
US11115587B2 (en) 2018-06-06 2021-09-07 Jvckenwood Corporation Recording reproduction apparatus, recording reproduction method, and program
WO2020174813A1 (en) * 2019-02-27 2020-09-03 株式会社Ｊｖｃケンウッド Recording/reproducing device, recording/reproducing method, and program
CN112955937A (en) * 2019-02-27 2021-06-11 Jvc建伍株式会社 Recording/reproducing device, recording/reproducing method, and program
US11425329B2 (en) 2019-02-27 2022-08-23 Jvckenwood Corporation Recording/reproducing device, recording/reproducing method, and program for movable object and recording and reproducing captured by camera
JP7192570B2 (en) 2019-02-27 2022-12-20 株式会社Ｊｖｃケンウッド Recording/playback device, recording/playback method and program
JP2023009260A (en) * 2019-02-27 2023-01-19 株式会社Ｊｖｃケンウッド Reproduction device, reproduction method and program
JP2020140304A (en) * 2019-02-27 2020-09-03 株式会社Ｊｖｃケンウッド Recording and reproducing device, recording and reproducing method, and program
JP7371752B2 (en) 2019-02-27 2023-10-31 株式会社Ｊｖｃケンウッド Playback device, playback method and program

Similar Documents

Publication Publication Date Title
JP2007036846A (en) Motion picture reproducing apparatus and control method thereof
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
US7529772B2 (en) Method and system for associating user comments to a scene captured by a digital imaging device
JP4380524B2 (en) Information processing apparatus and information processing method
JP6165846B2 (en) Selective enhancement of parts of the display based on eye tracking
JP5868507B2 (en) Audio visual playback position selection based on gaze
TWI530157B (en) Method and system for displaying multi-view images and non-transitory computer readable storage medium thereof
US7643070B2 (en) Moving image generating apparatus, moving image generating method, and program
US20150036999A1 (en) Viewer Attention Controlled Video Playback
US11545188B2 (en) Video processing method, video playing method, devices and storage medium
GB2459707A (en) Automatic pausing or recording of media if user not paying attention
CN106375772A (en) Video playing method and device
KR102192704B1 (en) image outputting device
JP7110443B2 (en) Shooting method and shooting device, electronic equipment, storage medium
KR20150130187A (en) Device and method of processing images
JP2009111833A (en) Information presenting device
US20040078805A1 (en) System method and apparatus for capturing recording transmitting and displaying dynamic sessions
JP2007318431A (en) Display control system and method for controlling display
JP5442746B2 (en) Image display device
WO2018192094A1 (en) Scene presenting method and apparatus
JP2010268128A (en) Control apparatus, imaging apparatus, imaging system, image acquisition method and program
JP2009271697A (en) Display control device, display control system, and display control method
WO2012008553A1 (en) Robot system
JP2000341560A (en) Video photographing device
TW201227632A (en) Interactive multimedia teaching device and its video analysis system