JP2016025523A - Video feedback device, video feedback method, and program - Google Patents
Video feedback device, video feedback method, and program Download PDFInfo
- Publication number
- JP2016025523A JP2016025523A JP2014149041A JP2014149041A JP2016025523A JP 2016025523 A JP2016025523 A JP 2016025523A JP 2014149041 A JP2014149041 A JP 2014149041A JP 2014149041 A JP2014149041 A JP 2014149041A JP 2016025523 A JP2016025523 A JP 2016025523A
- Authority
- JP
- Japan
- Prior art keywords
- display
- video
- display mode
- camera
- positional relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、映像の表示技術に関する。 The present invention relates to a video display technique.
スポーツなどにおける動作の練習において、撮影された自分の動作を確認することは極めて重要である。以前から練習者は自分の動作を鏡に映して確認していた。
例えば、自分の動作をビデオに撮影して、撮影した映像をディスプレイに表示させるビデオフィードバック装置がある。このビデオフィードバック装置は、練習者の動作と手本動作とを時間的に同期させ、短時間の遅延を加えて再生する（例えば、非特許文献１参照）。
練習者は、ディスプレイに表示された画像を見ながら、自分の動作を確認できる。
It is extremely important to check the motion of the photographed person when practicing the motion in sports or the like. For some time, practitioners have confirmed their actions in the mirror.
For example, there is a video feedback device that takes a picture of its own action and displays the taken picture on a display. This video feedback device synchronizes the exerciser's action and the model action in time, and reproduces it with a short delay (see, for example, Non-Patent Document 1).
The practitioner can check his / her movement while viewing the image displayed on the display.
しかしながら、ディスプレイに表示された画像内の動きと実際の自分の動きとが左右逆になってしまう場合がある。この場合、自分の動作をビデオに撮影した映像をみることにより自分の動作を確認することが困難となる。 However, there are cases where the movement in the image displayed on the display and the actual movement of the user are reversed. In this case, it is difficult to confirm the user's operation by viewing a video of the user's operation taken in a video.
本発明はこのような事情に鑑みてなされたもので、撮影された画像を見ることによる動作の確認を容易にする技術の提供を目的としている。 The present invention has been made in view of such circumstances, and an object thereof is to provide a technique that facilitates confirmation of an operation by viewing a photographed image.
本発明の一態様は、カメラにより撮影された映像を取得する映像取得部と、前記カメラとディスプレイとの相対的な位置関係を取得する相対位置取得部と、前記相対的な位置関係に基づき、映像の左右を反転させる左右反転表示モード、または、映像の左右を反転させない左右非反転表示モードのどちらで表示すべきか決定する表示モード決定部と、前記表示モード決定部の決定にしたがって、前記映像取得部によって取得された映像をディスプレイに表示させる映像表示制御部と、を備えるビデオフィードバック装置である。 One aspect of the present invention is based on a video acquisition unit that acquires video captured by a camera, a relative position acquisition unit that acquires a relative positional relationship between the camera and the display, and the relative positional relationship. According to the determination of the display mode determination unit, a display mode determination unit that determines whether to display in a left / right reverse display mode that reverses the left / right of the video, or a non-reverse display mode that does not reverse the left / right of the video, and the display mode determination unit And a video display control unit that displays the video acquired by the acquisition unit on a display.
本発明の一態様は、上記のビデオフィードバック装置であって、前記相対位置取得部は、前記カメラが被写体を撮影する方向と前記ディスプレイが画像を表示する方向とに基づいて前記相対的な位置関係を取得する。 One aspect of the present invention is the video feedback device described above, in which the relative position acquisition unit is configured to determine the relative positional relationship based on a direction in which the camera captures a subject and a direction in which the display displays an image. To get.
本発明の一態様は、上記のビデオフィードバック装置であって、前記相対位置取得部は、前記映像取得部によって取得された映像から前記ディスプレイに示される指標を抽出した場合、前記指標に基づいて前記相対的な位置関係を取得する。 One aspect of the present invention is the video feedback device described above, in which the relative position acquisition unit extracts the index indicated on the display from the video acquired by the video acquisition unit, based on the index Get the relative positional relationship.
本発明の一態様は、上記のビデオフィードバック装置であって、前記映像表示制御部は、前記カメラが被写体を撮影する方向と前記ディスプレイが画像を表示する方向とがなす角度が閾値以下である場合、前記左右反転表示モードで表示することを決定し、前記カメラが被写体を撮影する方向と前記ディスプレイが画像を表示する方向とがなす角度が閾値を超えた場合、前記左右非反転表示モードで表示することを決定する。 One aspect of the present invention is the video feedback device described above, in which the video display control unit is configured such that an angle formed by a direction in which the camera captures a subject and a direction in which the display displays an image is equal to or less than a threshold value. If the angle formed between the direction in which the camera captures the subject and the direction in which the display displays an image exceeds a threshold, the display is performed in the left / right non-inverted display mode. Decide what to do.
本発明の一態様は、上記のビデオフィードバック装置であって、前記閾値は、１０度である。 One aspect of the present invention is the video feedback device described above, in which the threshold is 10 degrees.
本発明の一態様は、上記のビデオフィードバック装置であって、前記映像表示制御部は、前記カメラの中心点と前記ディスプレイの中心点との距離が予め決められた長さ以内である場合、前記左右反転表示モードで表示することを決定し、前記カメラの中心点と前記ディスプレイの中心点との距離が前記予め決められた長さを超えた場合、前記左右非反転表示モードで表示することを決定する。 One aspect of the present invention is the video feedback device described above, in which the video display control unit is configured such that the distance between the center point of the camera and the center point of the display is within a predetermined length, When it is determined to display in the horizontally reversed display mode, and the distance between the center point of the camera and the center point of the display exceeds the predetermined length, the display is performed in the horizontally reversed display mode. decide.
本発明の一態様は、カメラにより撮影された映像を取得する映像取得ステップと、前記カメラとディスプレイとの相対的な位置関係を取得する相対位置取得ステップと、前記相対的な位置関係に基づき、映像の左右を反転させる左右反転表示モード、または、映像の左右を反転させない左右非反転表示モードのどちらで表示すべきか決定する表示モード決定ステップと、前記表示モード決定ステップにおける決定にしたがって、前記映像をディスプレイに表示させる映像表示制御ステップと、を有するビデオフィードバック方法である。 One aspect of the present invention is based on a video acquisition step of acquiring a video shot by a camera, a relative position acquisition step of acquiring a relative positional relationship between the camera and the display, and the relative positional relationship. In accordance with the determination in the display mode determining step, the display mode determining step for determining whether to display in the left / right inverted display mode for reversing the left / right of the image or the left / right non-inverted display mode for not reversing the left / right of the image, and the display mode determining step And a video display control step for displaying the image on a display.
本発明の一態様は、上記のビデオフィードバック装置であって、カメラにより撮影された映像を取得する映像取得ステップと、前記カメラとディスプレイとの相対的な位置関係を取得する相対位置取得ステップと、前記相対的な位置関係に基づき、映像の左右を反転させる左右反転表示モード、または、映像の左右を反転させない左右非反転表示モードのどちらで表示すべきか決定する表示モード決定ステップと、前記表示モード決定ステップにおける決定にしたがって、前記映像をディスプレイに表示させる映像表示制御ステップと、をコンピュータに実行させるためのコンピュータプログラムである。 One aspect of the present invention is the video feedback device described above, wherein a video acquisition step of acquiring a video shot by a camera, a relative position acquisition step of acquiring a relative positional relationship between the camera and the display, A display mode determining step for determining whether to display in a horizontally reversed display mode for reversing the left and right of the video or a left and right non-reversed display mode for reversing the left and right of the video based on the relative positional relationship; A computer program for causing a computer to execute a video display control step of displaying the video on a display according to the determination in the determination step.
本発明により、撮影された画像を見ることによる動作の確認が容易になる。 According to the present invention, it is easy to confirm an operation by viewing a photographed image.
以下、図面を参照して、本発明の一実施形態について説明する。
図１は、本実施形態に係るビデオフィードバックシステム１００の構成を示すブロック図である。
ビデオフィードバックシステム１００は、カメラ１、ディスプレイ２及びビデオフィードバック装置３を備える。
カメラ１は、画像を連続して撮影し、複数の画像データを含む映像データを、ビデオフィードバック装置３に出力する。カメラ１は、撮影した画像データまたは映像データに対して、撮影した日時を示す情報を付与する。
ディスプレイ２は、ビデオフィードバック装置３から出力された映像データに基づき、映像を表示する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration of a
The
The
The
ビデオフィードバック装置３は、カメラ１により撮影された映像を、ディスプレイ２に表示させる。具体的に説明すると、ビデオフィードバック装置３は、映像の左右を反転させる表示モード（以下、左右反転表示モードという）又は映像の左右を反転させない表示モード（以下、左右非反転表示モードという）に従って、映像をディスプレイ２に表示させる。
The
ビデオフィードバック装置３は、映像取得部３１、映像表示制御部３２、相対位置取得部３３及び表示モード決定部３４を備える。映像表示制御部３２、相対位置取得部３３及び表示モード決定部３４の一部又は全部は、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア機能部である。
The
映像取得部３１は、カメラ１に接続され、カメラ１から出力された映像データを取得する。映像取得部３１は、映像表示制御部３２及び相対位置取得部３３に取得された映像データを出力する。映像取得部３１は、例えば、カメラ１とビデオフィードバック装置３とを接続するインターフェースである。
The
映像表示制御部３２は、表示モード決定部３４により決定された表示モードに従って、映像取得部３１から出力された映像データをディスプレイ２に表示させる。本実施形態において、表示モードには、左右反転表示モード及び左右非反転表示モードがある。
The video
相対位置取得部３３は、カメラ１とディスプレイ２との相対的な位置関係を取得する。具体的には、相対位置取得部３３は、カメラ１が被写体を撮影する方向（以下、「カメラ方向ｒ１」という。）と、ディスプレイ２が画像を表示する方向（以下、「表示方向ｒ２」という。）とがなす角度θ（以下、「相対角度θ」という。）を取得する。相対角度θは、カメラ１とディスプレイ２との相対的な位置関係を示す情報の一例である。
The relative position acquisition unit 33 acquires the relative positional relationship between the
表示モード決定部３４は、相対位置取得部３３により取得された相対的な位置関係に基づき、映像表示制御部３２による表示モードを、左右反転表示モード又は左右非反転表示モードに決定する。表示モード決定部３４は、相対角度θが閾値θｔｈ以下である場合、左右反転表示モードに決定する。一方、表示モード決定部３４は、相対角度θが閾値θｔｈを超える場合、左右非反転表示モードに決定する。例えば、閾値θｔｈは、１０度である。
Based on the relative positional relationship acquired by the relative position acquisition unit 33, the display
図２は、カメラ１とディスプレイ２との相対的な位置関係の一例を示す図である。
位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５は、それぞれ相対角度θが、０度、１５度、３０度、９０度、１８０度となるカメラ１の位置を表す。
FIG. 2 is a diagram illustrating an example of the relative positional relationship between the
The positions P1, P2, P3, P4, and P5 represent the positions of the
練習者が、位置Ｐ０に立って、ディスプレイ２を見ているとする。この場合、練習者は、正面をディスプレイ２の方に向けている。
カメラが位置Ｐ１に配置されている場合、カメラ１は、練習者を正面から撮影する。この場合、相対角度θ＝０度であるため、表示モード決定部３４は、表示モードを左右反転表示モードに決定する。
It is assumed that the practitioner is standing at the position P0 and looking at the
When the camera is disposed at the position P1, the
カメラが位置Ｐ２、Ｐ３、Ｐ４に配置されている場合、カメラ１は、練習者の正面を斜め１５度、３０度、または、練習者を真横から撮影する。この場合、相対角度θ＝１５度、３０度、または、９０度であるため、表示モード決定部３４は、表示モードを左右非反転表示モードに決定する。
カメラ１が位置Ｐ５に配置されている場合、カメラ１は、練習者を背後から撮影する。この場合、相対角度θ＝１８０度であるため、表示モード決定部３４は、表示モードを左右非反転表示モードに決定する。
When the camera is disposed at positions P2, P3, and P4, the
When the
このように、カメラ１の位置とディスプレイ２の位置とが近い場合、表示モードを左右反転表示モードに決定する。一方、カメラ１の位置とディスプレイ２の位置とが遠い場合、表示モードを左右非反転表示モードに決定する。
言い換えると、表示モード決定部３４は、カメラ１の中心点とディスプレイ２の中心点との距離が予め決められた長さ以内である場合、表示モードを左右反転表示モードに決定する。カメラ１の中心点とディスプレイ２の中心点との距離が予め決められた長さを超えた場合、表示モード決定部３４は、表示モードを左右非反転表示モードに決定する。なお、カメラ１の中心点とは、水平面上において、カメラ方向ｒ１と直交するカメラ１上の点である。また、ディスプレイ２の中心点とは、水平面上において、表示方向ｒ２と直交するディスプレイ２上の点である。
As described above, when the position of the
In other words, when the distance between the center point of the
図３は、相対角度θが０度である場合のディスプレイ２の表示例を示す図である。
相対角度θが０度である場合、上述した通り、カメラ１が位置Ｐ１に配置されているため、表示モード決定部３４は、表示モードを左右反転表示モードに決定する。例えば、練習者は、ディスプレイ２に正面を向けて右手を振ったとする。この場合、ディスプレイ２の画像内の練習者は、実際の練習者の向かって右側に位置する手を上げる。つまり、ディスプレイ２には、練習者が鏡を見ているような映像が表示される。よって、練習者は、ディスプレイ２に表示された映像を見ながらの自身の動作を簡単に確認できる。
FIG. 3 is a diagram illustrating a display example of the
When the relative angle θ is 0 degree, since the
一方、本発明によらない場合の一例について、図４を参照して説明する。図４に示すような状況において、映像を左右反転表示モードで表示しない場合、つまり、映像を左右非反転表示モードで表示する場合、ディスプレイ２の画像内の練習者は、実際の練習者の向かって左側に位置する手を上げる。図示の通り、練習者の現実世界での動きと、ディスプレイ２に表示される映像内での動きが、反対方向となる。この場合、練習者は、ディスプレイ２に表示された映像を見ながらの自身の動作の確認が困難になる可能性がある。例えば、ディスプレイ２に、自分の動作と、手本動作とを、並べて表示した場合、練習者が、自らの動きを手本の動作に合わせて適切に制御することが困難となる。
On the other hand, an example of the case not according to the present invention will be described with reference to FIG. In the situation shown in FIG. 4, when the video is not displayed in the left / right reverse display mode, that is, when the video is displayed in the left / right non-reverse display mode, the practitioner in the image on the
次に、図５を参照して、相対角度θが１８０度である場合のディスプレイ２の表示について説明する。図５は、相対角度θが１８０度である場合のディスプレイ２の表示例を示す図である。
相対角度θが１８０度である場合、上述した通り、カメラ１が位置Ｐ５に配置されているため、表示モード決定部３４は、表示モードを左右非反転表示モードに決定する。例えば、練習者は、ディスプレイ２に正面を向けて右手を振ったとする。この場合、ディスプレイ２の画像内の練習者は、実際の練習者の向かって右側に位置する手を上げる。つまり、ディスプレイ２には、練習者が合わせ鏡をしたときに見るような映像が表示される。よって、練習者は、ディスプレイ２に表示された映像を見ながらの自身の動作を簡単に確認できる。
Next, display on the
When the relative angle θ is 180 degrees, as described above, since the
一方、本発明によらない場合の一例について、図６を参照して説明する。図６に示すような状況において、映像を左右非反転表示モードで表示しない場合、つまり、映像を左右反転表示モードで表示する場合、ディスプレイ２の画像内の練習者は、実際の練習者の向かって左側に位置する手を上げる。このように、練習者の現実世界での動きと、ディスプレイ２に表示される映像内での動きが、反対方向となる。この場合、練習者は、ディスプレイ２に表示された映像を見ながらの自身の動作の確認が困難になる可能性がある。例えば、ディスプレイ２に、自分の動作と、手本動作とを、並べて表示した場合、練習者が、自らの動きを手本の動作に合わせて適切に制御することが困難となる。
On the other hand, an example of the case not according to the present invention will be described with reference to FIG. In the situation shown in FIG. 6, when the video is not displayed in the left / right non-inverted display mode, that is, when the video is displayed in the left / right inverted display mode, the practitioner in the image on the
次に、図７を参照して、相対角度θと知覚の違和感との関係について説明する。図７は、相対角度θと知覚の違和感との関係の一例を示す図である。知覚の違和感とは、ディスプレイ２に表示される映像を見ながら自らの動作を確認するときに練習者が感じた違和感を、練習者の主観により評価した評価値である。知覚の違和感の数値は、３が最も違和感が少なく、−３が最も違和感が大きい。
Next, the relationship between the relative angle θ and the sense of incongruity will be described with reference to FIG. FIG. 7 is a diagram illustrating an example of the relationship between the relative angle θ and the sense of incongruity. The uncomfortable feeling of perception is an evaluation value obtained by evaluating the uncomfortable feeling felt by the practitioner when he / she confirms his / her movement while watching the video displayed on the
図７には、横軸に相対角度θをとり、縦軸に知覚の違和感をとるグラフを示す。図７における線グラフＭは、左右反転表示モードに従って映像をディスプレイ２に表示した場合の知覚の違和感を示す。図７における線グラフＮは、左右非反転表示モードに従って映像をディスプレイ２に表示した場合の知覚の違和感を示す。
FIG. 7 shows a graph in which the horizontal axis represents the relative angle θ and the vertical axis represents a sense of discomfort. A line graph M in FIG. 7 shows a sense of incongruity when an image is displayed on the
図示の通り、左右反転表示モードに従って映像を表示した場合、相対角度θが１５度に近づくに従って、知覚の違和感が大きくなることがわかる。
一方、左右非反転表示モードに従って映像を表示した場合、相対角度θが１５度を超えると、知覚の違和感が小さくなり、左右反転表示モードに従って映像を表示した場合の知覚の違和感よりも小さくなることがわかる。
また、相対角度が０度の場合、左右反転表示モードに従って映像を表示した場合が、左右反転表示モードに従って映像を表示した場合に比べて、知覚の違和感が顕著に小さくなることがわかる。
As shown in the figure, when the video is displayed according to the left / right reverse display mode, it is understood that the sense of discomfort increases as the relative angle θ approaches 15 degrees.
On the other hand, when the video is displayed according to the left / right non-inverted display mode, when the relative angle θ exceeds 15 degrees, the perception of discomfort is reduced, and is less than the discomfort of perception when the image is displayed according to the left / right reverse display mode. I understand.
It can also be seen that when the relative angle is 0 degrees, the perception of discomfort is significantly reduced when the video is displayed according to the horizontally reversed display mode compared to when the video is displayed according to the horizontally reversed display mode.
次に、図８を参照して、相対角度θをさらに大きくした場合の相対角度θと知覚の違和感との関係について説明する。図８は、相対角度θをさらに大きくした場合の相対角度θと知覚の違和感との関係の一例を示す図である。 Next, the relationship between the relative angle θ and the sense of discomfort when the relative angle θ is further increased will be described with reference to FIG. FIG. 8 is a diagram illustrating an example of the relationship between the relative angle θ and the sense of discomfort when the relative angle θ is further increased.
図８に示すグラフも、図７に示すグラフ同様に、横軸に相対角度θをとり、縦軸に知覚の違和感をとる。
線グラフＮが示す通り、相対角度θを大きくしていくと、左右非反転表示モードに従って映像を表示した場合の方が、知覚の違和感が小さくなることがわかる。
一方、線グラフＭが示す通り、相対角度θを大きくしていくと、左右反転表示モードに従って映像を表示した場合の方が、知覚の違和感が大きくなることがわかる。
なお、相対角度θが４５度、９０度に関しては、有意な差ではない。
The graph shown in FIG. 8 also has a relative angle θ on the horizontal axis and a sense of incongruity on the vertical axis, like the graph shown in FIG.
As shown by the line graph N, it can be seen that when the relative angle θ is increased, the sense of incongruity becomes smaller when the video is displayed according to the left / right non-inverted display mode.
On the other hand, as shown by the line graph M, it can be seen that when the relative angle θ is increased, the perception of discomfort increases when the video is displayed according to the horizontally reversed display mode.
Note that the relative angle θ of 45 degrees and 90 degrees is not a significant difference.
図７，８を参照して説明した通り、カメラ１とディスプレイ２との相対的な位置関係が、左右反転表示モードの場合の知覚の違和感と、左右非反転表示モードの場合の知覚の違和感に、大きな影響を与えることがわかる。
実施形態では、図７，８に示すような実験結果に基づき、相対角度θが閾値θｔｈ以下である場合、つまり、カメラ１とディスプレイ２とが近い場合、左右反転表示モードを採用する。また、相対角度θが閾値θｔｈを超えた場合、つまり、カメラ１とディスプレイ２とが遠い場合、左右非反転表示モードを採用する。さらに、左右反転表示モードと左右非反転表示モードとを切り替える閾値θｔｈを、１０度とした。
As described with reference to FIGS. 7 and 8, the relative positional relationship between the
In the embodiment, based on the experimental results shown in FIGS. 7 and 8, when the relative angle θ is equal to or smaller than the threshold θth, that is, when the
ここで、相対位置取得部３３が相対角度θを求める具体例について説明する。相対位置取得部３３は、カメラ１が撮影した画像の中から、予め決められた指標を抽出する。指標としては、例えば、バーコードや幾何学的なマーク等が利用可能である。指標は、１つであってもよく、複数であってもよい。また、指標は、ディスプレイ２の枠部分に取り付けられていてもよく、ディスプレイ２に画像として表示されてもよい。
Here, a specific example in which the relative position acquisition unit 33 obtains the relative angle θ will be described. The relative position acquisition unit 33 extracts a predetermined index from the image captured by the
相対位置取得部３３は、カメラ１が撮影した画像から抽出した指標の形状に基づき、カメラ１のカメラ方向ｒ１の直線とディスプレイ２の表示方向ｒ２の直線とがなす相対角度θを求める。具体的に説明すると、指標の形状の歪みがない場合、相対角度θは０度である。指標の形状に歪みがある場合、相対位置取得部３３は、歪みの量と方向に応じて予め決められている相対角度θを参照し、指標の形状の歪みに応じた相対角度θを求める。
なお、指標が複数ある場合、指標間の距離と、指標同士を結ぶ線の長さと向きとに基づき、相対角度θを求めてよい。
The relative position acquisition unit 33 obtains a relative angle θ formed by a straight line in the camera direction r1 of the
When there are a plurality of indices, the relative angle θ may be obtained based on the distance between the indices and the length and direction of a line connecting the indices.
相対位置取得部３３は、これに限られず、２つの物体間の相対的な位置関係を求めるための一般的な技術を適用できる。例えば、相対位置取得部３３は、以下の参考文献に記載されている技術を適用できる。
［参考文献］Kosuke Takahashi, Shohei Nobuhara, Takashi Matsuyama、A New Mirror-based Extrinsic Camera Calibration Using an Orthogonality Constraint、proc. CVPR 2012.
The relative position acquisition unit 33 is not limited to this, and a general technique for obtaining a relative positional relationship between two objects can be applied. For example, the technology described in the following references can be applied to the relative position acquisition unit 33.
[References] Kosuke Takahashi, Shohei Nobuhara, Takashi Matsuyama, A New Mirror-based Extrinsic Camera Calibration Using an Orthogonality Constraint, proc. CVPR 2012.
次に、図９を参照して、ビデオフィードバックシステム１００による処理について説明する。図９は、ビデオフィードバックシステム１００による処理例を示すフローチャートである。
カメラ１は、撮影した映像データを、映像取得部３１に出力する（ステップＳ１０１）。映像取得部３１は、カメラ１から入力する映像データを、映像表示制御部３２と、相対位置取得部３３とに出力する（ステップＳ１０２）。
Next, processing performed by the
The
相対位置取得部３３は、カメラ１から入力する映像データに基づき、指標を抽出したか否かを判定する（ステップＳ１０３）。
指標を抽出したと判定した場合（ステップＳ１０３−ＹＥＳ）、相対位置取得部３３は、画像内の指標を解析して、相対角度θを求める（ステップＳ１０４）。
表示モード決定部３４は、相対位置取得部３３により求められた相対角度θが、閾値θｔｈ（１０度）以下であるか否かを判定する（ステップＳ１０５）。
相対角度θが１０度以下であると判定した場合（ステップＳ１０５−ＹＥＳ）、表示モード決定部３４は、表示モードを、左右反転表示モードに決定する（ステップＳ１０６）。
一方、相対角度θが１０度を超えていると判定した場合（ステップＳ１０５−ＮＯ）、表示モード決定部３４は、表示モードを、左右非反転表示モードに決定する（ステップＳＴ７）。
映像表示制御部３２は、表示モード決定部３４により決定された表示モードに従って、映像取得部３１から入力する映像データをディスプレイ２に表示させる（ステップＳ１０８）。
The relative position acquisition unit 33 determines whether an index has been extracted based on the video data input from the camera 1 (step S103).
If it is determined that the index has been extracted (step S103—YES), the relative position acquisition unit 33 analyzes the index in the image to obtain the relative angle θ (step S104).
The display
When it is determined that the relative angle θ is equal to or less than 10 degrees (step S105—YES), the display
On the other hand, when it is determined that the relative angle θ exceeds 10 degrees (step S105—NO), the display
The video
上述の通り、実施形態に係るビデオフィードバック装置３は、カメラ１とディスプレイ２との相対的な位置関係に基づき、映像表示制御部３２による表示モードを、左右反転表示モード、または、左右非反転表示モードに決定する。この構成により、練習者は、撮影された画像を見ながらの動作の確認が容易になる。
As described above, the
また、実施形態に係るビデオフィードバック装置３の相対位置取得部３３は、映像取得部３１により取得された映像からディスプレイ２に示される指標を抽出した場合、抽出した指標に基づき、カメラ１に対するディスプレイ２の向きを求める。この構成により、相対位置取得部３３を実現するためのプログラムやハード構成をビデオフィードバック装置３に追加するだけで、カメラ１とディスプレイ２との相対的な位置関係を簡単に求めることができる。
Further, when the relative position acquisition unit 33 of the
また、実施形態に係るビデオフィードバック装置３の映像表示制御部３２は、相対角度θが閾値θｔｈ以下である場合、表示モードを左右反転表示モードに決定し、相対角度θが閾値θｔｈを超えた場合、表示モードを左右非反転表示モードに決定する。図７，８を用いて説明した通り、相対角度θが閾値θｔｈ以下である場合、つまり、カメラ１とディスプレイ２とが近い場合、左右反転表示モードの方が知覚の違和感が少ないことが実験でわかっている。このため、上記構成とすることにより、練習者の知覚の違和感を軽減することができる。また、閾値θｔｈは、１５度よりも小さく、例えば、１０度である。この閾値θｔｈについても、上述の通り実験により、左右反転表示モードと左右非反転表示モードの知覚の違和感が反転する有効な境界部分であることがわかっている。このため、上記値をとることにより、練習者の知覚の違和感を軽減することができる。
In addition, the video
本発明は、上記実施形態に限られない。
例えば、ビデオフィードバック装置３は、非特許文献１に記載の通り、カメラ１により撮影された練習者の動作の映像と、外部から入力された手本動作の映像とを時間的に同期させ、短時間の遅延を加えて再生してもよい。このように、練習者の動作と手本動作とを同時にディスプレイ２に表示する際、カメラ１により撮影された映像を見ながら自分の動作を容易に確認できることは、練習者の上達に有効である。
The present invention is not limited to the above embodiment.
For example, as described in
上述した実施形態におけるビデオフィードバック装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。 The video feedback device in the above-described embodiment may be realized by a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be a program for realizing a part of the above-described functions, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system. You may implement | achieve using programmable logic devices, such as FPGA (Field Programmable Gate Array).
１００ ビデオフィードバックシステム
１ カメラ
２ ディスプレイ
３ ビデオフィードバック装置
３１ 映像取得部
３２ 映像表示制御部
３３ 相対位置取得部
３４ 表示モード決定部
DESCRIPTION OF
Claims (8)
前記カメラとディスプレイとの相対的な位置関係を取得する相対位置取得部と、
前記相対的な位置関係に基づき、映像の左右を反転させる左右反転表示モード、または、映像の左右を反転させない左右非反転表示モードのどちらで表示すべきか決定する表示モード決定部と、
前記表示モード決定部の決定にしたがって、前記映像取得部によって取得された映像をディスプレイに表示させる映像表示制御部と、
を備えるビデオフィードバック装置。 A video acquisition unit for acquiring video captured by the camera;
A relative position acquisition unit for acquiring a relative positional relationship between the camera and the display;
Based on the relative positional relationship, a display mode determination unit that determines whether to display in a horizontally reversed display mode that reverses the left and right of the video, or a left and right non-reversed display mode that does not reverse the left and right of the video,
In accordance with the determination of the display mode determination unit, a video display control unit that displays the video acquired by the video acquisition unit on a display;
A video feedback device comprising:
前記映像取得部によって取得された映像から前記ディスプレイに示される指標を抽出した場合、前記指標に基づいて前記相対的な位置関係を取得する請求項１又は２に記載のビデオフィードバック装置。 The relative position acquisition unit
3. The video feedback device according to claim 1, wherein when the index shown on the display is extracted from the video acquired by the video acquisition unit, the relative positional relationship is acquired based on the index.
前記カメラが被写体を撮影する方向と前記ディスプレイが画像を表示する方向とがなす角度が閾値以下である場合、前記左右反転表示モードで表示することを決定し、
前記カメラが被写体を撮影する方向と前記ディスプレイが画像を表示する方向とがなす角度が閾値を超えた場合、前記左右非反転表示モードで表示することを決定する請求項１から３のいずれか一項に記載のビデオフィードバック装置。 The video display control unit
If the angle formed by the direction in which the camera captures a subject and the direction in which the display displays an image is equal to or less than a threshold, it is determined to display in the horizontally reversed display mode;
4. The display device according to claim 1, wherein when the angle between the direction in which the camera captures a subject and the direction in which the display displays an image exceeds a threshold value, display in the left / right non-inverted display mode is determined. The video feedback device according to Item.
前記カメラの中心点と前記ディスプレイの中心点との距離が予め決められた長さ以内である場合、前記左右反転表示モードで表示することを決定し、
前記カメラの中心点と前記ディスプレイの中心点との距離が前記予め決められた長さを超えた場合、前記左右非反転表示モードで表示することを決定する請求項１から４のうちいずれか一項に記載のビデオフィードバック装置。 The video display control unit
When the distance between the center point of the camera and the center point of the display is within a predetermined length, it is determined to display in the horizontally reversed display mode,
5. The display device according to claim 1, wherein when the distance between the center point of the camera and the center point of the display exceeds the predetermined length, display in the left / right non-inverted display mode is determined. The video feedback device according to Item.
前記カメラとディスプレイとの相対的な位置関係を取得する相対位置取得ステップと、
前記相対的な位置関係に基づき、映像の左右を反転させる左右反転表示モード、または、映像の左右を反転させない左右非反転表示モードのどちらで表示すべきか決定する表示モード決定ステップと、
前記表示モード決定ステップにおける決定にしたがって、前記映像をディスプレイに表示させる映像表示制御ステップと、
を有するビデオフィードバック方法。 A video acquisition step of acquiring video captured by the camera;
A relative position acquisition step of acquiring a relative positional relationship between the camera and the display;
Based on the relative positional relationship, a display mode determination step for determining whether to display in a horizontally reversed display mode for reversing the left and right of the video or a left and right non-reversed display mode for reversing the left and right of the video;
In accordance with the determination in the display mode determination step, a video display control step for displaying the video on a display;
Having video feedback method.
前記カメラとディスプレイとの相対的な位置関係を取得する相対位置取得ステップと、
前記相対的な位置関係に基づき、映像の左右を反転させる左右反転表示モード、または、映像の左右を反転させない左右非反転表示モードのどちらで表示すべきか決定する表示モード決定ステップと、
前記表示モード決定ステップにおける決定にしたがって、前記映像をディスプレイに表示させる映像表示制御ステップと、
をコンピュータに実行させるためのコンピュータプログラム。 A video acquisition step of acquiring video captured by the camera;
A relative position acquisition step of acquiring a relative positional relationship between the camera and the display;
Based on the relative positional relationship, a display mode determination step for determining whether to display in a horizontally reversed display mode for reversing the left and right of the video or a left and right non-reversed display mode for reversing the left and right of the video;
In accordance with the determination in the display mode determination step, a video display control step for displaying the video on a display;
A computer program for causing a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014149041A JP6403049B2 (en) | 2014-07-22 | 2014-07-22 | Video feedback device, video feedback method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014149041A JP6403049B2 (en) | 2014-07-22 | 2014-07-22 | Video feedback device, video feedback method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016025523A true JP2016025523A (en) | 2016-02-08 |
| JP6403049B2 JP6403049B2 (en) | 2018-10-10 |
Family
ID=55271932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014149041A Active JP6403049B2 (en) | 2014-07-22 | 2014-07-22 | Video feedback device, video feedback method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6403049B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018011933A (en) * | 2016-07-08 | 2018-01-25 | 広信 松原 | Training guidance device and training guidance method using the same |
| WO2019188076A1 (en) * | 2018-03-30 | 2019-10-03 | ソニー株式会社 | Information processing device, information processing method, and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006276748A (en) * | 2005-03-30 | 2006-10-12 | Olympus Corp | Information presenting device, information presenting method, and computer program |
| JP2009159030A (en) * | 2007-12-25 | 2009-07-16 | Panasonic Electric Works Co Ltd | Video delivery system |
| WO2009153975A1 (en) * | 2008-06-18 | 2009-12-23 | パナソニック株式会社 | Electronic mirror device |
| JP2015005823A (en) * | 2013-06-19 | 2015-01-08 | パナソニック株式会社 | Image processing apparatus and digital mirror system |
-
2014
- 2014-07-22 JP JP2014149041A patent/JP6403049B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006276748A (en) * | 2005-03-30 | 2006-10-12 | Olympus Corp | Information presenting device, information presenting method, and computer program |
| JP2009159030A (en) * | 2007-12-25 | 2009-07-16 | Panasonic Electric Works Co Ltd | Video delivery system |
| WO2009153975A1 (en) * | 2008-06-18 | 2009-12-23 | パナソニック株式会社 | Electronic mirror device |
| JP2015005823A (en) * | 2013-06-19 | 2015-01-08 | パナソニック株式会社 | Image processing apparatus and digital mirror system |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018011933A (en) * | 2016-07-08 | 2018-01-25 | 広信 松原 | Training guidance device and training guidance method using the same |
| WO2019188076A1 (en) * | 2018-03-30 | 2019-10-03 | ソニー株式会社 | Information processing device, information processing method, and program |
| US11315599B2 (en) | 2018-03-30 | 2022-04-26 | Sony Corporation | Information processing device and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6403049B2 (en) | 2018-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9654734B1 (en) | Virtual conference room | |
| JP6250819B2 (en) | Image capture feedback | |
| EP4150880A1 (en) | Method and system for virtual 3d communications | |
| US20120069143A1 (en) | Object tracking and highlighting in stereoscopic images | |
| WO2017092289A1 (en) | Image processing method and device | |
| RU2016141397A (en) | Stereo view | |
| TW201209639A (en) | Tactile communication system | |
| US20120194513A1 (en) | Image processing apparatus and method with three-dimensional model creation capability, and recording medium | |
| US11350113B2 (en) | Gaze-driven recording of video | |
| WO2023155532A1 (en) | Pose detection method, apparatus, electronic device, and storage medium | |
| JP2023017920A (en) | Image processing device | |
| JP6403049B2 (en) | Video feedback device, video feedback method and program | |
| CN114207557A (en) | Position synchronization of virtual and physical cameras | |
| US10291845B2 (en) | Method, apparatus, and computer program product for personalized depth of field omnidirectional video | |
| JP5986039B2 (en) | Video display method and video display program | |
| US20240037944A1 (en) | Computer-generated reality recorder | |
| CN107408186A (en) | The display of privacy content | |
| CN110488489B (en) | Eye registration for a head-mounted housing | |
| JP2019512781A (en) | Method for reconstructing 3D multi-viewpoint by feature tracking and model registration. | |
| CN112734657B (en) | Cloud group photo method and device based on artificial intelligence and three-dimensional model and storage medium | |
| Roca | BYOD, gamification & high definition innovations for telemedicine | |
| US20170155892A1 (en) | Wearable stereoscopic camera system for 3d virtual reality imaging and networked area learning | |
| JP6700539B2 (en) | Video processing device, video processing method, and video processing program | |
| US20240104872A1 (en) | Visual Techniques for 3D Content | |
| Baek et al. | Gaze correction using feature-based view morphing and performance evaluation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180831 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6403049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |