JP2013157984A - Ui提供方法およびそれを適用した映像受信装置 - Google Patents

Ui提供方法およびそれを適用した映像受信装置 Download PDF

Info

Publication number
JP2013157984A
JP2013157984A JP2013015064A JP2013015064A JP2013157984A JP 2013157984 A JP2013157984 A JP 2013157984A JP 2013015064 A JP2013015064 A JP 2013015064A JP 2013015064 A JP2013015064 A JP 2013015064A JP 2013157984 A JP2013157984 A JP 2013157984A
Authority
JP
Japan
Prior art keywords
video
motion
user
information
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2013015064A
Other languages
English (en)
Inventor
Soo-Yeoun Yoon
▲す▼ ▲よん▼ 尹
逢 鉉 ▲ちょう▼
Bong-Hyun Cho
Jun-Sik Choi
俊 植 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013157984A publication Critical patent/JP2013157984A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A63F13/10
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/69Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Psychiatry (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 本発明の目的とするところは、受信された映像に含まれた人物のモーションと撮影されたユーザのモーションとのモーション類似度情報を算出してユーザに提供するためのUI提供方法およびそれを適用した映像受信装置を提供することにある。
【解決手段】 UI提供方法およびそれを適用した映像受信装置が提供される。本UI提供方法は、映像を受信してディスプレイし、映像内に含まれた複数の人物のうち少なくとも一つを選択し、ユーザのモーションを撮影し、撮影されたユーザモーションと選択された人物のモーションとのモーション類似度を算出し、算出されたモーション類似度情報の含まれたUIをディスプレイする。それにより、ユーザは別途のゲーム端末機やセンサなしにも映像コンテンツを視聴しながら運動することができるようになり、自分の運動情報も同時に確認することができるようになる。
【選択図】 図9

Description

本発明は、UI提供方法およびそれを適用した映像受信装置に関し、より詳細には、撮影されたユーザのモーションを分析してユーザに撮影されたユーザモーションに対する情報を提供するUI提供方法およびそれを適用した映像受信装置に関する。
高齢者の人口および肥満人口の増加により、健康管理への関心が高まっている。特に、最近は、健康管理サービスの一つとして、ユーザのモーションを分析してユーザモーションに対する情報(例えば、運動量情報等)を提供するコンテンツやアプリケーションが増加している。
一方、近来は、特定のゲーム端末機を用いて、ユーザがディスプレイされているオブジェクトのモーションを真似して運動できるコンテンツが増加している。しかし、ディスプレイされているオブジェクトの動きを真似るコンテンツを利用する運動の場合、ユーザは別途のゲーム端末機やセンサが別に必要となる。
よって、別途のゲーム機やセンサを購入しなければならないため、装置購入のための費用がかかり、別途のゲーム機やセンサをディスプレイ装置に設置しなければならないという問題が存在するようになる。
韓国特許登録第0812947号 韓国特開第2001−0081193号公報 韓国特許登録第0809787号 韓国特開第2006−0018920号公報
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、受信された映像に含まれた人物のモーションと撮影されたユーザのモーションとのモーション類似度情報を算出してユーザに提供するためのUI提供方法およびそれを適用した映像受信装置を提供することにある。
前記目的を達成するための本発明の一実施形態に係る映像受信装置のUI提供方法は、映像をディスプレイするステップと、前記映像内に含まれた複数の人物のうち少なくとも一つを選択するステップと、ユーザのモーションを撮影し、前記撮影されたユーザモーションと前記選択された人物のモーションとのモーション類似度を算出するステップと、前記モーション類似度情報の含まれたUIをディスプレイするステップとを含む。
そして、前記選択するステップは、前記映像内に含まれた複数の人物を抽出するステップと、前記複数の人物のうち一つを選択するために、前記抽出された複数の人物の含まれたリストをディスプレイするステップとを更に含んでよい。
なお、前記リストをディスプレイするステップは、前記受信された映像に前記複数の人物に対するメタデータが含まれた場合、前記メタデータを用いて前記複数の人物に対する情報を前記リストにディスプレイしてよい。
そして、前記抽出するステップは、顔認識を用いて前記映像内に含まれた複数の人物を抽出し、前記リストをディスプレイするステップは、前記認識された顔とマッチする人物を保存部から検索するステップと、前記認識された顔とマッチする人物が存在する場合、前記認識された顔とマッチする人物に対する情報を前記保存部から読み取るステップと、前記認識された顔とマッチする人物に対する情報の含まれたリストをディスプレイするステップとを含んでよい。
なお、前記算出するステップは、前記受信された映像のうち選択された人物がディスプレイされる領域のモーションベクトルと、撮影された映像のうちユーザが存在する領域のモーションベクトルとを比較して、モーション類似度を算出してよい。
そして、前記算出するステップは、前記受信された映像を分析して選択された人物の特徴点を抽出するステップと、前記撮影されたユーザの特徴点を抽出するステップと、前記選択された人物の特徴点に対する動きと前記撮影されたユーザの特徴点に対する動きとを比較して、モーション類似度を算出するステップとを含んでよい。
なお、前記撮影されたユーザのモーションに対する映像をディスプレイ画面の一領域にディスプレイするステップを更に含んでよい。
そして、前記ディスプレイするステップは、前記映像内に含まれた前記選択された人物を前記選択されていない人物と区別してディスプレイしてよい。
なお、前記撮影されたユーザの運動量情報を算出するステップと、前記算出された運動量情報を含む運動量情報UIをディスプレイするステップとを更に含んでよい。
そして、前記モーション類似度情報、前記選択された人物に対する情報、前記ユーザモーションの撮影データおよび前記運動量情報のうち、少なくとも一つを保存するステップを更に含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る映像受信装置は、ユーザを撮影する撮影部と、映像を受信する映像受信部と、前記受信された映像をディスプレイするディスプレイ部と、ユーザ命令が入力されるユーザ入力部と、前記ユーザ命令によって前記映像内に含まれた複数の人物のうち少なくとも一つを選択し、前記撮影部を介して撮影されたユーザモーションと前記選択された人物のモーションとのモーション類似度を算出し、前記モーション類似度情報の含まれたUIをディスプレイするように前記ディスプレイ部を制御する制御部とを含む。
そして、前記制御部は、前記映像内に含まれた複数の人物を抽出し、前記複数の人物のうち一つを選択するために、前記抽出された複数の人物の含まれたリストを生成して前記ディスプレイ部にディスプレイしてよい。
なお、前記制御部は、前記受信された映像に前記複数の人物に対するメタデータが含まれた場合、前記メタデータを用いて前記複数の人物に対する情報を前記リストにディスプレイするように前記ディスプレイ部を制御してよい。
そして、人物情報が保存された保存部を更に含み、前記制御部は、顔認識を用いて前記映像内に含まれた複数の人物を抽出し、前記認識された顔とマッチする人物を前記保存部から検索し、前記認識された顔とマッチする人物が存在する場合、前記認識された顔とマッチする人物に対する情報を前記保存部から読み取り、前記認識された顔とマッチする人物に対する情報の含まれたリストをディスプレイするように前記ディスプレイ部を制御してよい。
なお、前記制御部は、前記受信された映像のうち選択された人物がディスプレイされる領域のモーションベクトルと、撮影された映像のうちユーザが存在する領域のモーションベクトルとを比較して、モーション類似度を算出してよい。
そして、前記制御部は、前記受信された映像を分析して選択された人物の特徴点を抽出し、前記撮影されたユーザの特徴点を抽出し、前記選択された人物の特徴点に対する動きと前記撮影されたユーザの特徴点に対する動きとを比較して、モーション類似度を算出してよい。
なお、前記制御部は、前記撮影部を介して撮影されたユーザのモーションに対する映像をディスプレイ画面の一領域にディスプレイするように前記ディスプレイ部を制御してよい。
そして、前記制御部は、前記映像内に含まれた前記選択された人物を前記選択されていない人物と区別してディスプレイするように、前記ディスプレイ部を制御してよい。
なお、前記制御部は、前記撮影されたユーザの運動量情報を算出し、前記算出された運動量情報を含む運動量情報UIをディスプレイするように前記ディスプレイ部を制御してよい。
そして、前記制御部は、前記モーション類似度情報、前記選択された人物に対する情報、前記ユーザモーションの撮影データおよび前記運動量情報のうち、少なくとも一つを保存部に保存してよい。
以上説明したように、本発明によれば、ユーザは別途のゲーム端末機やセンサがなくても映像コンテンツを視聴しながら運動することができ、自分の運動情報を同時に確認することができる。
本発明の一実施形態に係る映像受信装置の構成を示すブロック図である。 本発明の多様な実施形態に係る映像コンテンツ内に含まれた人物を選択するための方法を説明するための図である。 本発明の多様な実施形態に係る映像コンテンツ内に含まれた人物を選択するための方法を説明するための図である。 本発明の多様な実施形態に係る映像コンテンツ内に含まれた人物を選択するための方法を説明するための図である。 本発明の多様な実施形態に係るモーション類似度情報および運動量情報の少なくとも何れか一方を含むUIを示す図である。 本発明の多様な実施形態に係るモーション類似度情報および運動量情報の少なくとも何れか一方を含むUIを示す図である。 本発明の多様な実施形態に係るモーション類似度情報および運動量情報の少なくとも何れか一方を含むUIを示す図である。 本発明の多様な実施形態に係るモーション類似度情報および運動量情報の少なくとも何れか一方を含むUIを示す図である。 本発明の一実施形態に係るモーション類似度情報を含むUIを提供する方法を説明するためのフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
図1は、本発明の一実施形態に係る映像受信装置100の構成を示すブロック図である。図1に示すように、映像受信装置100は、撮影部110と、映像受信部120と、ディスプレイ部130と、ユーザ入力部140と、保存部150と、通信部160および制御部170を含む。このとき、映像受信装置100は、テレビ、デスクトップ、タブレットパソコン、ノートパソコン、携帯電話、PDAのうち、少なくとも一つであってよいが、それに限定するものではない。
撮影部110は、ユーザのモーションを撮影した映像信号(例えば、連続するフレーム)を受信して制御部170に提供する。例えば、撮影部110は、レンズおよびイメージセンサで構成されるカメラユニットで実現されてよい。なお、撮影部110は、映像受信装置100と一体型だけでなく、分離された形態で実現されてよい。分離された撮影部110は、映像受信装置100と有線または無線ネットワークを通じて接続されてよい。特に、映像受信装置100がテレビである場合、撮影部110は映像受信装置100を包み込むベゼル(Bezel)の上段のベゼル上に位置してよい。
映像受信部120は、多様なソース(例えば、放送局や外部機器等)から映像を受信することができる。具体的に、映像受信部120は、放送局から受信される放送映像を受信することができ、外部機器(例えば、DVD等)から受信されるコンテンツ映像を受信することができる。
ディスプレイ部130は、制御部170の制御によって映像信号処理部(図示せず)で信号処理された映像信号をディスプレイする。このとき、ディスプレイ部130は、多様なソースから受信された映像だけでなく、多様な情報が含まれたUI(User Interface)もディスプレイすることができる。
ユーザ入力部140には、映像受信装置100を制御するためのユーザ命令が入力される。このとき、ユーザ入力部140は、リモコンやタッチスクリーン、マウス等のような入力装置を利用してよい。
保存部150は、映像受信装置100を駆動して制御するための多様なデータおよびプログラムを保存する。特に、保存部150は、顔認識を用いて映像内に含まれた複数の人物を抽出するための人物情報を保存することができる。このとき、人物情報には、人物のサムネールイメージ、人物の名前情報、人物の身体情報等が含まれてよいが、それに限られるものではない。
通信部160は、ネットワークを用いて外部機器または外部のサーバと通信を行う。このとき、通信部160は、イーサネット(登録商標)(Ethernet(登録商標))、ブルートゥース、Wi−Fi等のような通信モジュールを利用することができる。
制御部170は、ユーザ入力部140を介して入力されたユーザ命令に従って、映像受信装置100の動作全般を制御する。特に、制御部170は、撮影部110を介して撮影されたユーザモーションとディスプレイされる映像内から選択された人物のモーションとのモーション類似度を算出し、算出されたモーション類似度情報の含まれたUIをディスプレイするようにディスプレイ部130を制御する。
具体的に、ディスプレイ部130に複数の人物を含む映像がディスプレイされ、ユーザ入力部140を介してモーション擬似モードに移行するためのユーザ命令が入力されると、制御部170はディスプレイされる映像内から複数の人物を抽出する。
このとき、制御部170は、受信された映像フレームに対するピクセル分析結果、受信された映像に含まれたメタデータおよび保存部150に予め保存された人物情報のうち少なくとも一つを用いて複数の人物を抽出することができる。
例えば、制御部170は、受信された映像フレームのピクセル(例えば、ピクセルの色、ピクセルのモーション等)を分析して人物領域を抽出することができる。このとき、複数の人物が抽出されると、制御部170は、図2に示すように、複数の人物210、220、230を区分するためのアイコン215、225、235をディスプレイすることができる。このとき、アイコンは、図2に示すように、アルファベット記号で区分されてよいが、それは一実施形態に過ぎず、数字や記号、人物の名前等で区分されてよい。
または、映像のコンテンツのメタデータおよび予め保存された人物情報を用いて複数の人物が抽出されると、制御部170は、図3に示すように、複数の人物210、220、230のうちの一つを選択するために抽出された複数の人物210、220、230が含まれたリスト310を生成してディスプレイ部130にディスプレイすることができる。
このとき、リスト310には、複数の人物210、220、230に対する情報(例えば、人物の代表サムネール、人物の名前情報等)を含んでよい。ここで、リスト310に含まれた複数の人物に対する情報は、映像に含まれたメタデータおよび保存部150に保存された人物情報を用いて抽出することができる。例えば、顔認識を用いて複数の人物が抽出された場合、制御部170は認識された顔とマッチする人物を保存部150から検索する。そして、認識された顔とマッチする人物が存在する場合、制御部170は、認識された顔とマッチする人物に対する情報を保存部150から読み取り、認識された顔とマッチする人物に対する情報が含まれたリストをディスプレイするようにディスプレイ部130を制御してよい。
そして、ユーザ入力部140から複数の人物のうち一つを選択するためのユーザ命令が入力された場合、制御部170はユーザが選択した人物を別の人物と異なるように表示してよい。例えば、図4に示すように、制御部170は、ユーザが選択した人物210の周りに一本の線を更に表示してユーザが選択した人物を認識できるようにする。しかし、それは一実施形態に過ぎず、多様な方法(例えば、ユーザが選択した人物を別の人物を異なる色で表示する方法等)でユーザが選択した人物と他の人物とを区分して表示することができる。
一方、上述の実施形態では、映像内に複数の人物が含まれた場合について説明したが、それは一実施形態に過ぎず、映像内に一人の人物が含まれた場合、制御部170は一人の人物を自動で選択することができる。
一つの人物が選択されると、制御部170は撮影部110によって撮影されたユーザモーションと選択された人物のモーションとを比較してモーション類似度を算出する。
具体的に、制御部170は、受信された映像のうち、選択された人物がディスプレイされる領域のモーションベクトルと撮影部110によって撮影された映像のうち、ユーザが存在する領域のモーションベクトルとを比較してモーション類似度を算出することができる。
なお、制御部170は、受信された映像を分析して選択された人物の特徴点を抽出し、撮影部110によって撮影された映像のユーザの特徴点を抽出することができる。そして、制御部170は、選択された人物の特徴点に対する動きと撮影部110によって撮影されたユーザの特徴点に対する動きとを比較し、モーション類似度を算出することができる。
なお、受信される映像に人物のパターン情報が含まれた場合、制御部170は、撮影部110によって撮影されたユーザモーションのパターンを分析することができる。そして、制御部170は、受信された映像に含まれた人物のパターン情報と撮影部によって撮影されたユーザのモーションに対するパターン情報とを比較し、モーション類似度を算出することができる。
このとき、制御部170は、撮影部110によって撮影されたユーザモーションと選択された人物のモーションとのモーション類似度を予め設定された時間間隔(例えば、1秒間)で算出することができる。
そして、制御部170は、算出されたモーション類似度情報を含むUI(User Interface)を生成してディスプレイするようにディスプレイ部130を制御する。このとき、UI510には、図5に示すように、算出されたモーション類似度を予め設定されたステップに区分して表示されてよい。例えば、モーション類似度が0%以上30%未満である場合、制御部170は、UI510にモーション類似度情報を“bad”とディスプレイしてよい。そして、モーション類似度が30%以上60%未満である場合、制御部170は、UI510にモーション類似度情報を“normal”とディスプレイしてよい。そして、モーション類似度が60%以上90%未満である場合、制御部170は、UI510にモーション類似度情報を“good”とディスプレイしてよい。更に、モーション類似度が90%以上100%未満である場合、制御部170は、UI510にモーション類似度情報を“great”とディスプレイしてよい。
一方、図5に示すUI510には、4ステップに区分されたモーション類似度情報が含まれてよく、それは一実施形態に過ぎず、4ステップを除く複数のステップに区分されたモーション類似度情報が含まれてよく、算出されたモーション類似度が直接ディスプレイされてよい。
そして、モーション類似度が予め設定された時間間隔(例えば、1秒間)で算出された場合、制御部170は、UIに含まれたモーション類似度情報を予め設定された時間間隔でアップデートすることができる。または、制御部170は、選択された人物のモーションが変更される度に、モーション類似度情報をアップデートすることができる。
なお、制御部170は、図6に示すように、モーション類似度情報を含むUI510だけでなく、ユーザの運動量情報を含む運動量情報UI610をディスプレイ画面の一側(例えば、右側上段)にディスプレイすることができる。
具体的に、制御部170は、映像に含まれたメタデータを用いて運動量情報を測定することができる。このとき、メタデータには、映像に含まれた人物のモーションを真似る場合、時間当りの平均カロリー消費量情報が保存される。例えば、メタデータには、Aプログラムに含まれた“a”という人物の動作を真似る場合、1時間当りに1000calのカロリー消費量が発生するという情報が含まれる。そして、Aプログラムに含まれた“a”という人物のモーションを30分間真似る場合、制御部170はカロリー消費量を1000cal×0.5=500calで計算する。そして、制御部170は、算出されたカロリー消費量情報が含まれた運動量情報UI610をディスプレイするように、ディスプレイ部130を制御することができる。
しかし、上述のように、運動量を算出することは、一実施形態に過ぎず、多様な方法でカロリー消費量を測定することができる。例えば、運動量測定部130は、ユーザの脈拍を用いてユーザモーションに対するカロリー消費量を測定することができる。
なお、図6においては、運動量情報UI610にカロリー消費量のみが含まれているが、それは一実施形態に過ぎず、運動量情報UI610には、運動時間、ユーザが視聴している映像の名前等が含まれてよい。
なお、制御部170は、撮影部110を介して撮影されたユーザのモーションに対する映像をディスプレイ画面の一領域にディスプレイするように、ディスプレイ部130を制御してよい。
例えば、図7に示すように、制御部170はディスプレイ画面の左側領域に撮影されたユーザのモーション720をディスプレイすることができる。このとき、制御部170は、ディスプレイ画面の左側領域に撮影されたユーザモーション720だけでなく、モーション類似度情報710および運動量情報730を併せてディスプレイすることができる。
しかし、図7においては、撮影部110によって撮影されたユーザモーション720がディスプレイ画面の左側領域にディスプレイされるとして説明したが、それは一実施形態に過ぎず、別の領域にPIP(Picture In Picture)映像でディスプレイされてよい。
なお、モーション擬似モードを終了するためのユーザ命令が入力されると、制御部170は、ディスプレイ画面にディスプレイされていたUIを全て消えるようにディスプレイ部130を制御する。なお、制御部170は、モーション類似度情報、選択された人物に対する情報、ユーザモーションの撮影データおよび運動量情報のうち、少なくとも一つを保存部150に保存する。
そして、ユーザが自らの運動量を確認するために、ユーザ命令を入力した場合、制御部170は、図8に示すように、運動量管理UI800をディスプレイすることができる。このとき、運動量管理UI800は、ユーザが消費したカロリー量を日付別に表示することができ、ユーザが利用した映像コンテンツおよび当該映像コンテンツを利用しつつ消費したカロリー量を表示することができる。
上述のような映像受信装置100を用いて、ユーザは別途のゲーム端末機やセンサなしにも、映像コンテンツを視聴しつつ運動することができるようになり、自分の運動情報を確認することができるようになる。
以下においては、図9を参照して、映像受信装置100がモーション類似度UIを提供する方法を説明する。
まず、映像受信装置100は、多様なソースから映像を受信する(S910)。例えば、映像受信装置100は放送局から放送映像を受信することができ、外部機器(例えば、DVD等)からコンテンツ映像を受信することができる。
そして、映像受信装置100は、受信された映像を信号処理してディスプレイする(S920)。
そして、映像受信装置100は、モーション擬似モードに移行するためのユーザ命令が入力されたか否かを判断する(S930)。
モーション擬似モードに移行するためのユーザ命令が入力されると(S930−Y)、映像受信装置100は映像内に含まれた複数の人物を抽出する(S940)。このとき、映像受信装置100は、受信された映像フレームに対するピクセル分析の結果、受信された映像に含まれたメタデータおよび保存部150に予め保存された人物情報のうち少なくとも一つを用いて複数の人物を抽出することができる。ここで、映像受信装置100は、抽出された複数の人物の一人を選択するために、図3に示すように、抽出された複数の人物の含まれたリスト310をディスプレイすることができる。
そして、映像受信装置100は、ユーザ命令に従って抽出された複数の人物のうちの一人を選択する(S950)。このとき、映像受信装置100は、図3のように、抽出された複数の人物の含まれたリスト310を用いたユーザ命令に従って一人の人物を選択することができる。一人の人物が選択されると、映像受信装置100は選択された人物を選択されていない人物と区別できるように表示することができる。
そして、映像受信装置100は、撮影部110を用いてユーザモーションを撮影する(S960)。
そして、映像受信装置100は、撮影されたユーザモーションと選択された人物のモーションとのモーション類似度を算出する(S970)。具体的に、映像受信装置100は、受信された映像のうち、選択された人物がディスプレイされる領域のモーションベクトルと撮影部110によって撮影された映像のうち、ユーザが存在する領域のモーションベクトルとを比較して、モーション類似度を算出することができる。なお、映像受信装置100は受信された映像を分析して選択された人物の特徴点を抽出し、撮影部110によって撮影された映像のユーザの特徴点を抽出し、選択された人物の特徴点に対する動きと撮影部110によって撮影されたユーザの特徴点に対する動きとを比較して、モーション類似度を算出することができる。なお、受信される映像に人物のパターン情報が含まれた場合、映像受信装置100は撮影部110によって撮影されたユーザモーションのパターンを分析し、受信された映像に含まれた人物のパターン情報と分析されたユーザのモーションに対するパターン情報とを比較してモーション類似度を算出することができる。
そして、映像受信装置100は、モーション類似度情報の含まれたUIをディスプレイする(S980)。例えば、映像受信装置100は、図5ないし図7に示すように、UI510、720をディスプレイすることができる。その他に、映像受信装置100は、運動量情報を測定し、図6および図7に示すように、運動量情報UI610をディスプレイすることができる。
上述のようなモーション類似度UI提供方法によって、ユーザは別途のゲーム端末機やセンサなしにも映像コンテンツを視聴しながら運動することができるようになり、自分の運動情報も同時に確認することができるようになる。
上述の本発明の多様な実施形態に係る健康管理方法を行うためのプログラムコードは、多様な記録媒体に保存されてよい。
具体的に、フラッシュメモリ、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electronically Erasable and Programmable ROM)、ハードディスク、リムーバブルディスク、メモリカード、USBメモリ、CD−ROM等のように、端末機で読み取り可能な多様な類型の記録媒体に保存されていてよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
110 撮影部
120 映像受信部
130 ディスプレイ部
140 ユーザ入力部
150 保存部
160 通信部
170 制御部

Claims (15)

  1. 映像受信装置のUI提供方法において、
    映像をディスプレイするステップと、
    前記映像内に含まれた複数の人物のうち少なくとも一つを選択するステップと、
    ユーザのモーションを撮影し、前記撮影されたユーザモーションと前記選択された人物のモーションとのモーション類似度を算出するステップと、
    前記モーション類似度情報の含まれたUIをディスプレイするステップと
    を含むUI提供方法。
  2. 前記選択するステップは、
    前記映像内に含まれた複数の人物を抽出するステップと、
    前記複数の人物のうち一つを選択するために、前記抽出された複数の人物の含まれたリストをディスプレイするステップと
    を更に含むことを特徴とする請求項1に記載のUI提供方法。
  3. 前記リストをディスプレイするステップは、
    前記受信された映像に前記複数の人物に対するメタデータが含まれた場合、前記メタデータを用いて前記複数の人物に対する情報を前記リストにディスプレイすることを特徴とする請求項2に記載のUI提供方法。
  4. 前記抽出するステップは、
    顔認識を用いて前記映像内に含まれた複数の人物を抽出し、
    前記リストをディスプレイするステップは、
    前記認識された顔とマッチする人物を保存部から検索するステップと、
    前記認識された顔とマッチする人物が存在する場合、前記認識された顔とマッチする人物に対する情報を前記保存部から読み取るステップと、
    前記認識された顔とマッチする人物に対する情報の含まれたリストをディスプレイするステップと
    を含むことを特徴とする請求項2に記載のUI提供方法。
  5. 前記算出するステップは、
    前記受信された映像のうち選択された人物がディスプレイされる領域のモーションベクトルと、撮影された映像のうちユーザが存在する領域のモーションベクトルとを比較して、モーション類似度を算出することを特徴とする請求項1に記載のUI提供方法。
  6. 前記算出するステップは、
    前記受信された映像を分析して選択された人物の特徴点を抽出するステップと、
    前記撮影されたユーザの特徴点を抽出するステップと、
    前記選択された人物の特徴点に対する動きと前記撮影されたユーザの特徴点に対する動きとを比較して、モーション類似度を算出するステップと
    を含むことを特徴とする請求項1に記載のUI提供方法。
  7. 前記撮影されたユーザのモーションに対する映像をディスプレイ画面の一領域にディスプレイするステップを更に含むことを特徴とする請求項1に記載のUI提供方法。
  8. 前記ディスプレイするステップは、
    前記映像内に含まれた前記選択された人物を前記選択されていない人物と区別してディスプレイすることを特徴とする請求項1に記載のUI提供方法。
  9. 前記撮影されたユーザの運動量情報を算出するステップと、
    前記算出された運動量情報を含む運動量情報UIをディスプレイするステップと
    を更に含むことを特徴とする請求項1に記載のUI提供方法。
  10. 前記モーション類似度情報、前記選択された人物に対する情報、前記ユーザモーションの撮影データおよび前記運動量情報のうち、少なくとも一つを保存するステップを更に含むことを特徴とする請求項9に記載のUI提供方法。
  11. 映像受信装置において、
    ユーザを撮影する撮影部と、
    映像を受信する映像受信部と、
    前記受信された映像をディスプレイするディスプレイ部と、
    ユーザ命令が入力されるユーザ入力部と、
    前記ユーザ命令によって前記映像内に含まれた複数の人物のうち少なくとも一つを選択し、前記撮影部を介して撮影されたユーザモーションと前記選択された人物のモーションとのモーション類似度を算出し、前記モーション類似度情報の含まれたUIをディスプレイするように前記ディスプレイ部を制御する制御部と
    を含む映像受信装置。
  12. 前記制御部は、
    前記映像内に含まれた複数の人物を抽出し、前記複数の人物のうち一つを選択するために、前記抽出された複数の人物の含まれたリストを生成して前記ディスプレイ部にディスプレイすることを特徴とする請求項11に記載の映像受信装置。
  13. 前記制御部は、
    前記受信された映像に前記複数の人物に対するメタデータが含まれた場合、前記メタデータを用いて前記複数の人物に対する情報を前記リストにディスプレイするように前記ディスプレイ部を制御することを特徴とする請求項12に記載の映像受信装置。
  14. 人物情報が保存された保存部を更に含み、
    前記制御部は、
    顔認識を用いて前記映像内に含まれた複数の人物を抽出し、前記認識された顔とマッチする人物を前記保存部から検索し、前記認識された顔とマッチする人物が存在する場合、前記認識された顔とマッチする人物に対する情報を前記保存部から読み取り、前記認識された顔とマッチする人物に対する情報の含まれたリストをディスプレイするように前記ディスプレイ部を制御することを特徴とする請求項12に記載の映像受信装置。
  15. 前記制御部は、
    前記受信された映像のうち選択された人物がディスプレイされる領域のモーションベクトルと、撮影された映像のうちユーザが存在する領域のモーションベクトルとを比較して、モーション類似度を算出することを特徴とする請求項11に記載の映像受信装置。
JP2013015064A 2012-01-31 2013-01-30 Ui提供方法およびそれを適用した映像受信装置 Withdrawn JP2013157984A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120009758A KR20130088493A (ko) 2012-01-31 2012-01-31 Ui 제공 방법 및 이를 적용한 영상 수신 장치
KR10-2012-0009758 2012-01-31

Publications (1)

Publication Number Publication Date
JP2013157984A true JP2013157984A (ja) 2013-08-15

Family

ID=47627967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013015064A Withdrawn JP2013157984A (ja) 2012-01-31 2013-01-30 Ui提供方法およびそれを適用した映像受信装置

Country Status (5)

Country Link
US (1) US20130198766A1 (ja)
EP (1) EP2624553A3 (ja)
JP (1) JP2013157984A (ja)
KR (1) KR20130088493A (ja)
CN (1) CN103227959A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017506523A (ja) * 2013-10-24 2017-03-09 ▲華▼▲為▼▲終▼端有限公司 画像表示方法及び装置
US10657417B2 (en) 2016-12-28 2020-05-19 Ambass Inc. Person information display apparatus, a person information display method, and a person information display program

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686397B (zh) * 2013-11-28 2017-04-19 张翼翔 一种视频显示终端的界面呈现物品属性配置设备及方法
US9729921B2 (en) * 2015-06-30 2017-08-08 International Business Machines Corporation Television program optimization for user exercise
US11076206B2 (en) * 2015-07-03 2021-07-27 Jong Yoong Chun Apparatus and method for manufacturing viewer-relation type video
CN108156504B (zh) * 2017-12-20 2020-08-14 浙江大华技术股份有限公司 一种视频显示方法及装置
KR102066857B1 (ko) * 2018-04-19 2020-01-16 주식회사 엘지유플러스 객체 영상 트랙킹 스트리밍 시스템 및 이를 이용한 스트리밍 방법
KR102081099B1 (ko) * 2018-04-24 2020-04-23 오창휘 동영상 실행 시스템
US11039196B2 (en) 2018-09-27 2021-06-15 Hisense Visual Technology Co., Ltd. Method and device for displaying a screen shot

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US8218080B2 (en) * 2005-12-05 2012-07-10 Samsung Electronics Co., Ltd. Personal settings, parental control, and energy saving control of television with digital video camera
US8113991B2 (en) * 2008-06-02 2012-02-14 Omek Interactive, Ltd. Method and system for interactive fitness training program
US8340357B2 (en) * 2008-10-27 2012-12-25 Panasonic Corporation Moving object detection method and moving object detection apparatus
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US8589968B2 (en) * 2009-12-31 2013-11-19 Motorola Mobility Llc Systems and methods providing content on a display based upon facial recognition of a viewer
US8562403B2 (en) * 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
CN101908103A (zh) * 2010-08-19 2010-12-08 北京启动在线文化娱乐有限公司 以体感方式进行互动的网络舞蹈系统
CN202105425U (zh) * 2011-04-02 2012-01-11 德信互动科技(北京)有限公司 具有运动量计算和显示功能的游戏手柄

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017506523A (ja) * 2013-10-24 2017-03-09 ▲華▼▲為▼▲終▼端有限公司 画像表示方法及び装置
US10283005B2 (en) 2013-10-24 2019-05-07 Huawei Device Co., Ltd. Image display method and apparatus
US10657417B2 (en) 2016-12-28 2020-05-19 Ambass Inc. Person information display apparatus, a person information display method, and a person information display program

Also Published As

Publication number Publication date
KR20130088493A (ko) 2013-08-08
EP2624553A2 (en) 2013-08-07
EP2624553A3 (en) 2014-01-01
CN103227959A (zh) 2013-07-31
US20130198766A1 (en) 2013-08-01

Similar Documents

Publication Publication Date Title
JP2013157984A (ja) Ui提供方法およびそれを適用した映像受信装置
US9507420B2 (en) System and method for providing haptic feedback to assist in capturing images
CN107818180B (zh) 视频关联方法、视频显示方法、装置及存储介质
JP6424357B2 (ja) 視認対象効果度測定装置
TWI779343B (zh) 狀態識別方法、裝置、電子設備及電腦可讀儲存介質
CN108712603B (zh) 一种图像处理方法及移动终端
KR102238330B1 (ko) 디스플레이 장치 및 그의 동작 방법
US20140223474A1 (en) Interactive media systems
JP5460793B2 (ja) 表示装置、表示方法、テレビジョン受信機及び表示制御装置
WO2012050029A1 (ja) 電子機器及びその表示言語判定方法
CN108833991A (zh) 视频字幕显示方法及装置
JP2014023127A (ja) 情報表示装置、情報表示方法、制御プログラム、および記録媒体
US20200007922A1 (en) Display device and method, and advertisement server
US20230316529A1 (en) Image processing method and apparatus, device and storage medium
TW202121250A (zh) 展示對象的控制方法與裝置、電子設備及記錄媒體
CN112672208A (zh) 视频播放方法、装置、电子设备、服务器及系统
JP6180011B2 (ja) 動作評価支援装置、動作評価支援システム、動作評価支援方法及びプログラム
KR20170033549A (ko) 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
JP2013037533A (ja) 商品情報取得システムおよび商品情報提供サーバ装置
KR20140003138A (ko) 옥외 광고 led 전광판 및 상호 작용 방법
JP2011180917A (ja) 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム
CN110764676B (zh) 一种信息资源显示方法、装置、电子设备以及存储介质
KR102372181B1 (ko) 전자 장치 및 그의 제어 방법
CN111625101A (zh) 一种展示控制方法及装置
JP6094626B2 (ja) 表示制御装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160108

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20161222