JP2017033179A - Information processing apparatus, control method thereof, and program - Google Patents

Information processing apparatus, control method thereof, and program Download PDF

Info

Publication number
JP2017033179A
JP2017033179A JP2015151028A JP2015151028A JP2017033179A JP 2017033179 A JP2017033179 A JP 2017033179A JP 2015151028 A JP2015151028 A JP 2015151028A JP 2015151028 A JP2015151028 A JP 2015151028A JP 2017033179 A JP2017033179 A JP 2017033179A
Authority
JP
Japan
Prior art keywords
content
reduced
identifier
displayed
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015151028A
Other languages
Japanese (ja)
Inventor
稲倉 啓太
Keita Inakura
啓太 稲倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015151028A priority Critical patent/JP2017033179A/en
Priority to US15/217,872 priority patent/US9818444B2/en
Publication of JP2017033179A publication Critical patent/JP2017033179A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To reproduce a content on a video display device, while allowing a user to list-display a plurality of contents, to identify the content in process of reproduction, or to issue an instruction to stop reproducing the content, on a device in hand, thereby improving usability.SOLUTION: In list-displaying a plurality of reduced contents corresponding to a main content, on a display device, a reduced content corresponding to the main content being reproduced on an external video reproducing apparatus is displayed on the display device in second display mode which is different from first display mode for the other reduced contents. In response to user operation on the reduced content displayed in the second display mode, an information processing apparatus receives an instruction to execute predetermined processing on the main content associated with the reduced content. The information processing apparatus transmits an identifier of the reduced content, and an instruction to execute predetermined processing on the main content associated with the identifier, to the external device.SELECTED DRAWING: Figure 6

Description

本発明は、外部装置で再生表示されたコンテンツを識別するための情報処理装置およびその制御方法およびプログラムに関する。   The present invention relates to an information processing apparatus for identifying content reproduced and displayed on an external apparatus, a control method thereof, and a program.

従来、映像表示装置と通信して、その記録媒体に記録された複数のコンテンツの中から所望のコンテンツを選択し、再生を指示するリモコン装置がある(特許文献1参照)。   Conventionally, there is a remote control device that communicates with a video display device, selects a desired content from a plurality of contents recorded on the recording medium, and instructs reproduction (see Patent Document 1).

特開2003−032509号公報JP 2003-032509 A

これに対し、ユーザーの手元で、複数のコンテンツを一覧表示させたり、映像表示装置上で再生中のコンテンツを識別したり、当該コンテンツの再生の停止を指示したりできるようにすることで、ユーザビリティを向上させたいという要望がある。   On the other hand, it is possible to display a list of a plurality of contents at the user's hand, identify the contents being reproduced on the video display device, and instruct to stop the reproduction of the contents. There is a demand to improve.

上記課題を解決するために、本願に係る発明の一つは、本体コンテンツを識別可能な識別子に関連づけられた縮小コンテンツを表示装置に一覧表示する情報処理装置であって、外部の映像再生装置上で再生中の本体コンテンツの識別子を取得する取得手段と、前記一覧表示された複数の縮小コンテンツのうち、前記取得された識別子と関連づけられた縮小コンテンツを他の縮小コンテンツの第1の表示態様とは異なる第2の表示態様で前記表示装置に表示するよう制御する表示制御手段と、前記第2の表示態様で表示された縮小コンテンツに対するユーザーの操作に応答して、前記縮小コンテンツと関連する本体コンテンツへの所定の処理を実行させる指示を受け付ける受付手段と、前記縮小コンテンツの識別子と、前記識別子と関連づけられた本体コンテンツへの所定の処理を実行させる指示を外部に送信する送信手段を備えたことを特徴とする。   In order to solve the above-described problem, one of the inventions according to the present application is an information processing apparatus that displays a list of reduced contents associated with an identifier capable of identifying main body contents on a display device, and is provided on an external video reproduction device. Acquiring means for acquiring an identifier of the main content being played back, and a reduced content associated with the acquired identifier among the plurality of reduced contents displayed in a list as a first display mode of other reduced contents Display control means for controlling display on the display device in a different second display mode, and a main body associated with the reduced content in response to a user operation on the reduced content displayed in the second display mode A receiving means for receiving an instruction to execute predetermined processing on the content, an identifier of the reduced content, and an identifier associated with the identifier. Characterized in that an instruction to execute the predetermined processing to the main content is provided with transmitting means for transmitting to the outside.

本発明によれば、映像表示装置で再生されるコンテンツの一覧を表示する際、映像表示装置上で再生中のコンテンツを識別可能に表示したり、当該コンテンツの再生の停止指示を受け付けることを可能にしたので、ユーザビリティが向上するという効果が得られる。   According to the present invention, when displaying a list of contents to be played back on the video display device, it is possible to display the content being played back on the video display device in an identifiable manner or to accept an instruction to stop playback of the content. As a result, the usability can be improved.

本発明の一実施形態におけるデータ管理システムの構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the data management system in one Embodiment of this invention. 本発明の一実施形態におけるリモート制御装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the remote control apparatus in one Embodiment of this invention. 本発明の一実施形態におけるコンテンツ管理装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the content management apparatus in one Embodiment of this invention. 本発明の一実施形態におけるサーバー装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the server apparatus in one Embodiment of this invention. 本発明の一実施形態におけるコンテンツ一覧画面の一例を示す図である。It is a figure which shows an example of the content list screen in one Embodiment of this invention. 本発明の一実施形態におけるシステムの動作の一例を示すシーケンス図である。It is a sequence diagram which shows an example of operation | movement of the system in one Embodiment of this invention. 本発明の一実施形態におけるコンテンツ一覧画面の一例を示す図である。It is a figure which shows an example of the content list screen in one Embodiment of this invention. 本発明の一実施形態におけるリモート制御装置の動作の一例を示すフローチャート図である。It is a flowchart figure which shows an example of operation | movement of the remote control apparatus in one Embodiment of this invention. 本発明の一実施形態におけるリモート制御装置の動作の一例を示すフローチャート図である。It is a flowchart figure which shows an example of operation | movement of the remote control apparatus in one Embodiment of this invention. 本発明の一実施形態におけるシステムの動作の一例を示すシーケンス図である。It is a sequence diagram which shows an example of operation | movement of the system in one Embodiment of this invention. 本発明の一実施形態におけるシステムの動作の一例を示すシーケンス図である。It is a sequence diagram which shows an example of operation | movement of the system in one Embodiment of this invention.

以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the constituent elements described in this embodiment are merely examples, and are not intended to limit the scope of the present invention only to them.

(第1の実施形態)
本実施形態では、本発明におけるデータ管理装置を複数の機器からなるデータ管理システムとして実現する実施形態で示す。
(First embodiment)
In the present embodiment, the data management apparatus according to the present invention is shown as an embodiment that is realized as a data management system including a plurality of devices.

本実施例のシステム構成について、図1のシステム図を参照して説明する。本システムは、リモート制御装置102、コンテンツ管理装置103、撮像装置(デジタルカメラ)101、大画面モニター107、アクセスポイント機能付きルータ105、インターネット106、サーバー装置104で構成される。利用者がデジタルカメラ101で撮影した静止画・動画からなるコンテンツは無線通信を介してコンテンツ管理装置103に送られる。コンテンツを受信したコンテンツ管理装置103はコンテンツに対してコンテンツ識別子を割り振り、オリジナルのコンテンツを蓄積する。その上で取り込んだコンテンツの縮小コンテンツを生成する。コンテンツが静止画像の場合は縦横サイズを縮小して縮小コンテンツを生成する。また、コンテンツが動画像の場合は、動画像の全フレームについて縦横サイズを縮小した全体縮小コンテンツと、動画像の先頭から所定時間のフレームなど、一部のフレームを抽出し、それらについて縦横サイズを縮小した部分縮小コンテンツの2種類を生成する。縮小コンテンツはアクセスポイント機能付きルータ105からインターネット106経由でコンテンツ識別子と併せてサーバー装置104に送信される。これによりオリジナルのコンテンツをコンテンツ管理装置103で、縮小コンテンツをサーバー装置104で共通のコンテンツ識別子の下で管理する。またサーバー装置104では受信した縮小コンテンツ毎に属性情報を生成する。属性情報とは評価値や削除対象か否かを示す情報などから成るコンテンツに対する補助情報である。本システムでは、コンテンツ管理装置103がオリジナルのコンテンツを蓄積し、サーバー装置104はオリジナルのコンテンツと対応する縮小コンテンツを蓄積し、縮小コンテンツは属性情報と関連づけられて利用者のコンテンツライブラリで管理される。なお、オリジナルのコンテンツおよび、それと対応する縮小コンテンツは、同じコンテンツ識別子に関連づけられて、コンテンツ管理装置103およびサーバー装置104それぞれで保存される。利用者が複数台のデジタルカメラ101を所有していれば、複数台のデジタルカメラ101で撮影され、生成されたコンテンツからなるコンテンツライブラリとなる。   The system configuration of the present embodiment will be described with reference to the system diagram of FIG. This system includes a remote control device 102, a content management device 103, an imaging device (digital camera) 101, a large screen monitor 107, a router 105 with an access point function, the Internet 106, and a server device 104. Content consisting of still images / moving images taken by the user with the digital camera 101 is sent to the content management apparatus 103 via wireless communication. The content management apparatus 103 that has received the content allocates a content identifier to the content and stores the original content. Then, a reduced content of the captured content is generated. If the content is a still image, the reduced content is generated by reducing the vertical and horizontal sizes. In addition, if the content is a moving image, a part of the frame is extracted, such as a whole reduced content obtained by reducing the vertical and horizontal sizes of all the frames of the moving image, and a frame of a predetermined time from the beginning of the moving image, and the vertical and horizontal sizes of these are extracted. Two types of reduced partial reduced content are generated. The reduced content is transmitted from the router with access point function 105 to the server device 104 together with the content identifier via the Internet 106. Thus, the original content is managed by the content management apparatus 103 and the reduced content is managed by the server apparatus 104 under a common content identifier. The server device 104 generates attribute information for each received reduced content. The attribute information is auxiliary information for content including an evaluation value and information indicating whether or not to delete. In this system, the content management device 103 stores original content, the server device 104 stores reduced content corresponding to the original content, and the reduced content is associated with attribute information and managed in the user's content library. . The original content and the corresponding reduced content are associated with the same content identifier and stored in the content management device 103 and the server device 104, respectively. If the user owns a plurality of digital cameras 101, the content library is made up of contents that are shot and generated by the plurality of digital cameras 101.

利用者がコンテンツライブラリを活用する際、操作はリモート制御装置102上から行う。リモート制御装置102は、アクセスポイント機能付きルータ105からインターネット106経由でサーバー装置104と通信する。サーバー装置104にある縮小コンテンツや属性情報を取得し、リモート制御装置102上のモニターに表示することで、コンテンツライブラリにアクセスする環境を提供できる。リモート制御装置102がサーバー装置104に蓄積されている縮小コンテンツを利用する本システムでは、リモート制御装置102の処理能力が非力であっても軽快に処理を行える利点がある。   When the user uses the content library, the operation is performed from the remote control device 102. The remote control device 102 communicates with the server device 104 via the Internet 106 from the router 105 with an access point function. An environment for accessing a content library can be provided by acquiring reduced content and attribute information in the server device 104 and displaying them on a monitor on the remote control device 102. In the present system in which the remote control device 102 uses the reduced content stored in the server device 104, there is an advantage that processing can be easily performed even if the processing capability of the remote control device 102 is weak.

またリモート制御装置102のモニター208はタッチパネル機能を有している。利用者がモニター上で行った操作内容に従い、決められた制御コマンドをアクセスポイント機能付きルータ105からインターネット106経由でサーバー装置104に送信する。サーバー装置104は受信した制御コマンドに従う処理を実行するだけでなく、必要に応じてコンテンツ管理装置103に対して制御コマンドを中継する役割も担う。リモート制御装置102、コンテンツ管理装置103、サーバー装置104が連携することで、利用者にコンテンツライブラリを活用できる環境を提供する。   The monitor 208 of the remote control device 102 has a touch panel function. In accordance with the operation performed on the monitor by the user, the determined control command is transmitted from the router with access point function 105 to the server device 104 via the Internet 106. The server device 104 not only executes processing according to the received control command, but also plays a role of relaying the control command to the content management device 103 as necessary. The remote control device 102, the content management device 103, and the server device 104 cooperate to provide the user with an environment where the content library can be used.

代表的なコンテンツライブラリの利用としては、所望のコンテンツをコンテンツ管理装置103に接続された大画面モニター107に表示して鑑賞する利用がある。利用者はリモート制御装置102上で縮小コンテンツを見ながら大画面モニター107に表示したいコンテンツを選択し、表示指示を実行する。表示指示を受けたリモート制御装置102から表示対象コンテンツのコンテンツ識別子を引数に持つ表示指示コマンドがサーバー装置104に送信され、サーバー装置104からコンテンツ管理装置103にコマンドが転送される。表示指示コマンドを受けたコンテンツ管理装置103は、蓄積しているコンテンツから該コンテンツ識別子を持つオリジナルのコンテンツを特定し、大画面モニター107に表示する。つまり利用者は、縮小コンテンツを使った軽快な操作性の下でリモート制御装置102から表示指示を出しながらも、実際の大画面モニター107上ではコンテンツ管理装置103のオリジナルのコンテンツを使い高品位な映像で鑑賞できる。   As a typical use of the content library, there is a use of displaying desired content on a large screen monitor 107 connected to the content management apparatus 103 for viewing. The user selects content to be displayed on the large screen monitor 107 while viewing the reduced content on the remote control device 102, and executes a display instruction. The remote control apparatus 102 that has received the display instruction transmits a display instruction command having the content identifier of the display target content as an argument to the server apparatus 104, and the command is transferred from the server apparatus 104 to the content management apparatus 103. Upon receiving the display instruction command, the content management apparatus 103 identifies the original content having the content identifier from the accumulated content and displays it on the large screen monitor 107. In other words, while the user issues a display instruction from the remote control device 102 with light operability using reduced content, the user uses the original content of the content management device 103 on the large-screen monitor 107 to achieve high quality. Appreciate with video.

なお、以下、リモート制御装置102とコンテンツ管理装置103はサーバー装置104を介して、各種データやコマンドを送受信する場合について説明する。しかし、これに限らず、リモート制御装置102とコンテンツ管理装置103が直接、これらの情報を送受信するようにしてもよい。   Hereinafter, a case where the remote control device 102 and the content management device 103 transmit and receive various data and commands via the server device 104 will be described. However, the present invention is not limited to this, and the remote control apparatus 102 and the content management apparatus 103 may directly transmit and receive these pieces of information.

本実施例のリモート制御装置102を構成するコンピュータ装置の構成について、図2のブロック図を参照して説明する。リモート制御装置102はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにLocal Area Network(LAN)などで接続されている。リモート制御装置102は具体的には、例えば、タブレット端末などの情報処理装置によって実現される。   The configuration of the computer device constituting the remote control device 102 of this embodiment will be described with reference to the block diagram of FIG. The remote control device 102 may be realized by a single computer device, or may be realized by distributing each function to a plurality of computer devices as required. When configured by a plurality of computer devices, they are connected by a local area network (LAN) or the like so that they can communicate with each other. Specifically, the remote control device 102 is realized by an information processing device such as a tablet terminal, for example.

図2において、制御部201はリモート制御装置102全体を制御し、例えばCentral Processing Unit(CPU)である。Read Only Memory(ROM)202は書き換え可能な不揮発性メモリでOperating System(OS)などのプログラム、外部装置から供給されるプログラムを保持する。Random Access Memory(RAM)203は揮発性メモリでプログラムやデータを一時記憶する。外部記憶装置204はリモート制御装置102に固定して設置されたハードディスクドライブ(HDD)である。あるいは、外部記憶装置204はフラッシュメモリで構成されるソリッドステートドライブ(SSD)、ハードディスクとフラッシュメモリを併用したハイブリッドドライブやメモリカードなどであってもよい。外部記憶装置204はサーバー装置104から取得した縮小コンテンツなどを記憶する。また、外部記憶装置204はOSや後述するコンテンツ管理アプリケーションプログラムなどのソフトウェアプログラムを記憶する。   In FIG. 2, a control unit 201 controls the entire remote control device 102, and is, for example, a central processing unit (CPU). A Read Only Memory (ROM) 202 is a rewritable nonvolatile memory, and holds a program such as an Operating System (OS) and a program supplied from an external device. A Random Access Memory (RAM) 203 is a volatile memory and temporarily stores programs and data. The external storage device 204 is a hard disk drive (HDD) fixedly installed on the remote control device 102. Alternatively, the external storage device 204 may be a solid state drive (SSD) composed of flash memory, a hybrid drive using a combination of a hard disk and flash memory, a memory card, or the like. The external storage device 204 stores reduced content acquired from the server device 104. The external storage device 204 stores an OS and software programs such as a content management application program described later.

Bit Move Unit(BMU)205は、例えばメモリ間(例えば、VRAM206と他のメモリとの間)や、メモリと各I/Oデバイス(例えば、ネットワークインターフェイス209)間のデータ転送を制御する。Video R A M(VRAM)206は、表示装置(モニター)208に表示する為の画像を描画する。このVRAM206に生成した画像を、所定の規定に従ってモニター208に送信し、これによりモニター208は画像を表示する。またモニター208はタッチセンサ207を有するタッチパネルである。なお、タッチパネルは、モニター208に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。制御部201はタッチパネルへの以下の操作を検出できる。タッチパネルを指やペンで触れたこと(以下、タッチダウンと称する)。タッチパネルを指やペンで触れている状態であること(以下、タッチオンと称する)。タッチパネルを指やペンで触れたまま移動していること(以下、ムーブと称する)。タッチパネルへ触れていた指やペンを離したこと(以下、タッチアップと称する)。タッチパネルに何も触れていない状態(以下、タッチオフと称する)。これらの操作や、タッチパネル上に指やペンが触れている位置座標は、制御部201に通知され、制御部201は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから所定の距離以上のムーブを経てタッチアップをしたとき、ドラッグを経てドロップが行われたこととする(ドラッグアンドドロップ)。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。   The Bit Move Unit (BMU) 205 controls, for example, data transfer between memories (for example, between the VRAM 206 and another memory) or between the memory and each I / O device (for example, the network interface 209). A video RAM (VRAM) 206 draws an image to be displayed on a display device (monitor) 208. The image generated in the VRAM 206 is transmitted to the monitor 208 according to a predetermined rule, whereby the monitor 208 displays the image. A monitor 208 is a touch panel having a touch sensor 207. Note that the touch panel is an input device that is configured to overlap with the monitor 208 and is configured to output coordinate information corresponding to the touched position. The control unit 201 can detect the following operations on the touch panel. Touching the touch panel with a finger or a pen (hereinafter referred to as touchdown). The touch panel is touched with a finger or a pen (hereinafter referred to as touch-on). The touch panel is moved while being touched with a finger or a pen (hereinafter referred to as a move). The finger or pen that was touching the touch panel is released (hereinafter referred to as touch-up). A state where nothing is touched on the touch panel (hereinafter referred to as touch-off). These operations and the position coordinates where the finger or pen touches the touch panel are notified to the control unit 201, and the control unit 201 determines what operation has been performed on the touch panel based on the notified information. To do. Regarding the move, the moving direction of the finger or pen moving on the touch panel can also be determined for each vertical component / horizontal component on the touch panel based on the change of the position coordinates. In addition, when touch-up is performed on the touch panel through a move of a predetermined distance or more from touchdown, it is assumed that the drop is performed via drag (drag and drop). The touch panel may be any of various types of touch panels such as a resistive film method, a capacitance method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, an image recognition method, and an optical sensor method. .

無線ネットワークインターフェイス209は無線通信回線211に繋がることでアクセスポイント機能付きルータ105と通信する。システムバス210は201〜209の各ユニットを通信可能に接続する。   The wireless network interface 209 communicates with the router 105 with an access point function by connecting to the wireless communication line 211. The system bus 210 connects the units 201 to 209 so that they can communicate with each other.

本実施例のコンテンツ管理装置103を構成するコンピュータ装置の構成について、図3のブロック図を参照して説明する。コンテンツ管理装置103はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにLocal Area Network(LAN)などで接続されている。コンテンツ管理装置103は具体的には例えば、外付けハードディスクやレコーダーなどの大容量記憶装置によって実現される。   The configuration of the computer apparatus that constitutes the content management apparatus 103 of this embodiment will be described with reference to the block diagram of FIG. Each of the content management apparatuses 103 may be realized by a single computer apparatus, or may be realized by distributing functions to a plurality of computer apparatuses as necessary. When configured by a plurality of computer devices, they are connected by a local area network (LAN) or the like so that they can communicate with each other. Specifically, the content management apparatus 103 is realized by, for example, a large-capacity storage device such as an external hard disk or a recorder.

図3において、制御部301はコンテンツ管理装置103全体を制御し、例えばCentral Processing Unit(CPU)である。Read Only Memory(ROM)302は書き換え可能な不揮発性メモリでOperating System(OS)などのプログラム、外部装置から供給されるプログラムを保持する。Random Access Memory(RAM)303は揮発性メモリでプログラムやデータを一時記憶する。外部記憶装置304はコンテンツ管理装置103に固定して設置されたハードディスクドライブ(HDD)である。あるいは、外部記憶装置304はフラッシュメモリで構成されるソリッドステートドライブ(SSD)、ハードディスクとフラッシュメモリを併用したハイブリッドドライブやメモリカードなどである。外部記憶装置304はデジタルカメラ101から取得したオリジナルのコンテンツを記憶する。   In FIG. 3, the control unit 301 controls the entire content management apparatus 103 and is, for example, a central processing unit (CPU). A read only memory (ROM) 302 is a rewritable nonvolatile memory, and holds programs such as an operating system (OS) and programs supplied from an external device. A Random Access Memory (RAM) 303 is a volatile memory and temporarily stores programs and data. The external storage device 304 is a hard disk drive (HDD) fixedly installed in the content management device 103. Alternatively, the external storage device 304 is a solid state drive (SSD) configured by flash memory, a hybrid drive using both a hard disk and flash memory, a memory card, or the like. The external storage device 304 stores original content acquired from the digital camera 101.

Bit Move Unit(BMU)305は、例えばメモリ間(例えば、VRAM306と他のメモリとの間)や、メモリと各I/Oデバイス(例えば、ネットワークインターフェイス307)間のデータ転送を制御する。Video R A M(VRAM)306は、大画面モニター107に表示する為の画像を描画する。このVRAM206に生成した画像を、所定の規定に従って大画面モニター107に送信し、これにより大画面モニター107に画像を表示する。   A Bit Move Unit (BMU) 305 controls, for example, data transfer between memories (for example, between the VRAM 306 and another memory) and between the memory and each I / O device (for example, the network interface 307). A Video RAM (VRAM) 306 renders an image to be displayed on the large screen monitor 107. The image generated in the VRAM 206 is transmitted to the large screen monitor 107 in accordance with a predetermined rule, whereby the image is displayed on the large screen monitor 107.

無線ネットワークインターフェイス307は無線ネットワーク回線310に繋がることで、アクセスポイント機能付きルータ105と通信し、無線ネットワーク回線310につながることでデジタルカメラ101と通信する。システムバス309は301〜307の各ユニットを通信可能に接続する。   The wireless network interface 307 communicates with the router 105 with an access point function by connecting to the wireless network line 310, and communicates with the digital camera 101 by connecting to the wireless network line 310. A system bus 309 connects the units 301 to 307 so that they can communicate with each other.

本実施例のサーバー装置104を構成するコンピュータ装置の構成について、図4のブロック図を参照して説明する。サーバー装置104はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにLocal Area Network(LAN)などで接続されている。サーバー装置104は具体的には例えば、クラウドサーバーなどの情報処理装置によって実現される。   The configuration of the computer device constituting the server device 104 of this embodiment will be described with reference to the block diagram of FIG. Each of the server devices 104 may be realized by a single computer device, or may be realized by distributing functions to a plurality of computer devices as necessary. When configured by a plurality of computer devices, they are connected by a local area network (LAN) or the like so that they can communicate with each other. Specifically, the server device 104 is realized by an information processing device such as a cloud server.

図4において、制御部401はサーバー装置104全体を制御し、例えばCentral Processing Unit(CPU)である。Read Only Memory(ROM)402は書き換え可能な不揮発性メモリでOperating System(OS)などのプログラム、外部装置から供給されるプログラムを保持する。Random Access Memory(RAM)403は揮発性メモリでプログラムやデータを一時記憶する。記憶部404はサーバー装置104に固定して設置されたハードディスクドライブ(HDD)、フラッシュメモリで構成されるソリッドステートドライブ(SSD)、ハードディスクとフラッシュメモリを併用したハイブリッドドライブやメモリカードなどである。記憶部404はコンテンツ管理装置103から送られている縮小コンテンツや、サーバー装置104で生成するコンテンツに対する評価値や削除対象か否かを示す情報などで構成される属性情報を記憶する。   In FIG. 4, a control unit 401 controls the entire server device 104, and is, for example, a central processing unit (CPU). A read only memory (ROM) 402 is a rewritable nonvolatile memory, and holds programs such as an operating system (OS) and programs supplied from an external device. A Random Access Memory (RAM) 403 is a volatile memory and temporarily stores programs and data. The storage unit 404 is a hard disk drive (HDD) fixedly installed in the server device 104, a solid state drive (SSD) composed of flash memory, a hybrid drive using both a hard disk and flash memory, a memory card, and the like. The storage unit 404 stores attribute information including reduced content sent from the content management device 103, evaluation values for content generated by the server device 104, information indicating whether or not to be deleted, and the like.

Bit Move Unit(BMU)405は、例えばメモリ間(例えば、データベース部406と他のメモリとの間)や、メモリと各I/Oデバイス(例えば、有線ネットワークインターフェイス407)間のデータ転送を制御する。データベース部406は、記憶部404に記録されている縮小コンテンツやコンテンツの属性情報に対する検索性を向上させるための管理機能を持つ。所定の条件に従うコンテンツが記憶部404のどの領域に記録されているかを教えてくれる。   A Bit Move Unit (BMU) 405 controls, for example, data transfer between memories (for example, between the database unit 406 and another memory) or between the memory and each I / O device (for example, a wired network interface 407). . The database unit 406 has a management function for improving searchability for reduced content and content attribute information recorded in the storage unit 404. It tells in which area of the storage unit 404 content according to a predetermined condition is recorded.

有線ネットワークインターフェイス407はネットワーク回線409に繋がることで、インターネット106と繋がっている。システムバス408は401〜408の各ユニットを通信可能に接続する。   The wired network interface 407 is connected to the Internet 106 by connecting to the network line 409. A system bus 408 connects the units 401 to 408 so that they can communicate with each other.

図5(a)は、ユーザーの操作に応答して、リモート制御装置102の制御部201がコンテンツ管理アプリケーションプログラム(以下コンテンツ管理アプリと呼ぶ)を起動すると表示されるサムネイル一覧画面の一例である。制御部201は無線ネットワークインターフェイス209経由でサーバー装置104から縮小コンテンツとしてサムネイル画像を取得し、VRAM206に展開することでモニター208に一覧表示するよう表示制御する。サムネイル一覧画面500はサーバー装置104やコンテンツ管理装置103で管理されているコンテンツライブラリに対する制御を操作するためのGUIである。サムネイル表示領域501には、サーバー装置104から取得されたサムネイル画像が撮影日時順に並べて表示される。また、図5(b)は、サムネイル一覧画面500を用いてコンテンツ管理装置103が保持するオリジナルコンテンツをモニター107で表示し、再生する操作を説明するための図である。ユーザーの指示部材504が、再生したいサムネイル画像にタッチオンしたまま、サムネイル一覧画面500の時間軸と交差する方向の上向きにムーブ操作をして所定の位置まで移動させる。制御部201がこのような操作を検知すると、当該サムネイル画像の識別子と画像再生コマンドがサーバー装置104経由でコンテンツ管理装置103へ送信される。なお、図5(b)において上方向へのムーブ操作が検知されると、再生対象のサムネイル画像以外をグレイアウトしたり、再生対象のサムネイル画像が所定の位置に達すると、画面外に出て行くようなアニメーション効果を施すようにしてもよい。これにより、ユーザーは操作が検知されていることを認識することができる。また、画像再生コマンドの送信が完了すると、制御部201はサムネイル一覧画面を図5(a)に示すような表示態様に戻す。   FIG. 5A is an example of a thumbnail list screen that is displayed when the control unit 201 of the remote control apparatus 102 starts a content management application program (hereinafter referred to as a content management application) in response to a user operation. The control unit 201 obtains thumbnail images as reduced contents from the server device 104 via the wireless network interface 209 and displays them as a list on the monitor 208 by developing them in the VRAM 206. A thumbnail list screen 500 is a GUI for operating control on a content library managed by the server device 104 or the content management device 103. In the thumbnail display area 501, thumbnail images acquired from the server device 104 are displayed side by side in order of shooting date and time. FIG. 5B is a diagram for explaining an operation of displaying and reproducing the original content held by the content management apparatus 103 on the monitor 107 using the thumbnail list screen 500. The user instruction member 504 moves to a predetermined position by moving upward in a direction intersecting the time axis of the thumbnail list screen 500 while touching on a thumbnail image to be reproduced. When the control unit 201 detects such an operation, the thumbnail image identifier and the image playback command are transmitted to the content management apparatus 103 via the server apparatus 104. If a move operation in the upward direction is detected in FIG. 5B, when a thumbnail image other than the playback target thumbnail image is grayed out or the playback target thumbnail image reaches a predetermined position, the screen moves out of the screen. You may make it give the animation effect which goes. Thereby, the user can recognize that the operation is detected. When the transmission of the image playback command is completed, the control unit 201 returns the thumbnail list screen to the display mode as shown in FIG.

本実施形態のシステムにおいて、オリジナルコンテンツとして動画像の再生処理を実行する動作を図6のシーケンス図を参照して説明する。なお、以下の動作は、リモート制御装置102の制御部201が、OSや所定のアプリケーションプログラムを実行し、それにしたがってリモート制御装置102の各部を制御することにより実現される。また、サーバー装置104の制御部401が、OSや所定のアプリケーションプログラムを実行し、それにしたがってサーバー装置104の各部を制御することにより実現される。また、コンテンツ管理装置103の制御部301がOSや所定のアプリケーションプログラムを実行し、それにしたがってコンテンツ管理装置103の各部を制御することにより実現される。また、リモート制御装置102とサーバー装置104間、サーバー装置104とコンテンツ管理装置103間の通信はHTTPに従う通信規格に従い行われる。   In the system of the present embodiment, an operation for executing a moving image reproduction process as original content will be described with reference to a sequence diagram of FIG. The following operation is realized by the control unit 201 of the remote control device 102 executing an OS or a predetermined application program and controlling each unit of the remote control device 102 according to the execution. Further, the control unit 401 of the server device 104 is realized by executing an OS or a predetermined application program and controlling each unit of the server device 104 according to the execution. Further, this is realized by the control unit 301 of the content management apparatus 103 executing an OS or a predetermined application program and controlling each unit of the content management apparatus 103 according to the execution. Further, communication between the remote control device 102 and the server device 104 and between the server device 104 and the content management device 103 is performed in accordance with a communication standard according to HTTP.

リモート制御装置102は、上述したようにサムネイル一覧画面500上でサムネイル画像に対するムーブ操作を検知する(S601)。これに応答して、リモート制御装置102は当該サムネイル画像のコンテンツ識別子および、当該サムネイル画像と対応する動画像の再生開始を指示するための再生開始指示コマンドをサーバー装置104に送信する(S602)。サーバー装置104はコンテンツ識別子および再生開始指示コマンドを受付けると、これらを当該コンテンツ識別子と対応する動画像を保持するコンテンツ管理装置103へ送信する(S603)。コンテンツ管理装置103はコンテンツ識別子および再生開始指示コマンドを受信すると、当該コンテンツ識別子と関連付けられた動画像を外部記憶装置304から読み出す。そして、読み出された動画像を復号化し、VRAM306に展開してモニター107へ送信することで、動画像が大画面モニター107上で表示され再生されるように制御する(S604)。コンテンツ管理装置103は大画面モニター107上での動画像の再生状態を監視し、コンテンツ識別子と再生状態をサーバー装置104へ定期的に通知する(S605)。サーバー装置104はコンテンツ識別子と再生状態を受信すると、再生状態の変化の有無を判定し、変化があれば、コンテンツ識別子と再生状態をリモート制御装置102へ通知する(S606)。リモート制御装置102は受信されたコンテンツ識別子と対応するサムネイル画像の近傍に、再生状態と対応するアイコンを表示するよう表示制御する(S607)。図7(a)に示すように、再生停止ボタン710がアイコンとして、サムネイル画像701に重畳して表示される。なお、ステップS604乃至S606の処理は動画像の終端のフレームが再生されるまで、または後述の再生停止が指示されるまで順に各フレームに対して繰り返される。なお、動画像の終端のフレームが再生されると、次の動画像を自動的に選択し、再生するようにしてもよい。この場合、次の動画像に対してステップS604乃至S606の処理が繰り返される。   As described above, the remote control device 102 detects a move operation on the thumbnail image on the thumbnail list screen 500 (S601). In response to this, the remote control apparatus 102 transmits a content identifier of the thumbnail image and a reproduction start instruction command for instructing the reproduction start of the moving image corresponding to the thumbnail image to the server apparatus 104 (S602). When the server device 104 receives the content identifier and the reproduction start instruction command, the server device 104 transmits them to the content management device 103 that holds the moving image corresponding to the content identifier (S603). When the content management apparatus 103 receives the content identifier and the reproduction start instruction command, the content management apparatus 103 reads the moving image associated with the content identifier from the external storage device 304. Then, the read moving image is decoded, developed in the VRAM 306, and transmitted to the monitor 107, thereby controlling the moving image to be displayed and reproduced on the large screen monitor 107 (S604). The content management apparatus 103 monitors the playback state of the moving image on the large screen monitor 107 and periodically notifies the server device 104 of the content identifier and the playback state (S605). Upon receiving the content identifier and the playback state, the server device 104 determines whether or not the playback state has changed, and if there is a change, notifies the remote control device 102 of the content identifier and the playback state (S606). The remote control apparatus 102 performs display control so that an icon corresponding to the reproduction state is displayed in the vicinity of the thumbnail image corresponding to the received content identifier (S607). As shown in FIG. 7A, a playback stop button 710 is displayed as an icon superimposed on the thumbnail image 701. Note that the processing in steps S604 to S606 is repeated for each frame in order until the last frame of the moving image is played back or until a playback stop instruction is given, which will be described later. When the last frame of the moving image is reproduced, the next moving image may be automatically selected and reproduced. In this case, the processes in steps S604 to S606 are repeated for the next moving image.

リモート制御装置102は、ユーザー操作に応答して、再生停止ボタン710へのタッチオンを検知する(S608)。これに応答して、再生停止ボタン710が重畳されているサムネイル画像701のコンテンツ識別子と、当該サムネイル画像と対応する動画像の再生停止を指示するための再生停止指示コマンドをサーバー装置104に送信する(S609)。サーバー装置104はコンテンツ識別子と再生停止指示コマンドを受信すると、再生停止指示コマンドを、当該コンテンツ識別子と関連付けられた動画像を保持するコンテンツ管理装置103へ送信する(S610)。なお、大画面モニター107が1つの動画像しか再生しない場合は、ステップS610ではコンテンツ識別子をコンテンツ管理装置103へ送信しなくてよい。   In response to the user operation, the remote control device 102 detects a touch-on to the playback stop button 710 (S608). In response to this, the content identifier of the thumbnail image 701 on which the playback stop button 710 is superimposed and a playback stop instruction command for instructing to stop playback of the moving image corresponding to the thumbnail image are transmitted to the server device 104. (S609). Upon receiving the content identifier and the reproduction stop instruction command, the server device 104 transmits the reproduction stop instruction command to the content management apparatus 103 that holds the moving image associated with the content identifier (S610). When the large screen monitor 107 reproduces only one moving image, the content identifier need not be transmitted to the content management apparatus 103 in step S610.

再生停止指示コマンドを受信すると、コンテンツ管理装置103は再生中の動画像の復号化を停止し、VRAMを初期化するとともに、大画面モニター107が動画像の再生を開始する前の表示態様になるように制御する。コンテンツ管理装置103は大画面モニター107上での動画像の再生状態の監視結果として、動画像の再生が停止されたことをサーバー装置104へ通知すると(S612)、サーバー装置104はその通知をリモート制御装置102へ転送する(S613)。リモート制御装置は、動画像の再生が停止された通知を受信すると、再生停止ボタン710を非表示にする。   When the playback stop instruction command is received, the content management apparatus 103 stops decoding of the moving image being played back, initializes the VRAM, and enters a display mode before the large screen monitor 107 starts playing the moving image. To control. When the content management apparatus 103 notifies the server apparatus 104 that the reproduction of the moving image has been stopped as a result of monitoring the reproduction state of the moving image on the large-screen monitor 107 (S612), the server apparatus 104 remotely notifies the notification. The data is transferred to the control device 102 (S613). When the remote control device receives the notification that the playback of the moving image is stopped, the remote control device hides the playback stop button 710.

リモート制御装置102において、再生停止ボタン710がサムネイル一覧画面500に表示されているときに、ユーザー操作に応答してサムネイル表示領域501の時間軸方向のムーブ操作が検知されたときの動作を図8のフローチャート図を参照して説明する。なお、以下の動作は、リモート制御装置102の制御部201が、OSや所定のアプリケーションプログラムを実行し、それにしたがってリモート制御装置102の各部を制御することにより実現される。   FIG. 8 shows an operation when a movement operation in the time axis direction of the thumbnail display area 501 is detected in response to a user operation when the playback stop button 710 is displayed on the thumbnail list screen 500 in the remote control device 102. This will be described with reference to the flowchart of FIG. The following operation is realized by the control unit 201 of the remote control device 102 executing an OS or a predetermined application program and controlling each unit of the remote control device 102 according to the execution.

制御部201は、ユーザー操作に応答してサムネイル表示領域501の時間軸方向のムーブ操作を検知すると(S801)、サムネイル表示領域501の表示対象となる時間範囲を変更する(S802)。そして、制御部201は大型モニターで再生中の動画像と対応するサムネイル画像が変更後の時間範囲に含まれるか否かを判定する(S803)。含まれる場合は(S803でYes)、変更後の時間範囲に含まれる撮影時間と関連付けられたサムネイル画像を外部記憶装置204から読み出す。そして、新たに読み出されたサムネイル画像をサムネイル表示領域501に表示すると共に、再生中の動画像と対応するサムネイル画像に再生停止ボタンを重畳して表示する(S804)。   When the control unit 201 detects a move operation in the time axis direction of the thumbnail display area 501 in response to a user operation (S801), the control unit 201 changes the time range to be displayed in the thumbnail display area 501 (S802). Then, the control unit 201 determines whether or not the thumbnail image corresponding to the moving image being reproduced on the large monitor is included in the changed time range (S803). If included (Yes in S803), the thumbnail image associated with the shooting time included in the changed time range is read from the external storage device 204. Then, the newly read thumbnail image is displayed in the thumbnail display area 501, and a reproduction stop button is superimposed on the thumbnail image corresponding to the moving image being reproduced (S804).

一方、含まれない場合は(S803でNo)、変更後の時間範囲に含まれる撮影時間と関連付けられたサムネイル画像を外部記憶装置204から読み出す。そして、図7(b)に示すように、新たに読み出されたサムネイル画像をサムネイル表示領域501に表示すると共に、再生停止ボタン720を所定の位置に表示する(S805)。   On the other hand, if it is not included (No in S803), the thumbnail image associated with the shooting time included in the changed time range is read from the external storage device 204. Then, as shown in FIG. 7B, the newly read thumbnail image is displayed in the thumbnail display area 501 and the playback stop button 720 is displayed at a predetermined position (S805).

なお、サムネイル一覧画面700での表示更新を滑らかに行うために、制御部201は、変更後の時間範囲よりも広い時間範囲に含まれる撮影時間と対応するサムネイル画像を含むサムネイル一覧の描画面をRAM203に描画しておく。そして、ムーブ操作の移動量に応じて、描画面をずらしてBMU205にてVRAM206へ転送する。   In order to smoothly update the display on the thumbnail list screen 700, the control unit 201 displays a thumbnail list drawing surface including thumbnail images corresponding to shooting times included in a time range wider than the changed time range. Drawing is performed in the RAM 203. Then, the drawing surface is shifted in accordance with the moving amount of the move operation, and the BMU 205 transfers it to the VRAM 206.

なお、上記では再生停止ボタンをサムネイル画像の近傍に表示する一例として、重畳して表示するように説明したが、サムネイル画像に隣接して表示するようにしてもよい。   In the above description, as an example of displaying the playback stop button in the vicinity of the thumbnail image, it has been described as being superimposed, but it may be displayed adjacent to the thumbnail image.

また、再生中の動画像と対応するサムネイル画像は他のサムネイル画像と識別可能であればよく、所定の色の枠や所定の幅の枠でサムネイル画像を囲んで表示してもよい。この場合、サムネイル画像自身にタッチオンが検知されれば、再生停止指示ボタンと同様にして、再生停止コマンドを送信する。   Further, the thumbnail image corresponding to the moving image being played back may be distinguished from other thumbnail images, and the thumbnail image may be displayed surrounded by a frame of a predetermined color or a frame of a predetermined width. In this case, if touch-on is detected in the thumbnail image itself, a playback stop command is transmitted in the same manner as the playback stop instruction button.

また、リモート制御装置102において、再生停止ボタン710がサムネイル一覧画面500に表示されているときに、ユーザー操作に応答してサムネイル表示領域501の時間軸方向のムーブ操作が検知されたときの動作は別の形態であってもよい。図9のフローチャート図を参照して説明する。なお、以下の動作は、リモート制御装置102の制御部201が、OSや所定のアプリケーションプログラムを実行し、それにしたがってリモート制御装置102の各部を制御することにより実現される。上述のステップS801〜S803が実行された後、再生中の動画像と対応するサムネイル画像の撮影時間が変更後の時間範囲に含まれない場合は(S803でNo)、図7(c)に示すように表示範囲変更ボタン730を所定の位置に表示する(S901)。表示範囲変更ボタン730が押下されるまでは、変更後の時間範囲に含まれる撮影時間と関連付けられたサムネイル画像を外部記憶装置204から読み出し、サムネイル表示領域501に表示する。   Further, in the remote control device 102, when the playback stop button 710 is displayed on the thumbnail list screen 500, the operation when the move operation in the time axis direction of the thumbnail display area 501 is detected in response to the user operation is as follows. Another form may be sufficient. This will be described with reference to the flowchart of FIG. The following operation is realized by the control unit 201 of the remote control device 102 executing an OS or a predetermined application program and controlling each unit of the remote control device 102 according to the execution. After the above-described steps S801 to S803 are executed, when the shooting time of the thumbnail image corresponding to the moving image being reproduced is not included in the changed time range (No in S803), the process is illustrated in FIG. In this way, the display range change button 730 is displayed at a predetermined position (S901). Until the display range change button 730 is pressed, the thumbnail image associated with the shooting time included in the changed time range is read from the external storage device 204 and displayed in the thumbnail display area 501.

制御部201はユーザーの操作に応答して、表示範囲変更ボタン730の押下操作を検知すると(S902)、サムネイル表示領域501の時間範囲が再生中の動画像の撮影時間を含むように変更する(S903)。そして、ステップS804と同様に、変更後の時間範囲に含まれる撮影時間と関連付けられたサムネイル画像を外部記憶装置204から読み出す。そして、新たに読み出されたサムネイル画像をサムネイル表示領域501に表示すると共に、再生中の動画像と対応するサムネイル画像に再生停止ボタンを重畳して表示する。   When the control unit 201 detects a pressing operation of the display range change button 730 in response to a user operation (S902), the control unit 201 changes the time range of the thumbnail display area 501 to include the shooting time of the moving image being played back (S902). S903). Then, similarly to step S804, the thumbnail image associated with the shooting time included in the changed time range is read from the external storage device 204. Then, the newly read thumbnail image is displayed in the thumbnail display area 501, and a playback stop button is superimposed on the thumbnail image corresponding to the moving image being played back.

(第2の実施形態)
本実施形態では、大画面モニター107上で動画像が再生され、それと対応してリモート制御装置102のサムネイル一覧画面上でサムネイル画像も再生される場合について説明する。
(Second Embodiment)
In the present embodiment, a case will be described in which a moving image is reproduced on the large screen monitor 107 and a thumbnail image is also reproduced on the thumbnail list screen of the remote control device 102 correspondingly.

本実施形態のシステムにおいて、オリジナルコンテンツ(本体コンテンツ)として動画像(本体動画)の再生処理を実行する動作を図10のシーケンス図を参照して説明する。なお、以下の動作は、リモート制御装置102の制御部201が、OSや所定のアプリケーションプログラムを実行し、それにしたがってリモート制御装置102の各部を制御することにより実現される。また、コンテンツ管理装置103の制御部301がOSや所定のアプリケーションプログラムを実行し、それにしたがってコンテンツ管理装置103の各部を制御することにより実現される。また、リモート制御装置102とコンテンツ管理装置103はアクセスポイント機能付きルータ105を経由して各種制御コマンドを送受信する。   With reference to the sequence diagram of FIG. 10, an operation of executing a reproduction process of a moving image (main body moving image) as original content (main body content) in the system of the present embodiment will be described. The following operation is realized by the control unit 201 of the remote control device 102 executing an OS or a predetermined application program and controlling each unit of the remote control device 102 according to the execution. Further, this is realized by the control unit 301 of the content management apparatus 103 executing an OS or a predetermined application program and controlling each unit of the content management apparatus 103 according to the execution. Further, the remote control device 102 and the content management device 103 transmit and receive various control commands via the router 105 with an access point function.

リモート制御装置102は、上述したようにサムネイル一覧画面500上で動画像と対応するサムネイル画像に対する、時間軸に交差する方向の上向きのムーブ操作を検知する(S1001)。ここで、動画像と対応するサムネイル画像は、動画像に含まれるすべてのフレームのうち一部のフレームが抽出され、縮小処理された縮小動画である。そして、サムネイル一覧画面500上で、縮小画像が繰り返し再生されて表示されている。これにより、表示用のサムネイル画像を一時的に記憶するために消費するRAM203または外部記憶装置204の記憶容量の負荷を軽減することができる。   As described above, the remote control device 102 detects an upward movement operation in a direction crossing the time axis on the thumbnail image corresponding to the moving image on the thumbnail list screen 500 (S1001). Here, the thumbnail image corresponding to the moving image is a reduced moving image obtained by extracting a part of all the frames included in the moving image and performing reduction processing. On the thumbnail list screen 500, the reduced image is repeatedly reproduced and displayed. Thereby, it is possible to reduce the load of the storage capacity of the RAM 203 or the external storage device 204 that is consumed for temporarily storing thumbnail images for display.

ムーブ操作の検知に応答して、リモート制御装置102は当該サムネイル画像のコンテンツ識別子および、当該サムネイル画像と対応する動画像の再生開始を指示するための再生開始指示コマンドをコンテンツ管理装置103に送信する(S1002)。コンテンツ管理装置103はコンテンツ識別子および再生開始指示コマンドを受信する。これに応答して、当該コンテンツ識別子と関連付けられた動画像を外部記憶装置304から読み出して復号化し、VRAM306に展開してモニター107へ送信することで、動画像が大画面モニター107上で表示されるように制御する(S1003)。そして、コンテンツ管理装置103は、コンテンツ識別子とともに動画像の再生開始をリモート制御装置102に通知する(S1004)。これに応答して、リモート制御装置102は受信されたコンテンツ識別子と対応するサムネイル画像を所定の表示態様で表示するよう表示制御する(S1005)。   In response to the detection of the move operation, the remote control device 102 transmits a content identifier of the thumbnail image and a reproduction start instruction command for instructing the reproduction start of the moving image corresponding to the thumbnail image to the content management device 103. (S1002). The content management apparatus 103 receives the content identifier and the reproduction start instruction command. In response to this, the moving image associated with the content identifier is read from the external storage device 304, decoded, expanded in the VRAM 306, and transmitted to the monitor 107, so that the moving image is displayed on the large screen monitor 107. (S1003). Then, the content management apparatus 103 notifies the remote control apparatus 102 of the start of moving image reproduction together with the content identifier (S1004). In response to this, the remote control apparatus 102 performs display control so as to display the thumbnail image corresponding to the received content identifier in a predetermined display mode (S1005).

コンテンツ管理装置103は外部記憶装置304から読み出された動画像をフレーム画像毎に2経路に分岐し、一方の経路では、フレーム画像に対して復号化処理を実行してVRAM306に展開してモニター107へ送信する(S1006)。そして、もう一方の経路では、フレーム画像に縮小処理を実行し、無線ネットワークインターフェイス307を介してリモート制御装置102へ送信する(S1007)。リモート制御装置102はフレーム画像を受信すると、復号化してVRAM206に展開し、サムネイル一覧画面500の該当するサムネイル画像の表示を更新する(S1008)。このようにして、大画面モニター107上で再生され、表示されているシーンと同じシーンがリモート制御装置のモニター208上でも表示される。   The content management apparatus 103 branches the moving image read from the external storage device 304 into two paths for each frame image. In one path, the content management apparatus 103 executes a decoding process on the frame image and develops it in the VRAM 306 for monitoring. It transmits to 107 (S1006). In the other path, the frame image is reduced and transmitted to the remote control apparatus 102 via the wireless network interface 307 (S1007). When receiving the frame image, the remote control device 102 decodes and develops the frame image in the VRAM 206, and updates the display of the corresponding thumbnail image on the thumbnail list screen 500 (S1008). In this way, the same scene that is reproduced and displayed on the large screen monitor 107 is also displayed on the monitor 208 of the remote control device.

なお、ステップS1006乃至S1008の処理は動画像の終端のフレームが再生されるまで、または後述の再生停止が指示されるまで順に各フレームに対して繰り返される。なお、動画像の終端のフレームが再生されると、次の動画像を自動的に選択し、再生するようにしてもよい。この場合、次の動画像に対してステップS1004およびS1005の処理が実行された後、ステップS1006乃至S1008の処理が繰り返される。   Note that the processing in steps S1006 to S1008 is repeated for each frame in order until the last frame of the moving image is played back or until a playback stop instruction is given, which will be described later. When the last frame of the moving image is reproduced, the next moving image may be automatically selected and reproduced. In this case, after the processes of steps S1004 and S1005 are executed for the next moving image, the processes of steps S1006 to S1008 are repeated.

リモート制御装置102は、ユーザー操作に応答して、再生停止指示コマンドをコンテンツ管理装置103に送信する(S1009)。コンテンツ管理装置103は上述のステップS1007乃至S1008の処理を中止し(S1010)、その旨をリモート制御装置102へ通知する(S1011)。リモート制御装置102はステップS1005で表示されたアイコンを非表示にする(S1012)。   In response to the user operation, the remote control device 102 transmits a playback stop instruction command to the content management device 103 (S1009). The content management apparatus 103 stops the processing of steps S1007 to S1008 described above (S1010), and notifies the remote control apparatus 102 to that effect (S1011). The remote control device 102 hides the icon displayed in step S1005 (S1012).

なお、リモート制御装置102は、本体動画の一部のフレームと対応する縮小フレームを含む部分縮小動画だけでなく、本体動画の全部のフレームと対応する縮小フレームを含む全編縮小動画も記憶していてもよい。このような場合の本システムの動作について図11のシーケンス図を参照して説明する。まず、ステップS1001乃至S1005の処理が実行される。ここで、サムネイル画像として部分縮小動画が再生表示されている。そして、リモート制御装置102は、ステップS1004の通知に応答して、コンテンツ識別子と対応するサムネイル画像を、部分縮小動画から全編縮小動画に切り換える(S1101)。コンテンツ管理装置103は、大画面モニター107で再生されているフレームと対応する再生位置をリモート制御装置102に通知する(S1102)。リモート制御装置102は全編縮小動画のうち、通知された再生位置と対応する位置を再生して表示する(S1103)。   Note that the remote control device 102 stores not only partially reduced moving images including reduced frames corresponding to some frames of the main moving image but also full-length reduced moving images including reduced frames corresponding to all frames of the main moving image. Also good. The operation of this system in such a case will be described with reference to the sequence diagram of FIG. First, the processes of steps S1001 to S1005 are executed. Here, a partially reduced video is reproduced and displayed as a thumbnail image. In response to the notification in step S1004, the remote control apparatus 102 switches the thumbnail image corresponding to the content identifier from the partially reduced moving image to the full-length reduced moving image (S1101). The content management apparatus 103 notifies the remote control apparatus 102 of the reproduction position corresponding to the frame being reproduced on the large screen monitor 107 (S1102). The remote control device 102 reproduces and displays a position corresponding to the notified reproduction position in the full-length reduced video (S1103).

また、上述のように、リモート制御装置102において、大画面モニター107上で動画像が再生され、それと対応してサムネイル画像も再生されているときも、ユーザー操作に応答してサムネイル表示領域501の時間軸方向のムーブ操作を検知可能である。時間軸方向のムーブ操作を検知すると、サムネイル一覧画面に表示される時間範囲が変更されるので、大画面モニター107上で再生中の動画像と対応するサムネイル画像が表示対象ではなくなる場合がある。このようなときも、リモート制御装置102は縮小フレーム画像の受信を継続するが、復号化や表示処理は停止する。これにより、制御部201やBMU205の処理負荷を軽減することができる。そして、さらに時間範囲が変更されて、当該サムネイル画像が再び、表示対象になれば、復号化や表示処理を再開する。これにより、表示が停止されていた期間にかかわらず、大画面モニター107上で再生されているフレームと対応する縮小フレームがリモート制御装置102のモニター208に表示されることとなる。   In addition, as described above, even when a moving image is reproduced on the large screen monitor 107 and a thumbnail image is also reproduced correspondingly in the remote control device 102, the thumbnail display area 501 is displayed in response to a user operation. A move operation in the time axis direction can be detected. When a move operation in the time axis direction is detected, the time range displayed on the thumbnail list screen is changed, so that the thumbnail image corresponding to the moving image being reproduced on the large screen monitor 107 may not be displayed. Even in such a case, the remote control device 102 continues to receive the reduced frame image, but the decoding and display processing stops. Thereby, the processing load on the control unit 201 and the BMU 205 can be reduced. When the time range is further changed and the thumbnail image becomes a display target again, decoding and display processing are resumed. As a result, a reduced frame corresponding to the frame being reproduced on the large screen monitor 107 is displayed on the monitor 208 of the remote control device 102 regardless of the period during which the display is stopped.

以上のようにして、映像再生装置(大画面モニター107)上で再生されている本体動画と同じ位置のフレーム画像がリモート制御装置102のモニター208に表示される。これにより、ユーザーは、サムネイル一覧画面に表示された複数のサムネイル画像の中から、大画面モニター107上で再生中の本体画像と対応するサムネイル画像を認識し易くなる。   As described above, the frame image at the same position as the main body moving image being reproduced on the video reproduction device (large screen monitor 107) is displayed on the monitor 208 of the remote control device 102. Accordingly, the user can easily recognize a thumbnail image corresponding to the main body image being reproduced on the large screen monitor 107 from the plurality of thumbnail images displayed on the thumbnail list screen.

(他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

Claims (8)

本体コンテンツを識別可能な識別子に関連づけられた縮小コンテンツを表示装置に一覧表示する情報処理装置であって、
外部の映像再生装置上で再生中の本体コンテンツの識別子を取得する取得手段と、
前記一覧表示された複数の縮小コンテンツのうち、前記取得された識別子と関連づけられた縮小コンテンツを他の縮小コンテンツの第1の表示態様とは異なる第2の表示態様で前記表示装置に表示するよう制御する表示制御手段と、
前記第2の表示態様で表示された縮小コンテンツに対するユーザーの操作に応答して、前記縮小コンテンツと関連する本体コンテンツへの所定の処理を実行させる指示を受け付ける受付手段と、
前記縮小コンテンツの識別子と、前記識別子と関連づけられた本体コンテンツへの所定の処理を実行させる指示を外部装置に送信する送信手段を備えたことを特徴とする情報処理装置。
An information processing apparatus that displays a list of reduced contents associated with an identifier capable of identifying main body contents on a display device,
An acquisition means for acquiring an identifier of main body content being played on an external video playback device;
Of the plurality of reduced contents displayed in a list, the reduced content associated with the acquired identifier is displayed on the display device in a second display mode different from the first display mode of other reduced content. Display control means for controlling;
A receiving unit that receives an instruction to execute a predetermined process on the main body content related to the reduced content in response to a user operation on the reduced content displayed in the second display mode;
An information processing apparatus comprising: a transmission unit configured to transmit an identifier for the reduced content and an instruction to execute predetermined processing on the main body content associated with the identifier to an external device.
前記所定の処理は再生を停止させる処理であることを特徴とする請求項1に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the predetermined process is a process of stopping reproduction. 前記第2の表示態様では縮小コンテンツをアイコンとともに表示することを特徴とする請求項1または2に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the reduced content is displayed together with an icon in the second display mode. 前記複数の縮小コンテンツのうち一部が前記表示装置に表示され、前記取得された識別子と対応する縮小コンテンツが前記表示装置に表示されないとき、前記表示制御手段は前記アイコンを前記縮小コンテンツとは別に前記表示装置に表示するよう制御することを特徴とする請求項3に記載の情報処理装置。   When a part of the plurality of reduced contents is displayed on the display device and the reduced content corresponding to the acquired identifier is not displayed on the display device, the display control unit displays the icon separately from the reduced content. The information processing apparatus according to claim 3, wherein the information processing apparatus is controlled to display on the display apparatus. 前記送信された識別子に関連づけられた本体コンテンツに対して前記所定の処理が実行された通知を前記外部装置から受信する受信手段をさらに備え、
前記通知の受信に応答して、前記表示制御手段は、当該コンテンツを前記第1の表示態様で表示するよう制御することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
Receiving means for receiving, from the external device, a notification that the predetermined process has been executed on the main body content associated with the transmitted identifier;
5. The information processing according to claim 1, wherein the display control unit controls to display the content in the first display mode in response to the reception of the notification. 6. apparatus.
ユーザーの操作に応答して、前記複数の縮小コンテンツのうちいずれか1つを選択する選択手段と、
前記選択された縮小コンテンツの識別子と、前記識別子と関連づけられた本体コンテンツの再生の開始指示を外部装置に送信する第2の送信手段をさらに備えたことを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
Selecting means for selecting any one of the plurality of reduced contents in response to a user operation;
6. The information processing apparatus according to claim 1, further comprising: a second transmission unit configured to transmit an identifier of the selected reduced content and an instruction to start reproduction of the main content associated with the identifier to an external device. The information processing apparatus according to claim 1.
本体コンテンツを識別可能な識別子に関連づけられた縮小コンテンツを表示装置に一覧表示する情報処理装置の制御方法であって、
外部の映像再生装置上で再生中の本体コンテンツの識別子を取得するステップと、
前記一覧表示された複数の縮小コンテンツのうち、前記取得された識別子と関連づけられた縮小コンテンツを他の縮小コンテンツの第1の表示態様とは異なる第2の表示態様で前記表示装置に表示するよう制御するステップと、
前記第2の表示態様で表示された縮小コンテンツに対するユーザーの操作に応答して、前記縮小コンテンツと関連する本体コンテンツへの所定の処理を実行させる指示を受け付けるステップと、
前記縮小コンテンツの識別子と、前記識別子と関連づけられた本体コンテンツへの所定の処理を実行させる指示を外部装置に送信するステップを備えたことを特徴とする制御方法。
A control method for an information processing apparatus for displaying a list of reduced contents associated with an identifier capable of identifying main body content on a display device,
Obtaining an identifier of main body content being played on an external video playback device;
Of the plurality of reduced contents displayed in a list, the reduced content associated with the acquired identifier is displayed on the display device in a second display mode different from the first display mode of other reduced content. Controlling step;
Receiving an instruction to execute a predetermined process on the main body content related to the reduced content in response to a user operation on the reduced content displayed in the second display mode;
A control method comprising: a step of transmitting an identifier for the reduced content and an instruction to execute a predetermined process on the main body content associated with the identifier to an external device.
本体コンテンツを識別可能な識別子に関連づけられた縮小コンテンツを表示装置に一覧表示する情報処理装置を実現するコンピュータに、
外部の映像再生装置上で再生中の本体コンテンツの識別子を取得するステップと、
前記一覧表示された複数の縮小コンテンツのうち、前記取得された識別子と関連づけられた縮小コンテンツを他の縮小コンテンツの第1の表示態様とは異なる第2の表示態様で前記表示装置に表示するよう制御するステップと、
前記第2の表示態様で表示された縮小コンテンツに対するユーザーの操作に応答して、前記縮小コンテンツと関連する本体コンテンツへの所定の処理を実行させる指示を受け付けるステップと、
前記縮小コンテンツの識別子と、前記識別子と関連づけられた本体コンテンツへの所定の処理を実行させる指示を外部装置に送信するステップを実行させることを特徴とするプログラム。
A computer that realizes an information processing apparatus that displays a list of reduced contents associated with identifiers that can identify main body contents on a display device;
Obtaining an identifier of main body content being played on an external video playback device;
Of the plurality of reduced contents displayed in a list, the reduced content associated with the acquired identifier is displayed on the display device in a second display mode different from the first display mode of other reduced content. Controlling step;
Receiving an instruction to execute a predetermined process on the main body content related to the reduced content in response to a user operation on the reduced content displayed in the second display mode;
A program for executing the step of transmitting an identifier for the reduced content and an instruction for executing a predetermined process to the main body content associated with the identifier to an external device.
JP2015151028A 2015-07-30 2015-07-30 Information processing apparatus, control method thereof, and program Pending JP2017033179A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015151028A JP2017033179A (en) 2015-07-30 2015-07-30 Information processing apparatus, control method thereof, and program
US15/217,872 US9818444B2 (en) 2015-07-30 2016-07-22 Information processing apparatus, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015151028A JP2017033179A (en) 2015-07-30 2015-07-30 Information processing apparatus, control method thereof, and program

Publications (1)

Publication Number Publication Date
JP2017033179A true JP2017033179A (en) 2017-02-09

Family

ID=57986178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015151028A Pending JP2017033179A (en) 2015-07-30 2015-07-30 Information processing apparatus, control method thereof, and program

Country Status (1)

Country Link
JP (1) JP2017033179A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071500A (en) * 2018-10-29 2020-05-07 セイコーエプソン株式会社 Display method and display device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150293A (en) * 2001-11-09 2003-05-23 Sony Corp Information processor and information processing method and its program
JP2006235760A (en) * 2005-02-22 2006-09-07 Nippon Telegr & Teleph Corp <Ntt> Information browsing system, method, and program
JP2006332771A (en) * 2005-05-23 2006-12-07 Sony Corp Control apparatus and method, and program
WO2008117586A1 (en) * 2007-03-28 2008-10-02 Access Co., Ltd. Content reproduction system, content reproduction/control device, and computer program
JP2015038666A (en) * 2012-02-20 2015-02-26 株式会社東芝 Electronic apparatus, switching method and switching program
JP2015125508A (en) * 2013-12-25 2015-07-06 キヤノン株式会社 Display control apparatus, display control method, and program
JP2015133008A (en) * 2014-01-14 2015-07-23 パイオニア株式会社 Display device, on-vehicle equipment, display device control method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150293A (en) * 2001-11-09 2003-05-23 Sony Corp Information processor and information processing method and its program
JP2006235760A (en) * 2005-02-22 2006-09-07 Nippon Telegr & Teleph Corp <Ntt> Information browsing system, method, and program
JP2006332771A (en) * 2005-05-23 2006-12-07 Sony Corp Control apparatus and method, and program
WO2008117586A1 (en) * 2007-03-28 2008-10-02 Access Co., Ltd. Content reproduction system, content reproduction/control device, and computer program
JP2015038666A (en) * 2012-02-20 2015-02-26 株式会社東芝 Electronic apparatus, switching method and switching program
JP2015125508A (en) * 2013-12-25 2015-07-06 キヤノン株式会社 Display control apparatus, display control method, and program
JP2015133008A (en) * 2014-01-14 2015-07-23 パイオニア株式会社 Display device, on-vehicle equipment, display device control method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071500A (en) * 2018-10-29 2020-05-07 セイコーエプソン株式会社 Display method and display device

Similar Documents

Publication Publication Date Title
JP6479142B2 (en) Image identification and organization according to layout without user intervention
CA2799440C (en) Content gestures
KR20110100414A (en) Digital apparatus and method for displaying user interface for transmitting contents
KR20140001977A (en) Contextual user interface
US9304612B2 (en) Off-screen input capture for mobile device
KR20160053462A (en) Terminal apparatus and method for controlling thereof
US9646647B2 (en) Content management apparatus, recording apparatus, operation apparatus, content management system, and control methods thereof
KR102128919B1 (en) Electronic device, method for controlling the same, and storage medium
JP6494358B2 (en) Playback control device and playback control method
JP6501665B2 (en) INFORMATION PROCESSING APPARATUS AND ITS CONTROL METHOD AND PROGRAM
US20130139066A1 (en) Information processing apparatus, information processing method, and storage medium
JP2017033179A (en) Information processing apparatus, control method thereof, and program
US9818444B2 (en) Information processing apparatus, control method thereof, and program
WO2017110606A1 (en) Information-processing device, control method therefor, and program
US11557065B2 (en) Automatic segmentation for screen-based tutorials using AR image anchors
JP2015095801A (en) Reproducing device and control method thereof, management device and control method thereof, video reproduction system, and program and storage medium
JP2017112455A (en) Information processing unit
US9900496B2 (en) Electronic device and control method for the same
JP6661295B2 (en) Information processing apparatus, control method therefor, and program
JP6566771B2 (en) Information processing apparatus, control method thereof, and program
JP6552318B2 (en) INFORMATION PROCESSING APPARATUS AND ITS CONTROL METHOD AND PROGRAM
TWI543002B (en) Video recording system and video recording method
JP6859061B2 (en) Information processing device and its control method and program
JP6214365B2 (en) Image reproduction apparatus, control method thereof, and control program
JP6084033B2 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191008