JP2014160144A - Information process device and image process method - Google Patents

Information process device and image process method Download PDF

Info

Publication number
JP2014160144A
JP2014160144A JP2013030390A JP2013030390A JP2014160144A JP 2014160144 A JP2014160144 A JP 2014160144A JP 2013030390 A JP2013030390 A JP 2013030390A JP 2013030390 A JP2013030390 A JP 2013030390A JP 2014160144 A JP2014160144 A JP 2014160144A
Authority
JP
Japan
Prior art keywords
unit
information
output image
posture
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013030390A
Other languages
Japanese (ja)
Inventor
Satoru Kyogoku
哲 京極
Masayuki Naito
昌行 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013030390A priority Critical patent/JP2014160144A/en
Publication of JP2014160144A publication Critical patent/JP2014160144A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable similar operability to be obtained by an information process device having a rotatable display section and an external display device having the rotatable display section displaying a picture input from the information process device.SOLUTION: The information process device to be connected to an external display device displaying an input image comprises: an operation device determination section that determines a device of which an operation is performed by a user out of an own device and the external display device; an output image generation section that generates an output image of a direction in accordance with a posture relating to the device determined that the operation is performed by the user out of a posture of a display section of the own device and a posture of a display area of the external display device, and causes the display section of the own device to display the output image; and an image communication section that transmits the output image to the external display device.

Description

本発明は、情報処理装置および画像処理方法に関する。   The present invention relates to an information processing apparatus and an image processing method.

従来、タブレットPC(Personal Computer)などの情報処理装置であって、回転可能な表示部を有するとともに、外部表示装置に映像信号を出力する出力端子を備えているものがある。特許文献1には、上述のように回転可能な表示部と、映像信号を出力する出力端子を備えている情報処理装置が、出力端子から出力される映像が、表示部に表示される映像と同じ表示向きになるように制御することが記載されている。   2. Description of the Related Art Conventionally, there is an information processing apparatus such as a tablet PC (Personal Computer) that includes a rotatable display unit and an output terminal that outputs a video signal to an external display apparatus. In Patent Document 1, an information processing apparatus including a display unit that can be rotated as described above and an output terminal that outputs a video signal includes a video that is output from the output terminal and a video that is displayed on the display unit. It is described that control is performed so that the display orientation is the same.

特開2005−242074号公報JP 2005-242074 A

特許文献1に記載の情報処理装置においては、外部表示装置に表示される映像の向きが情報処理装置の表示部の向きに依存している。このため、情報処理装置の表示部の向きと、外部表示装置の表示部の向きとが一致していないときには、映像のアスペクト比を、外部表示装置の表示部のアスペクト比が一致しないため、外部表示装置の表示部に表示される映像は、アスペクト比を変えずに拡大した映像の一部、アスペクト比を変えずに全体が収まるように縮小したもの、あるいは、アスペクト比が外部表示装置の表示部に合うように全体を変換したものとなる。情報処理装置および外部表示装置の表示部がタッチパネルを有している場合、このように、外部表示装置側では、映像の一部のみが表示されていたり、縮小、アスペクト比の変換などがされていたりすると、情報処理装置側での操作性よりも、外部表示装置での操作性が悪くなってしまうことがあるという問題がある。   In the information processing apparatus described in Patent Document 1, the orientation of the image displayed on the external display device depends on the orientation of the display unit of the information processing device. For this reason, when the orientation of the display unit of the information processing device and the orientation of the display unit of the external display device do not match, the aspect ratio of the video does not match the aspect ratio of the display unit of the external display device. The image displayed on the display unit of the display device is a part of the image enlarged without changing the aspect ratio, the image reduced to fit the whole without changing the aspect ratio, or the aspect ratio displayed on the external display device The whole is converted to fit the part. When the display unit of the information processing device and the external display device has a touch panel, in this way, only a part of the video is displayed on the external display device side, reduction, aspect ratio conversion, etc. are performed. In such a case, there is a problem that the operability on the external display device may be worse than the operability on the information processing apparatus side.

本発明は、このような事情に鑑みてなされたもので、回転可能な表示部を有する情報処理装置と、情報処理装置から入力された映像を表示する回転可能な表示部を有する外部表示装置とで、同様の操作性を得ることが出来る情報処理装置および画像処理方法を提供する。   The present invention has been made in view of such circumstances, and an information processing device having a rotatable display unit, and an external display device having a rotatable display unit that displays an image input from the information processing device, Thus, an information processing apparatus and an image processing method capable of obtaining the same operability are provided.

この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力された画像を表示する外部表示装置と接続される情報処理装置であって、画像を表示する表示部と、前記表示部の姿勢を検出する姿勢検出部と、前記外部表示装置の表示領域の姿勢を示す外部姿勢情報とを、前記外部表示装置から受信する情報通信部と、自装置と前記外部表示装置とのうち、ユーザーによる操作が行われている装置を判定する操作装置判定部と、前記姿勢検出部が検出した表示部の姿勢と、前記情報通信部が受信した情報が示す前記外部表示装置の表示領域の姿勢とのうち、前記操作装置判定部によりユーザーによる操作が行われている装置であると判定された装置に関する姿勢に応じた向きの出力画像を生成し、前記表示部に表示させる出力画像生成部と、前記外部表示装置に、前記出力画像を送信する画像通信部と、を具備することを特徴とする情報処理装置である。   The present invention has been made to solve the above-described problems, and one aspect of the present invention is an information processing apparatus connected to an external display device that displays an input image, and a display unit that displays the image A position detection unit that detects a position of the display unit; an information communication unit that receives external posture information indicating a posture of a display area of the external display device from the external display device; and the own device and the external display An operation device determination unit that determines a device operated by a user among the devices, the posture of the display unit detected by the posture detection unit, and the external display device indicated by the information received by the information communication unit Generating an output image having a direction corresponding to the orientation of the device determined to be a device that is operated by the user by the operating device determination unit, and displaying the generated output image on the display unit A force image generation unit, to the external display device, an information processing apparatus characterized by comprising an image communication unit for transmitting the output image.

この発明によれば、回転可能な表示部を有する情報処理装置と、情報処理装置から入力された映像を表示する回転可能な表示部を有する外部表示装置とで、同様の操作性を得ることが出来る。   According to the present invention, it is possible to obtain the same operability between an information processing device having a rotatable display unit and an external display device having a rotatable display unit that displays an image input from the information processing device. I can do it.

この発明の第1の実施形態による情報処理システムの構成を示す外観図である。1 is an external view illustrating a configuration of an information processing system according to a first embodiment of the present invention. 同実施形態における情報処理装置100と、外部表示装置300との構成を示す概略ブロック図である。2 is a schematic block diagram illustrating configurations of an information processing device 100 and an external display device 300 in the same embodiment. FIG. 同実施形態における情報処理装置100の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the information processing apparatus 100 in the embodiment. 同実施形態における情報処理装置100において入力操作が行われているときの画面表示例を示す外観図である。4 is an external view illustrating a screen display example when an input operation is performed in the information processing apparatus 100 according to the embodiment. FIG. 同実施形態における外部表示装置300において入力操作が行われているときの別の画面表示例を示す外観図である。FIG. 15 is an external view showing another screen display example when an input operation is performed on the external display device 300 in the same embodiment. この発明の第2の実施形態による情報処理装置100aと外部表示装置300との構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the information processing apparatus 100a and the external display apparatus 300 by 2nd Embodiment of this invention. 同実施形態における情報処理装置100aの動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the information processing apparatus 100a in the embodiment. この発明の第3の実施形態による情報処理装置100bと外部表示装置300との構成を示す概略ブロック図である。It is a schematic block diagram which shows the structure of the information processing apparatus 100b and the external display apparatus 300 by 3rd Embodiment of this invention. 同実施形態における情報処理装置100bの動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the information processing apparatus 100b in the embodiment. 同実施形態におけるステップSc2の処理を説明するフローチャートである。It is a flowchart explaining the process of step Sc2 in the same embodiment. 同実施形態における情報処理装置100bにおいて入力操作が行われているときの画面表示例を示す外観図である。FIG. 18B is an exterior diagram illustrating a screen display example when an input operation is performed on the information processing apparatus 100b in the embodiment. 同実施形態における情報処理装置100bにおいて入力操作が行われているときの他の画面表示例を示す外観図である。14 is an external view showing another screen display example when an input operation is performed in the information processing apparatus 100b in the embodiment. FIG.

[第1の実施形態]
以下、図面を参照して、本発明の第1の実施形態について説明する。図1は、本実施形態による情報処理システムの構成を示す外観図である。図1に示すように、本実施形態における情報処理システムは、情報処理装置100と、通信ケーブル200と、外部表示装置300とを含んで構成される。情報処理装置100は、例えば、いわゆるスマートフォンやタブレットPCであり、タッチパネル付きのディスプレイを有している。この情報処理装置100の操作は、タッチパネルを用いたタッチ操作により行うことができる。
[First embodiment]
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is an external view showing the configuration of the information processing system according to the present embodiment. As shown in FIG. 1, the information processing system in the present embodiment includes an information processing apparatus 100, a communication cable 200, and an external display apparatus 300. The information processing apparatus 100 is, for example, a so-called smartphone or tablet PC, and has a display with a touch panel. The information processing apparatus 100 can be operated by a touch operation using a touch panel.

通信ケーブル200は、情報処理装置100と外部表示装置300とを通信可能に接続する。外部表示装置300は、通信ケーブル200を介して情報処理装置100から入力された画像信号に従い、画像を表示する。外部表示装置300も、タッチパネル付きのディスプレイを有しており、情報処理装置100の操作を、このタッチパネルを用いたタッチ操作により行うことができる。   The communication cable 200 connects the information processing apparatus 100 and the external display apparatus 300 so that they can communicate with each other. The external display device 300 displays an image according to an image signal input from the information processing device 100 via the communication cable 200. The external display device 300 also has a display with a touch panel, and the information processing apparatus 100 can be operated by a touch operation using the touch panel.

図2は、本実施形態における情報処理装置100と、外部表示装置300との構成を示す概略ブロック図である。情報処理装置100は、タッチパネル101、角度センサー102、情報通信部103、画像通信部106、表示部107、制御部110を含んで構成される。制御部110は、操作装置判定部104、出力画像生成部105を含んで構成される。また、外部表示装置300は、タッチパネル301、角度センサー302、縦横判別部303、情報通信部304、画像通信部305、表示部306を含んで構成される。   FIG. 2 is a schematic block diagram illustrating configurations of the information processing apparatus 100 and the external display apparatus 300 according to the present embodiment. The information processing apparatus 100 includes a touch panel 101, an angle sensor 102, an information communication unit 103, an image communication unit 106, a display unit 107, and a control unit 110. The control unit 110 includes an operation device determination unit 104 and an output image generation unit 105. The external display device 300 includes a touch panel 301, an angle sensor 302, a vertical / horizontal discrimination unit 303, an information communication unit 304, an image communication unit 305, and a display unit 306.

情報処理装置100のタッチパネル101は、表示部107の表示領域を覆うように貼付されており、ユーザーの指などによるタッチ操作を検出する。タッチパネル101は、検出したタッチ操作を表す情報である本体タッチ操作情報を、操作装置判定部104に入力する。なお、タッチ操作を表す情報は、タップ、フリック、ロングタッチ、ピンチイン、ピンチアウトなどの操作種別と、該操作が行われた位置を示す座標とを含む。   The touch panel 101 of the information processing apparatus 100 is pasted so as to cover the display area of the display unit 107, and detects a touch operation with a user's finger or the like. The touch panel 101 inputs main body touch operation information, which is information representing the detected touch operation, to the operation device determination unit 104. Note that the information representing the touch operation includes an operation type such as tap, flick, long touch, pinch-in, and pinch-out, and coordinates indicating a position where the operation is performed.

角度センサー102は、例えば、加速度センサーで重力方向を検出するなどして、情報処理装置100の姿勢を検出し、検出した姿勢を表す情報である本体姿勢情報を出力画像生成部105に入力する。ここで、本体姿勢情報は、矩形である表示部107の表示領域の4辺のうち、いずれが下方であるかを表す情報である。なお、以降では、表示領域の4辺の内、短い方の辺が下方であるときの姿勢を縦と呼び、長い方の辺が下方であるときの姿勢を横と呼ぶ。   The angle sensor 102 detects the orientation of the information processing apparatus 100, for example, by detecting the direction of gravity with an acceleration sensor, and inputs body orientation information, which is information representing the detected orientation, to the output image generation unit 105. Here, the main body posture information is information indicating which one of the four sides of the display area of the display unit 107 which is a rectangle is below. In the following, the posture when the shorter side of the four sides of the display area is downward is referred to as vertical, and the posture when the longer side is downward is referred to as horizontal.

なお、本実施形態では、情報処理装置100の表示部107は、情報処理装置100の筐体に固定されているため、情報処理装置100の姿勢を検出することで、表示部107の姿勢を検出している。表示部107が、情報処理装置100の筐体に対して、回転可能である場合は、角度センサー102を表示部107に固定するなどして、角度センサー102が表示部107の姿勢を検出するようにすればよい。角度センサー302も同様である。   In the present embodiment, since the display unit 107 of the information processing apparatus 100 is fixed to the housing of the information processing apparatus 100, the attitude of the display unit 107 is detected by detecting the attitude of the information processing apparatus 100. doing. When the display unit 107 is rotatable with respect to the housing of the information processing apparatus 100, the angle sensor 102 detects the posture of the display unit 107 by fixing the angle sensor 102 to the display unit 107. You can do it. The same applies to the angle sensor 302.

情報通信部103は、外部表示装置300に対するタッチ操作を表す外部タッチ操作情報と、外部表示装置300の姿勢を表す外部姿勢情報とを、通信ケーブル200を介して、外部表示装置300から受信する。情報通信部103は、外部表示装置300から受信したこれらの情報のうち、外部タッチ操作情報を、操作装置判定部104に入力し、外部姿勢情報を、出力画像生成部105に入力する。   The information communication unit 103 receives external touch operation information representing a touch operation on the external display device 300 and external posture information representing the posture of the external display device 300 from the external display device 300 via the communication cable 200. Of these pieces of information received from the external display device 300, the information communication unit 103 inputs external touch operation information to the operation device determination unit 104 and inputs external posture information to the output image generation unit 105.

操作装置判定部104は、タッチパネル101から入力された本体タッチ操作情報と、情報通信部103から入力された外部タッチ操作情報とを参照して、ユーザーにより入力操作が行われている装置が、情報処理装置100と、外部表示装置300とのいずれであるかを判定する。操作装置判定部104は、入力操作が行われている装置であると判定した装置を示す判定結果と、該装置のタッチ操作情報とを、出力画像生成部105に入力する。   The operation device determination unit 104 refers to the main body touch operation information input from the touch panel 101 and the external touch operation information input from the information communication unit 103, and the device on which the input operation is performed by the user is It is determined whether the processing apparatus 100 or the external display apparatus 300 is used. The operation device determination unit 104 inputs, to the output image generation unit 105, a determination result indicating a device determined to be an input operation and touch operation information of the device.

出力画像生成部105は、操作装置判定部104から入力されたタッチ操作情報に応じて出力画像を生成し、該出力画像を表す画像信号を、画像通信部106と、表示部107とに入力する。出力画像生成部105は、タッチ操作情報に応じて、どのような出力画像を生成するかを、例えば、アプリケーションプログラムに従って決定する。このとき、出力画像生成部は、生成する出力画像の向きを、本体姿勢情報と外部姿勢情報とのうち、操作装置判定部104から入力された判定結果が示す装置(入力操作が行われている装置)に関する姿勢情報に応じた向きとする。   The output image generation unit 105 generates an output image according to the touch operation information input from the operating device determination unit 104, and inputs an image signal representing the output image to the image communication unit 106 and the display unit 107. . The output image generation unit 105 determines what output image to generate according to the touch operation information, for example, according to an application program. At this time, the output image generation unit indicates the orientation of the output image to be generated by a device (input operation is performed) indicated by the determination result input from the operation device determination unit 104 among the body posture information and the external posture information. The orientation is in accordance with the posture information regarding the device.

例えば、操作装置判定部104の判定結果が情報処理装置100を示しており、本体姿勢情報が縦を表しているときは、出力画像生成部105は、外部姿勢情報が示す姿勢に関わらず、縦向きの出力画像を生成する。また、操作装置判定部104の判定結果が外部表示装置300を示しており、外部姿勢情報が横を表しているときは、出力画像生成部105は、本体姿勢情報が示す姿勢に関わらず、横向きの出力画像を生成する。なお、縦向きの出力画像は、該画像を表示している装置の姿勢を縦にしたときに、ユーザーが内容を把握し易くなっている出力画像である。横向きの出力画像は、同様に、該画像を表示している装置の姿勢を横にしたときに、ユーザーが内容を把握し易くなっている出力画像である。   For example, when the determination result of the controller device determination unit 104 indicates the information processing device 100 and the main body posture information indicates vertical, the output image generation unit 105 displays the vertical regardless of the posture indicated by the external posture information. Generate an output image of orientation. In addition, when the determination result of the controller device determination unit 104 indicates the external display device 300 and the external posture information indicates horizontal, the output image generation unit 105 is in landscape orientation regardless of the posture indicated by the main body posture information. The output image is generated. Note that the portrait output image is an output image that makes it easier for the user to grasp the contents when the orientation of the device displaying the image is set to the portrait orientation. Similarly, the landscape output image is an output image that makes it easier for the user to grasp the content when the orientation of the device displaying the image is landscape.

画像通信部106は、出力画像生成部105から入力された画像信号を、通信ケーブル200を介して外部表示装置300に入力する。表示部107は、液晶ディスプレイなどの表示デバイスを有しており、出力画像生成部105から入力された画像信号に従った画像を表示する。   The image communication unit 106 inputs the image signal input from the output image generation unit 105 to the external display device 300 via the communication cable 200. The display unit 107 includes a display device such as a liquid crystal display, and displays an image according to the image signal input from the output image generation unit 105.

外部表示装置300のタッチパネル301は、表示部306の表示領域を覆うように貼付されており、ユーザーの指などによるタッチ操作を検出する。タッチパネル301は、検出したタッチ操作を表す情報である外部タッチ操作情報を、情報通信部304に入力する。角度センサー302は、角度センサー102と同様に、外部表示装置300の姿勢を検出する。縦横判別部303は、角度センサー302の検出結果を参照して、外部表示装置300の姿勢が縦であるか横であるかを判別する。縦横判別部303は、判別結果を示す外部姿勢情報を生成し、情報通信部304に入力する。   The touch panel 301 of the external display device 300 is pasted so as to cover the display area of the display unit 306, and detects a touch operation with a user's finger or the like. The touch panel 301 inputs external touch operation information that is information indicating the detected touch operation to the information communication unit 304. Similar to the angle sensor 102, the angle sensor 302 detects the attitude of the external display device 300. The vertical / horizontal determination unit 303 refers to the detection result of the angle sensor 302 to determine whether the posture of the external display device 300 is vertical or horizontal. The vertical / horizontal discrimination unit 303 generates external posture information indicating the discrimination result and inputs the external posture information to the information communication unit 304.

情報通信部304は、タッチパネル301から入力された外部タッチ操作情報と、縦横判別部303から入力された外部姿勢情報とを、通信ケーブル200を介して情報処理装置100に送信する。画像通信部305は、通信ケーブル200を介して、情報処理装置100から画像信号を受信し、表示部306に入力する。表示部306は、液晶ディスプレイなどの表示デバイスを有しており、画像通信部305から入力された画像信号に従った画像を表示する。   The information communication unit 304 transmits the external touch operation information input from the touch panel 301 and the external posture information input from the vertical / horizontal determination unit 303 to the information processing apparatus 100 via the communication cable 200. The image communication unit 305 receives an image signal from the information processing apparatus 100 via the communication cable 200 and inputs it to the display unit 306. The display unit 306 has a display device such as a liquid crystal display, and displays an image according to the image signal input from the image communication unit 305.

図3は、情報処理装置100の動作を説明するフローチャートである。図3に示すフローチャートは、未だ何も入力操作が行われていないデフォルト状態では、入力操作が行われている装置を情報処理装置100とする場合の例である。まず、出力画像生成部105は、入力操作が行われている装置が情報処理装置100であるので、その姿勢を表す本体姿勢情報を、角度センサー102から取得し、該本体姿勢情報は縦であるか否かを判定する(Sa1)。本体姿勢情報は縦であると判定したときは(Sa1−YES)、出力画像生成部105は、縦向きの出力画像を生成し、該出力画像の画像信号を表示部107と画像通信部106とに入力する。表示部107は、入力された画像信号に従い、縦向きの出力画像を表示する。また、画像通信部106は、入力された画像信号を外部表示装置300に送信するので、外部表示装置300の表示部306は、該画像信号に従い、縦向きの出力画像を表示する(Sa2)。   FIG. 3 is a flowchart for explaining the operation of the information processing apparatus 100. The flowchart shown in FIG. 3 is an example in the case where the information processing apparatus 100 is the device in which the input operation is performed in the default state where no input operation has been performed yet. First, since the apparatus on which the input operation is performed is the information processing apparatus 100, the output image generation unit 105 acquires body posture information representing the posture from the angle sensor 102, and the body posture information is vertical. Whether or not (Sa1). When it is determined that the body posture information is vertical (Sa1-YES), the output image generation unit 105 generates a vertical output image, and displays the image signal of the output image as the display unit 107 and the image communication unit 106. To enter. The display unit 107 displays a vertically oriented output image in accordance with the input image signal. Further, since the image communication unit 106 transmits the input image signal to the external display device 300, the display unit 306 of the external display device 300 displays a vertically oriented output image according to the image signal (Sa2).

また、ステップSa1にて、本体姿勢情報は縦でないと判定したときは(Sa1−NO)、出力画像生成部105は、横向きの出力画像を生成し、該出力画像の画像信号を表示部107と画像通信部106とに入力する。表示部107は、入力された画像信号に従い、横向きの出力画像を表示する。また、画像通信部106は、入力された画像信号を外部表示装置300に送信するので、外部表示装置300の表示部306は、該画像信号に従い、横向きの出力画像を表示する(Sa3)。   When it is determined in step Sa1 that the body posture information is not vertical (Sa1-NO), the output image generation unit 105 generates a horizontal output image, and the image signal of the output image is displayed on the display unit 107. Input to the image communication unit 106. The display unit 107 displays a horizontally oriented output image in accordance with the input image signal. Further, since the image communication unit 106 transmits the input image signal to the external display device 300, the display unit 306 of the external display device 300 displays a horizontally oriented output image according to the image signal (Sa3).

ステップSa2またはSa3の後、操作装置判定部104は、外部表示装置300におけるタッチ操作があったか否かを判定する(Sa4)。この判定により、操作装置判定部104は、ユーザーにより入力操作が行われている装置が、情報処理装置100から外部表示装置300に変わったか否かを判定している。操作装置判定部104は、このステップSa4の判定を、具体的には、外部タッチ操作情報が操作装置判定部104に入力されたか否かで行う。すなわち、操作装置判定部104は、外部タッチ操作情報が入力されたときは、外部表示装置300におけるタッチ操作があったと判定し、入力されていないときは、外部表示装置300におけるタッチ操作がなかったと判定する。   After step Sa2 or Sa3, the controller device determination unit 104 determines whether or not there is a touch operation on the external display device 300 (Sa4). Based on this determination, the controller device determination unit 104 determines whether or not the device on which an input operation is performed by the user has changed from the information processing device 100 to the external display device 300. The controller device determination unit 104 performs the determination in step Sa4, specifically, based on whether or not external touch operation information is input to the controller device determination unit 104. That is, the operation device determination unit 104 determines that there is a touch operation on the external display device 300 when the external touch operation information is input, and that there is no touch operation on the external display device 300 when it is not input. judge.

ステップSa4にて、外部表示装置300においてタッチ操作がなかったと判定したときは(Sa4−NO)、ステップSa1に戻る。一方、ステップSa4にて外部表示装置300においてタッチ操作があったと判定したときは(Sa4−YES)、ユーザーにより入力操作が行われている装置は外部表示装置300になったと判定し、ステップSa5に進む。ステップSa5では、出力画像生成部105は、入力操作が行われている装置が外部表示装置300であるので、その姿勢を表す外部姿勢情報を、情報通信部103から取得し、該外部姿勢情報は縦であるか否かを判定する(Sa5)。   When it is determined in step Sa4 that there is no touch operation on the external display device 300 (Sa4-NO), the process returns to step Sa1. On the other hand, when it is determined in step Sa4 that there is a touch operation on the external display device 300 (Sa4-YES), it is determined that the device on which the input operation is performed by the user is the external display device 300, and the process proceeds to step Sa5. move on. In step Sa5, the output image generation unit 105 acquires the external posture information representing the posture from the information communication unit 103 because the device on which the input operation is performed is the external display device 300, and the external posture information is It is determined whether it is vertical (Sa5).

ステップSa5にて、外部姿勢情報は縦であると判定したときは(Sa5−YES)、出力画像生成部105は、縦向きの出力画像を生成し、該出力画像の画像信号を表示部107と画像通信部106とに入力する。表示部107は、入力された画像信号に従い、縦向きの出力画像を表示する。また、画像通信部106は、入力された画像信号を外部表示装置300に送信するので、外部表示装置300の表示部306は、該画像信号に従い、縦向きの出力画像を表示する(Sa6)。   When it is determined in step Sa5 that the external posture information is vertical (Sa5-YES), the output image generation unit 105 generates a vertical output image, and the image signal of the output image is displayed on the display unit 107. Input to the image communication unit 106. The display unit 107 displays a vertically oriented output image in accordance with the input image signal. Further, since the image communication unit 106 transmits the input image signal to the external display device 300, the display unit 306 of the external display device 300 displays a vertical output image according to the image signal (Sa6).

また、ステップSa5にて、外部姿勢情報は縦でないと判定したときは(Sa5−NO)、出力画像生成部105は、横向きの出力画像を生成し、該出力画像の画像信号を表示部107と画像通信部106とに入力する。表示部107は、入力された画像信号に従い、横向きの出力画像を表示する。また、画像通信部106は、入力された画像信号を外部表示装置300に送信するので、外部表示装置300の表示部306は、該画像信号に従い、横向きの出力画像を表示する(Sa7)。   When it is determined in step Sa5 that the external posture information is not vertical (Sa5-NO), the output image generation unit 105 generates a horizontal output image, and the image signal of the output image is displayed with the display unit 107. Input to the image communication unit 106. The display unit 107 displays a horizontally oriented output image in accordance with the input image signal. Further, since the image communication unit 106 transmits the input image signal to the external display device 300, the display unit 306 of the external display device 300 displays a horizontally oriented output image according to the image signal (Sa7).

ステップSa6またはSa7の後、操作装置判定部104は、情報処理装置100におけるタッチ操作があったか否かを判定する(Sa8)。具体的には、本体タッチ操作情報が操作装置判定部104に入力されたか否かで、操作装置判定部104は、情報処理装置100におけるタッチ操作があったか否かを判定する。すなわち、操作装置判定部104は、本体タッチ操作情報が入力されたときは、情報処理装置100におけるタッチ操作があったと判定し、入力されていないときは、情報処理装置100におけるタッチ操作がなかったと判定する。   After step Sa6 or Sa7, the controller device determination unit 104 determines whether or not there has been a touch operation on the information processing apparatus 100 (Sa8). Specifically, the operation device determination unit 104 determines whether or not there is a touch operation on the information processing device 100 based on whether or not the main body touch operation information is input to the operation device determination unit 104. That is, the operation device determination unit 104 determines that there is a touch operation on the information processing device 100 when the main body touch operation information is input, and that there is no touch operation on the information processing device 100 when the information is not input. judge.

ステップSa8にて、情報処理装置100においてタッチ操作があったと判定したときは(Sa8−YES)、ステップSa1に戻る。一方、ステップSa8にて、情報処理装置100においてタッチ操作がなかったと判定したときは(Sa8−NO)、ステップSa5に戻る。   If it is determined in step Sa8 that there is a touch operation in the information processing apparatus 100 (Sa8-YES), the process returns to step Sa1. On the other hand, when it is determined in step Sa8 that there is no touch operation in the information processing apparatus 100 (Sa8-NO), the process returns to step Sa5.

図4は、情報処理装置100において入力操作が行われているときの画面表示例を示す外観図である。図4の例では、情報処理装置100において、入力操作を行っており、情報処理装置100の姿勢は縦である。このため、出力画像生成部105は、縦向きの出力画像を生成し、姿勢が縦である情報処理装置100と、姿勢が横である外部表示装置300との双方が縦向きの出力画像を表示する。   FIG. 4 is an external view illustrating a screen display example when an input operation is performed in the information processing apparatus 100. In the example of FIG. 4, an input operation is performed in the information processing apparatus 100, and the posture of the information processing apparatus 100 is vertical. For this reason, the output image generation unit 105 generates a vertically oriented output image, and both the information processing apparatus 100 having a vertical posture and the external display device 300 having a horizontal posture display a vertically oriented output image. To do.

図5は、外部表示装置300において入力操作が行われているときの別の画面表示例を示す外観図である。図5の例では、外部表示装置300において、入力操作を行っており、外部表示装置300の姿勢は縦である。このため、出力画像生成部105は、縦向きの出力画像を生成し、姿勢が横である情報処理装置100と、姿勢が縦である外部表示装置300との双方が縦向きの出力画像を表示する。   FIG. 5 is an external view showing another screen display example when an input operation is performed on the external display device 300. In the example of FIG. 5, an input operation is performed on the external display device 300, and the posture of the external display device 300 is vertical. For this reason, the output image generation unit 105 generates a vertically oriented output image, and both the information processing apparatus 100 whose posture is horizontal and the external display device 300 whose posture is vertical display the vertically oriented output image. To do.

このように、本実施形態における情報処理装置100では、ユーザーによる入力操作が行われていると、操作装置判定部104が判定した装置の姿勢に応じた出力画像を、出力画像生成部105が生成し、表示部107と外部表示装置300の表示部306に表示させる。これにより、ユーザーが入力操作を行っている装置に表示される画像は、該装置の姿勢とあったものとなるので、いずれの装置で入力操作していても、良好な操作性を得ることが出来る。   As described above, in the information processing apparatus 100 according to the present embodiment, when an input operation is performed by the user, the output image generation unit 105 generates an output image corresponding to the posture of the apparatus determined by the operation device determination unit 104. Then, it is displayed on the display unit 107 and the display unit 306 of the external display device 300. As a result, the image displayed on the device on which the user is performing the input operation is in accordance with the posture of the device, so that it is possible to obtain good operability regardless of which device is used for input operation. I can do it.

[第2の実施形態]
以下、図面を参照して、本発明の第2の実施形態について説明する。第1の実施形態では、タッチ操作を参照して、いずれの装置が操作されているかを判定したが、本実施形態では、装置の姿勢を参照して、いずれの装置が操作されているかを判定する。本実施形態における情報処理システムは、情報処理装置100aと、通信ケーブル200と、通信ケーブル200により情報処理装置100aと接続された外部表示装置300とを含んで構成される。
[Second Embodiment]
The second embodiment of the present invention will be described below with reference to the drawings. In the first embodiment, it is determined which device is operated with reference to the touch operation. In this embodiment, it is determined which device is operated with reference to the posture of the device. To do. The information processing system according to the present embodiment includes an information processing apparatus 100a, a communication cable 200, and an external display device 300 connected to the information processing apparatus 100a by the communication cable 200.

図6は、本実施形態における情報処理装置100aと外部表示装置300との構成を示す概略ブロック図である。同図において、図2の各部に対応する部分には同一の符号(101〜103、104〜107、300〜306)を付し、説明を省略する。情報処理装置100aは、図2の情報処理装置100とは、操作装置判定部104に変えて、操作装置判定部104aを有する点と、該操作装置判定部104aには、本体タッチ操作情報と外部タッチ操作情報に加えて、角度センサー102からの本体姿勢情報と、情報通信部103から外部姿勢情報とが入力される点が異なる。   FIG. 6 is a schematic block diagram illustrating the configuration of the information processing apparatus 100a and the external display apparatus 300 in the present embodiment. In the figure, the same reference numerals (101 to 103, 104 to 107, 300 to 306) are assigned to portions corresponding to the respective portions in FIG. The information processing apparatus 100a is different from the information processing apparatus 100 in FIG. 2 in that it includes an operation device determination unit 104a instead of the operation device determination unit 104, and the operation device determination unit 104a includes main body touch operation information and external information. In addition to the touch operation information, the main body posture information from the angle sensor 102 and the external posture information from the information communication unit 103 are different.

操作装置判定部104aは、角度センサー102からの本体姿勢情報と、情報通信部103から外部姿勢情報とを監視し、本体姿勢情報が変化したときは、情報処理装置100aが操作されていると判定し、外部姿勢情報が変化したときは、外部表示装置300が操作されていると判定する。操作装置判定部104aは、操作が行われている装置であると判定した装置を示す判定結果と、該装置のタッチ操作情報とを、出力画像生成部105に入力する。   The operation device determination unit 104a monitors the main body posture information from the angle sensor 102 and the external posture information from the information communication unit 103, and determines that the information processing device 100a is operated when the main body posture information changes. When the external posture information changes, it is determined that the external display device 300 is being operated. The operation device determination unit 104 a inputs, to the output image generation unit 105, a determination result indicating a device that has been determined to be an operation device and touch operation information of the device.

図7は、情報処理装置100aの動作を説明するフローチャートである。図7に示すフローチャートは、図3のフローチャートとは、ステップSa4に変えてステップSb4を有する点と、ステップSa8に変えてステップSb8を有する点とが異なる。ステップSb4では、操作装置判定部104aが、外部姿勢情報が変化したか否かを判定し、変化しているときは(Sb4−YES)、ステップSa5に進み、変化していないときは(Sb4−No)、ステップSa1に戻る。このステップSb4で、操作装置判定部104aは、ユーザーにより操作が行われている装置が外部表示装置300となったか否かを判定している。また、ステップSb8では、操作装置判定部104aが、本体姿勢情報が変化したか否かを判定し、変化しているときは(Sb8−YES)、ステップSa1に戻り、変化していないときは(Sb8−No)、ステップSa5に戻る。このステップSb8で、操作装置判定部104aは、ユーザーにより操作が行われている装置が情報処理装置100となったか否かを判定している。   FIG. 7 is a flowchart for explaining the operation of the information processing apparatus 100a. The flowchart shown in FIG. 7 differs from the flowchart of FIG. 3 in that step Sb4 is provided instead of step Sa4 and that step Sb8 is provided instead of step Sa8. In step Sb4, the controller device determination unit 104a determines whether or not the external posture information has changed, and when it has changed (Sb4-YES), the process proceeds to step Sa5, and when it has not changed (Sb4- No), it returns to step Sa1. In step Sb4, the controller device determination unit 104a determines whether or not the device operated by the user is the external display device 300. In step Sb8, the controller determination unit 104a determines whether or not the main body posture information has changed, and when it has changed (Sb8-YES), it returns to step Sa1 and when it has not changed ( Sb8-No), the process returns to step Sa5. In step Sb8, the controller device determination unit 104a determines whether or not the device operated by the user is the information processing device 100.

このように、本実施形態における情報処理装置100aは、ユーザーによる操作が行われていると、操作装置判定部104aが判定した装置の姿勢に応じた出力画像を、出力画像生成部105が生成し、表示部107と外部表示装置300の表示部306とに表示させる。これにより、ユーザーが操作をしている装置に表示される画像は、該装置の姿勢とあったものとなるので、いずれの装置を操作していても、良好な操作性を得ることが出来る。   As described above, in the information processing apparatus 100a according to the present embodiment, when an operation by the user is performed, the output image generation unit 105 generates an output image corresponding to the posture of the apparatus determined by the operation device determination unit 104a. And display on the display unit 107 and the display unit 306 of the external display device 300. As a result, the image displayed on the device operated by the user is in accordance with the posture of the device, so that excellent operability can be obtained regardless of which device is operated.

[第3の実施形態]
以下、図面を参照して、本発明の第3の実施形態について説明する。第1および第2の実施形態では、ユーザーが操作している装置の向きに合わせて出力画像を生成、該画像を双方の装置に表示させているが、本実施形態では、操作をしていない装置に表示させる画像については、該装置の向きに合わせて出力画像を回転させる例を説明する。本実施形態における情報処理システムは、情報処理装置100bと、通信ケーブル200と、通信ケーブル200により情報処理装置100bと接続された外部表示装置300とを含んで構成される。
[Third embodiment]
The third embodiment of the present invention will be described below with reference to the drawings. In the first and second embodiments, an output image is generated according to the orientation of the device operated by the user, and the image is displayed on both devices, but in this embodiment, no operation is performed. As for the image to be displayed on the apparatus, an example in which the output image is rotated in accordance with the orientation of the apparatus will be described. The information processing system in the present embodiment includes an information processing device 100b, a communication cable 200, and an external display device 300 connected to the information processing device 100b by the communication cable 200.

図8は、本実施形態における情報処理装置100bと外部表示装置300との構成を示す概略ブロック図である。同図において、図2の各部に対応する部分には同一の符号(101〜107、300〜306)を付し、説明を省略する。情報処理装置100bは、図2の情報処理装置100とは、出力画像回転部108bを含んで構成される点が異なる。   FIG. 8 is a schematic block diagram illustrating the configuration of the information processing apparatus 100b and the external display apparatus 300 in the present embodiment. In the figure, the same reference numerals (101 to 107, 300 to 306) are assigned to portions corresponding to the respective portions in FIG. The information processing apparatus 100b is different from the information processing apparatus 100 in FIG. 2 in that it includes an output image rotation unit 108b.

出力画像回転部108bは、角度センサー102から本体姿勢情報を取得し、情報通信部103から外部姿勢情報を取得し、これらが示す姿勢が一致しているか否かを判定する。一致しているときは、出力画像生成部105が生成した出力画像の画像信号を、画像通信部106と、表示部107とに、そのまま入力する。   The output image rotation unit 108b acquires body posture information from the angle sensor 102, acquires external posture information from the information communication unit 103, and determines whether the postures indicated by these match. If they match, the image signal of the output image generated by the output image generation unit 105 is input to the image communication unit 106 and the display unit 107 as it is.

図9は、本実施形態における情報処理装置100bの動作を説明するフローチャートである。同図において、図3の各部に対応する部分には同一の符号(Sa1、Sa4、Sa5、Sa8)を付し、説明を省略する。図9は、図3と比較すると、ステップSa2、Sa3、Sa6、Sa7の各々に変えて、ステップSc2、Sc3、Sc6、Sc7を有する。   FIG. 9 is a flowchart for explaining the operation of the information processing apparatus 100b in the present embodiment. In the figure, the same reference numerals (Sa1, Sa4, Sa5, Sa8) are assigned to the parts corresponding to the respective parts in FIG. Compared with FIG. 3, FIG. 9 includes steps Sc2, Sc3, Sc6, and Sc7 instead of steps Sa2, Sa3, Sa6, and Sa7.

ステップSc2では、出力画像生成部105が、縦向きの出力画像を生成する。さらに、出力画像回転部108bが、本体姿勢情報と外部姿勢情報を比較し、比較結果に応じて、出力画像を回転、縮小する。なお、本ステップおよび以下の各ステップにおける比較結果に応じた出力画像の回転、縮小については後述する。ステップSc3では、横向きの出力画像を生成する。さらに、出力画像回転部108bが、本体姿勢情報と外部姿勢情報を比較し、比較結果に応じて、出力画像を回転、縮小する。   In step Sc2, the output image generation unit 105 generates a vertically oriented output image. Further, the output image rotation unit 108b compares the body posture information and the external posture information, and rotates or reduces the output image according to the comparison result. Note that the rotation and reduction of the output image according to the comparison results in this step and the following steps will be described later. In step Sc3, a landscape output image is generated. Further, the output image rotation unit 108b compares the body posture information and the external posture information, and rotates or reduces the output image according to the comparison result.

ステップSc6では、出力画像生成部105が、縦向きの出力画像を生成する。さらに、出力画像回転部108bが、本体姿勢情報と外部姿勢情報を比較し、比較結果に応じて、出力画像を回転、縮小する。ステップSc7では、横向きの出力画像を生成する。さらに、出力画像回転部108bが、本体姿勢情報と外部姿勢情報を比較し、比較結果に応じて、出力画像を回転、縮小する。   In step Sc6, the output image generation unit 105 generates a vertically oriented output image. Further, the output image rotation unit 108b compares the body posture information and the external posture information, and rotates or reduces the output image according to the comparison result. In step Sc7, a landscape output image is generated. Further, the output image rotation unit 108b compares the body posture information and the external posture information, and rotates or reduces the output image according to the comparison result.

図10は、図9におけるステップSc2の処理を説明するフローチャートである。ステップSc2では、ユーザーにより入力操作が行われている装置は情報処理装置100であると、操作装置判定部104により判定されているので、出力画像生成部105は、本体姿勢情報が示す向きである縦向きの出力画像を生成する(Sd1)。出力画像回転部108bは、外部姿勢情報は縦であるか否かを判定する(Sd2)。外部姿勢情報が縦であると判定したときは(Sd2−YES)、本体姿勢情報と外部姿勢情報とが一致しているので、出力画像回転部108bは、出力画像の画像信号を、表示部107と、画像通信部106とに入力し(Sd3)、ステップSc2の処理を終了する。   FIG. 10 is a flowchart illustrating the process of step Sc2 in FIG. In step Sc2, since the operation device determination unit 104 determines that the device on which an input operation is performed by the user is the information processing device 100, the output image generation unit 105 has the orientation indicated by the main body posture information. A vertically oriented output image is generated (Sd1). The output image rotation unit 108b determines whether or not the external posture information is vertical (Sd2). When it is determined that the external posture information is vertical (Sd2-YES), since the main body posture information and the external posture information match, the output image rotation unit 108b displays the image signal of the output image as the display unit 107. Is input to the image communication unit 106 (Sd3), and the process of step Sc2 is terminated.

一方、ステップSd2にて外部姿勢情報が縦でないと判定したときは(Sd2−NO)、本体姿勢情報と外部姿勢情報とが一致していないので、出力画像回転部108bは、出力画像の画像信号を、表示部107に入力する(Sd4)。さらに、出力画像回転部108bは、出力画像信号を回転及び縮小し、回転及び縮小した画像の画像信号を、画像通信部106に入力し(Sd5)、ステップSc2の処理を終了する。   On the other hand, when it is determined in step Sd2 that the external posture information is not vertical (Sd2-NO), the main body posture information and the external posture information do not match, so the output image rotation unit 108b outputs the image signal of the output image. Is input to the display unit 107 (Sd4). Further, the output image rotation unit 108b rotates and reduces the output image signal, inputs the image signal of the rotated and reduced image to the image communication unit 106 (Sd5), and ends the process of step Sc2.

なお、図9のステップSc3、Sc6、Sc7における処理も、図10のフローチャートと同様であるが、ステップSd1における出力画像の向きと、ステップSd2における判定と、ステップSd4、Sd5における画像信号の入力先とが異なる。ステップSd1における出力画像の向きは、ステップSc3、Sc7の処理では、横向きであり、ステップSc6の処理では、縦向きである。ステップSd2における判定は、ステップSc3の処理では、「外部姿勢情報は横か?」であり、ステップSc6の処理では、「本体姿勢情報は縦か?」であり、ステップSc7の処理では、「本体姿勢情報は横か?」である。   The processing in steps Sc3, Sc6, and Sc7 in FIG. 9 is the same as that in the flowchart in FIG. 10, but the orientation of the output image in step Sd1, the determination in step Sd2, and the input destination of the image signal in steps Sd4 and Sd5 Is different. The direction of the output image in step Sd1 is horizontal in the processes of steps Sc3 and Sc7, and is vertical in the process of step Sc6. The determination in step Sd2 is “Is the external posture information horizontal?” In the process of step Sc3, “In the process of step Sc6,“ is the main body posture information vertical? ”, And in the process of step Sc7,“ "Is posture information horizontal?"

また、ステップSd4における画像信号の入力先は、ステップSc3の処理では、表示部107であり、ステップSc6、Sc7の処理では、画像通信部106である。また、ステップSd5における画像信号の入力先は、ステップSc3の処理では、画像通信部106であり、ステップSc6、Sc7の処理では、表示部107である。   The input destination of the image signal in step Sd4 is the display unit 107 in the process of step Sc3, and the image communication unit 106 in the processes of steps Sc6 and Sc7. Further, the input destination of the image signal in step Sd5 is the image communication unit 106 in the process of step Sc3, and the display unit 107 in the processes of steps Sc6 and Sc7.

図11は、情報処理装置100bにおいて入力操作が行われているときの画面表示例を示す外観図である。図11の例では、情報処理装置100bにおいて、入力操作を行っており、情報処理装置100bの姿勢は縦である。しかし、外部表示装置300の姿勢は横である。このため、図10のフローチャートのステップSd4の処理により、情報処理装置100bは、縦向きの出力画像を表示する。また、ステップSd5の処理により、外部表示装置300を横向きにした状態で、出力画像が正しい向きで、かつ、全体が表示されるように、縦向きの出力画像が回転および縮小された画像を、外部表示装置300は、表示する。   FIG. 11 is an external view illustrating a screen display example when an input operation is performed in the information processing apparatus 100b. In the example of FIG. 11, an input operation is performed in the information processing apparatus 100b, and the posture of the information processing apparatus 100b is vertical. However, the posture of the external display device 300 is horizontal. For this reason, the information processing apparatus 100b displays the vertically oriented output image by the process of step Sd4 in the flowchart of FIG. In addition, by the process of step Sd5, an image obtained by rotating and reducing the vertical output image so that the output image is in the correct orientation and displayed as a whole in the state where the external display device 300 is in the landscape orientation, The external display device 300 displays.

図12は、情報処理装置100bにおいて入力操作が行われているときの他の画面表示例を示す外観図である。図12の例では、情報処理装置100bにおいて、入力操作を行っており、情報処理装置100bの姿勢は横である。しかし、外部表示装置300の姿勢は縦である。このため、図9のステップSc3の処理により、情報処理装置100bは、横向きの出力画像を表示する。また、外部表示装置300を縦向きにした状態で、出力画像が正しい向きで、かつ、全体が表示されるように、横向きの出力画像が回転および縮小された画像を、外部表示装置300は、表示する。   FIG. 12 is an external view showing another screen display example when an input operation is performed in the information processing apparatus 100b. In the example of FIG. 12, an input operation is performed in the information processing apparatus 100b, and the posture of the information processing apparatus 100b is horizontal. However, the posture of the external display device 300 is vertical. For this reason, the information processing apparatus 100b displays a horizontally oriented output image by the process of step Sc3 in FIG. In addition, in the state where the external display device 300 is in the portrait orientation, the external display device 300 displays an image obtained by rotating and reducing the output image in the landscape orientation so that the output image is in the correct orientation and displayed as a whole. indicate.

このように、本実施形態においても、第1および第2の実施形態と同様の効果が得られる。さらに、本実施形態では、入力操作を行っている装置と、他方の装置の姿勢が一致していなくても、出力画像回転部108bが、入力操作が行われていない装置に対しては、出力画像が正しい向きで、かつ、全体が表示されるように、出力画像を回転および縮小した画像を表示させる。このため、入力操作を行っていない装置に表示される画面も、入力操作をしているユーザーや他のユーザーから見やすい画面とすることができる。   Thus, also in this embodiment, the same effect as the first and second embodiments can be obtained. Furthermore, in this embodiment, even if the device performing the input operation and the posture of the other device do not match, the output image rotation unit 108b outputs to the device for which the input operation is not performed. An image obtained by rotating and reducing the output image is displayed so that the image is in the correct orientation and displayed as a whole. For this reason, the screen displayed on the device not performing the input operation can also be a screen that is easy to see from the user who is performing the input operation and other users.

[第4の実施形態]
第3の実施形態では、ユーザーが操作を行っている装置を、第1の実施形態と同様に、タッチ操作が行われている装置としているが、第2の実施形態の図7のステップSb4、Sb8と同様に、姿勢が変化した装置を、ユーザーが操作を行っている装置とするようにしてもよい。
[Fourth Embodiment]
In the third embodiment, the device operated by the user is a device in which a touch operation is performed as in the first embodiment, but step Sb4 in FIG. 7 of the second embodiment, Similarly to Sb8, a device whose posture has changed may be a device operated by the user.

なお、第1および第3の実施形態では、入力操作の例として、タッチ操作を挙げたが、情報処理装置100または外部表示装置300がハードウェアキーを有する場合は、入力操作として、キー入力操作を用いるようにしてもよい。   In the first and third embodiments, the touch operation is given as an example of the input operation. However, when the information processing apparatus 100 or the external display device 300 has hardware keys, the key input operation is performed as the input operation. May be used.

また、上述の各実施形態において、情報処理装置100、100a、100bと、外部表示装置300とは、通信ケーブル200により通信可能に接続されているが、ミラキャスト(Miracast)やWiDi(Wireless Display)などの無線通信にて接続されていてもよいし、複数の通信ケーブルや、複数の無線通信、あるいは、これらの組み合わせで接続されていてもよい。   In each of the above-described embodiments, the information processing apparatuses 100, 100a, and 100b and the external display apparatus 300 are communicably connected by the communication cable 200. However, Miracast or WiDi (Wireless Display) is used. Or may be connected by a plurality of communication cables, a plurality of wireless communications, or a combination thereof.

また、上述の各実施形態において、タッチパネル101、301が生成する本体タッチ操作情報および外部タッチ操作情報は、操作種別と、該操作が行われた位置を示す座標とを示すとしたが、これらのタッチ操作情報は、タッチのON/OFFと、その座標とを含むものとしてもよい。その場合、これらのタッチ操作情報を受けた操作装置判定部104、104aが、操作種別を判定する。なお、タッチのONとは、接触の開始および継続を表し、タッチのOFFは、接触の終了を表す。タッチパネル101、301は、指などが継続して接触しているときは、タッチのONとその座標とを示すタッチ操作情報を生成し、指がタッチパネルから離れたときは、タッチのOFFと離れたときの座標とを示すタッチ座標を生成する。   Further, in each of the above-described embodiments, the main body touch operation information and the external touch operation information generated by the touch panels 101 and 301 indicate the operation type and the coordinates indicating the position where the operation is performed. The touch operation information may include touch ON / OFF and its coordinates. In this case, the operation device determination units 104 and 104a that have received the touch operation information determine the operation type. Touch ON represents the start and continuation of contact, and touch OFF represents the end of contact. The touch panels 101 and 301 generate touch operation information indicating the touch ON and its coordinates when a finger or the like is in continuous contact, and when the finger is separated from the touch panel, the touch is off. Touch coordinates indicating the current coordinates are generated.

また、図2における情報処理装置100、図6における情報処理装置100a、図8における情報処理装置100bの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報処理装置100、100a、100bを実現するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。   Also, a program for realizing the functions of the information processing apparatus 100 in FIG. 2, the information processing apparatus 100a in FIG. 6, and the information processing apparatus 100b in FIG. 8 is recorded on a computer-readable recording medium and recorded on this recording medium. The information processing apparatuses 100, 100a, and 100b may be realized by causing the computer system to read and execute the program. Here, the “computer system” includes an OS and hardware such as peripheral devices.

また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like within a scope not departing from the gist of the present invention.

(1)本発明の一態様は、入力された画像を表示する外部表示装置と接続される情報処理装置であって、画像を表示する表示部と、前記表示部の姿勢を検出する姿勢検出部と、前記外部表示装置の表示領域の姿勢を示す外部姿勢情報を、前記外部表示装置から受信する情報通信部と、自装置と前記外部表示装置とのうち、ユーザーによる操作が行われている装置を判定する操作装置判定部と、前記姿勢検出部が検出した表示部の姿勢と、前記情報通信部が受信した情報が示す前記外部表示装置の表示領域の姿勢とのうち、前記操作装置判定部によりユーザーによる操作が行われている装置であると判定された装置に関する姿勢に応じた向きの出力画像を生成し、前記表示部に表示させる出力画像生成部と、前記外部表示装置に、前記出力画像を送信する画像通信部と、を具備することを特徴とする。 (1) One embodiment of the present invention is an information processing apparatus connected to an external display device that displays an input image, a display unit that displays an image, and a posture detection unit that detects the posture of the display unit And an information communication unit that receives external posture information indicating the posture of the display area of the external display device from the external display device, and a device that is operated by a user among the own device and the external display device Among the attitude of the display unit detected by the attitude detector and the attitude of the display area of the external display device indicated by the information received by the information communication unit. Generates an output image having an orientation corresponding to the posture of the device determined to be a device that is operated by the user, and displays the output image on the display unit and the output to the external display device image Characterized by comprising an image communication section for transmitting, to.

(2)また、本発明の他の態様は、(1)に記載の情報処理装置であって、ユーザーによる入力操作を検出する入力操作部を具備し、前記情報通信部は、前記外部表示装置における入力操作を示す外部操作情報を受信し、前記操作装置判定部は、前記入力操作部による検出結果と、前記情報通信部が受信した入力操作を示す情報とを参照して、前記判定を行うことを特徴とする。 (2) According to another aspect of the present invention, there is provided the information processing apparatus according to (1), further including an input operation unit that detects an input operation by a user, wherein the information communication unit includes the external display device. The operation device determination unit performs the determination with reference to a detection result by the input operation unit and information indicating the input operation received by the information communication unit. It is characterized by that.

(3)また、本発明の他の態様は、(2)に記載の情報処理装置であって、前記入力操作部は、前記表示部が画像を表示している領域に対するタッチ操作を検出し、前記入力操作を示す情報は、前記外部表示装置が画像を表示している領域に対するタッチ操作を示す情報であることを特徴とする。 (3) According to another aspect of the present invention, there is provided the information processing apparatus according to (2), wherein the input operation unit detects a touch operation on a region where the display unit displays an image, The information indicating the input operation is information indicating a touch operation with respect to a region where the external display device displays an image.

(4)また、本発明の他の態様は、(1)に記載の情報処理装置であって、前記操作装置判定部は、前記姿勢検出部による検出結果と、前記情報通信部が受信した外部姿勢情報とを参照して、前記判定を行うことを特徴とする。 (4) According to another aspect of the present invention, there is provided the information processing device according to (1), in which the operation device determination unit includes a detection result from the posture detection unit and an external information received by the information communication unit. The determination is performed with reference to posture information.

(5)また、本発明の他の態様は、前記姿勢検出部が検出した自装置に関する姿勢と、前記情報通信部が受信した情報が示す前記外部表示装置に関する姿勢とが一致しないときは、自装置と前記外部表示装置のうち、前記操作装置判定部によりユーザが操作している装置であると判定された装置には、前記出力画像を表示させ、他方の装置には、他方の装置に関する姿勢に合うように、回転させた前記出力画像全体を表示させる出力画像回転部を具備することを特徴とする請求項1に記載の情報処理装置。 (5) According to another aspect of the present invention, when the posture related to the own device detected by the posture detecting unit and the posture related to the external display device indicated by the information received by the information communication unit do not match, Of the device and the external display device, the device that is determined by the operation device determination unit to be the device operated by the user is displayed with the output image, and the other device has an attitude related to the other device. The information processing apparatus according to claim 1, further comprising: an output image rotation unit that displays the entire output image that has been rotated so as to meet the requirements.

(6)また、本発明の他の態様は、入力された画像を表示する外部表示装置と接続される情報処理装置における画像処理方法であって、前記情報処理装置が、自装置の表示部の姿勢を検出する第1の過程と、前記情報処理装置が、外部表示装置の表示領域の姿勢を示す外部姿勢情報を、前記外部表示装置から受信する第2の過程と、前記情報処理装置が、自装置と前記外部表示装置とのうち、ユーザーによる操作が行われている装置を判定する第3の過程と、前記情報処理装置が、前記第1の過程にて検出した表示部の姿勢と、前記第2の過程にて受信した情報が示す前記外部表示装置の表示領域の姿勢とのうち、前記第3の過程によりユーザーによる操作が行われている装置であると判定された装置に関する姿勢に応じた向きの出力画像を生成し、前記表示部に表示させる第4の過程と、前記情報処理装置が、前記出力画像を送信する第5の過程と、を有することを特徴とする。 (6) According to another aspect of the present invention, there is provided an image processing method in an information processing apparatus connected to an external display device that displays an input image, wherein the information processing apparatus A first step of detecting a posture; a second step in which the information processing device receives external posture information indicating a posture of a display area of the external display device from the external display device; and the information processing device. A third step of determining a device operated by a user among its own device and the external display device; and a posture of the display unit detected by the information processing device in the first step; Of the postures of the display area of the external display device indicated by the information received in the second process, the postures related to the devices determined to be devices operated by the user in the third step Output image of the corresponding direction Forms a fourth step of displaying on the display unit, the information processing apparatus, and having a, a fifth step of transmitting the output image.

(7)また、本発明の他の態様は、入力された画像を表示する外部表示装置と接続され、画像を表示する表示部を有するコンピュータを、前記表示部の姿勢を検出する姿勢検出部、前記外部表示装置の表示領域の姿勢を示す外部姿勢情報を、前記外部表示装置から受信する情報通信部、自装置と前記外部表示装置とのうち、ユーザーによる操作が行われている装置を判定する操作装置判定部、前記姿勢検出部が検出した表示部の姿勢と、前記情報通信部が受信した情報が示す前記外部表示装置の表示領域の姿勢とのうち、前記操作装置判定部によりユーザーによる操作が行われている装置であると判定された装置に関する姿勢に応じた向きの出力画像を生成し、前記表示部に表示させる出力画像生成部、前記外部表示装置に、前記出力画像を送信する画像通信部として、機能させるためのプログラムである。 (7) According to another aspect of the present invention, an attitude detection unit that detects an attitude of the display unit connected to an external display device that displays an input image and has a display unit that displays the image, The information communication unit that receives external posture information indicating the posture of the display area of the external display device from the external display device, and determines which device is operated by the user among the self-device and the external display device An operation by the operation device determination unit by the operation device determination unit, out of the display device posture detected by the operation device determination unit and the posture detection unit, and the display area of the external display device indicated by the information received by the information communication unit Generating an output image in a direction corresponding to the posture of the device determined to be a device that has been performed, and displaying the output image on the output image generating unit to be displayed on the display unit and the external display device As image communication unit for signal, a program for functioning.

100、100a、100b…情報処理装置 101…タッチパネル 102…角度センサー 103…情報通信部 104、104a…操作装置判定部 105…出力画像生成部 106…画像通信部 107…表示部 108b…出力画像回転部 200…通信ケーブル 300…外部表示装置 301…タッチパネル 302…角度センサー 303…縦横判別部 304…情報通信部 305…画像通信部 306…表示部   DESCRIPTION OF SYMBOLS 100, 100a, 100b ... Information processing apparatus 101 ... Touch panel 102 ... Angle sensor 103 ... Information communication part 104, 104a ... Operating device determination part 105 ... Output image generation part 106 ... Image communication part 107 ... Display part 108b ... Output image rotation part DESCRIPTION OF SYMBOLS 200 ... Communication cable 300 ... External display device 301 ... Touch panel 302 ... Angle sensor 303 ... Vertical / horizontal discrimination part 304 ... Information communication part 305 ... Image communication part 306 ... Display part

Claims (5)

入力された画像を表示する外部表示装置と接続される情報処理装置であって、
画像を表示する表示部と、
前記表示部の姿勢を検出する姿勢検出部と、
前記外部表示装置の表示領域の姿勢を示す外部姿勢情報を、前記外部表示装置から受信する情報通信部と、
自装置と前記外部表示装置とのうち、ユーザーによる操作が行われている装置を判定する操作装置判定部と、
前記姿勢検出部が検出した表示部の姿勢と、前記情報通信部が受信した情報が示す前記外部表示装置の表示領域の姿勢とのうち、前記操作装置判定部によりユーザーによる操作が行われている装置であると判定された装置に関する姿勢に応じた向きの出力画像を生成し、前記表示部に表示させる出力画像生成部と、
前記外部表示装置に、前記出力画像を送信する画像通信部と、
を具備することを特徴とする情報処理装置。
An information processing device connected to an external display device that displays an input image,
A display for displaying an image;
An attitude detection unit for detecting the attitude of the display unit;
An information communication unit that receives external posture information indicating the posture of the display area of the external display device from the external display device;
An operation device determination unit for determining a device being operated by a user among the own device and the external display device;
Of the orientation of the display unit detected by the orientation detection unit and the orientation of the display area of the external display device indicated by the information received by the information communication unit, the operation by the operation device determination unit is performed by the user. An output image generation unit that generates an output image in a direction according to an attitude related to a device determined to be a device, and displays the output image on the display unit;
An image communication unit for transmitting the output image to the external display device;
An information processing apparatus comprising:
ユーザーによる入力操作を検出する入力操作部
を具備し、
前記情報通信部は、前記外部表示装置における入力操作を示す外部操作情報を受信し、
前記操作装置判定部は、前記入力操作部による検出結果と、前記情報通信部が受信した入力操作を示す情報とを参照して、前記判定を行うことを特徴とする請求項1に記載の情報処理装置。
It has an input operation unit that detects input operations by the user,
The information communication unit receives external operation information indicating an input operation in the external display device;
The information according to claim 1, wherein the operation device determination unit performs the determination with reference to a detection result by the input operation unit and information indicating an input operation received by the information communication unit. Processing equipment.
前記操作装置判定部は、前記姿勢検出部による検出結果と、前記情報通信部が受信した外部姿勢情報とを参照して、前記判定を行うことを特徴とする請求項1に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the operation device determination unit performs the determination with reference to a detection result by the posture detection unit and external posture information received by the information communication unit. . 前記姿勢検出部が検出した自装置に関する姿勢と、前記情報通信部が受信した情報が示す前記外部表示装置に関する姿勢とが一致しないときは、自装置と前記外部表示装置のうち、前記操作装置判定部によりユーザが操作している装置であると判定された装置には、前記出力画像を表示させ、他方の装置には、他方の装置に関する姿勢に合うように、回転させた前記出力画像全体を表示させる出力画像回転部を具備することを特徴とする請求項1に記載の情報処理装置。   When the posture related to the own device detected by the posture detection unit and the posture related to the external display device indicated by the information received by the information communication unit do not match, the operation device determination is performed between the own device and the external display device. The output image is displayed on a device that is determined to be a device operated by the user by the unit, and the entire output image rotated so as to match the posture related to the other device is displayed on the other device. The information processing apparatus according to claim 1, further comprising an output image rotation unit to be displayed. 入力された画像を表示する外部表示装置と接続される情報処理装置における画像処理方法であって、
前記情報処理装置が、自装置の表示部の姿勢を検出する第1の過程と、
前記情報処理装置が、外部表示装置の表示領域の姿勢を示す外部姿勢情報を、前記外部表示装置から受信する第2の過程と、
前記情報処理装置が、自装置と前記外部表示装置とのうち、ユーザーによる操作が行われている装置を判定する第3の過程と、
前記情報処理装置が、前記第1の過程にて検出した表示部の姿勢と、前記第2の過程にて受信した情報が示す前記外部表示装置の表示領域の姿勢とのうち、前記第3の過程によりユーザーによる操作が行われている装置であると判定された装置に関する姿勢に応じた向きの出力画像を生成し、前記表示部に表示させる第4の過程と、
前記情報処理装置が、前記出力画像を送信する第5の過程と、
を有することを特徴とする画像処理方法。
An image processing method in an information processing apparatus connected to an external display device that displays an input image,
A first process in which the information processing apparatus detects a posture of a display unit of the own apparatus;
A second process in which the information processing apparatus receives external posture information indicating the posture of the display area of the external display device from the external display device;
A third step in which the information processing device determines a device that is operated by a user among the device and the external display device;
Of the orientation of the display unit detected by the information processing device in the first process and the orientation of the display area of the external display device indicated by the information received in the second process, the third A fourth step of generating an output image having an orientation corresponding to a posture related to a device determined to be a device that is operated by a user by the process and displaying the output image on the display unit;
A fifth process in which the information processing apparatus transmits the output image;
An image processing method comprising:
JP2013030390A 2013-02-19 2013-02-19 Information process device and image process method Pending JP2014160144A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013030390A JP2014160144A (en) 2013-02-19 2013-02-19 Information process device and image process method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013030390A JP2014160144A (en) 2013-02-19 2013-02-19 Information process device and image process method

Publications (1)

Publication Number Publication Date
JP2014160144A true JP2014160144A (en) 2014-09-04

Family

ID=51611875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013030390A Pending JP2014160144A (en) 2013-02-19 2013-02-19 Information process device and image process method

Country Status (1)

Country Link
JP (1) JP2014160144A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377286A (en) * 2016-10-28 2018-08-07 中兴通讯股份有限公司 A kind of method and device of data transmission

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377286A (en) * 2016-10-28 2018-08-07 中兴通讯股份有限公司 A kind of method and device of data transmission
CN108377286B (en) * 2016-10-28 2020-12-29 中兴通讯股份有限公司 Data transmission method and device

Similar Documents

Publication Publication Date Title
US11042185B2 (en) User terminal device and displaying method thereof
JP6151157B2 (en) Electronic device, control program, and operation method of electronic device
EP3105649B1 (en) User terminal device and displaying method thereof
US20130342456A1 (en) Remote control apparatus and control method thereof
WO2018161534A1 (en) Image display method, dual screen terminal and computer readable non-volatile storage medium
JP2008076818A (en) Mobile terminal device
KR20180138014A (en) Image display apparatus
EP3021572A1 (en) Display apparatus and control method thereof
WO2018137304A1 (en) Method for displaying 2d application in vr device, and terminal
JP6122477B2 (en) Screen sharing system and screen sharing method
JPWO2017022031A1 (en) Information terminal equipment
JP2014160144A (en) Information process device and image process method
JP2014102795A (en) Information processing system, electronic apparatus, information processing method, and information processing program
JP6484914B2 (en) Information processing equipment and operation system
US20140152695A1 (en) Display device
KR20070039790A (en) Portable terminal having function of conversion of picture
US9185448B2 (en) Remote control method, and system, receiving device, mobile internet device and recording medium for implementing the same
JP6408641B2 (en) Electronics
KR101343409B1 (en) The terminal and method which zooms in or out a part of touch screen area
JP5213033B2 (en) Software input key display method, program, and information processing terminal
JP6314715B2 (en) Information processing device
JP2018198096A (en) Electronic apparatus
JP6123107B2 (en) Information processing apparatus, software keyboard generation method, and program
JP5227717B2 (en) Information processing system and information processing apparatus
JP2010165220A (en) Real-time rendering system and real-time rendering method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150518