EP2643752A1 - Verfahren und vorrichtung zur darstellung einer grafischen benutzeroberfläche einer tragbaren recheneinheit auf einem externen anzeigegerät - Google Patents
Verfahren und vorrichtung zur darstellung einer grafischen benutzeroberfläche einer tragbaren recheneinheit auf einem externen anzeigegerätInfo
- Publication number
- EP2643752A1 EP2643752A1 EP11802269.8A EP11802269A EP2643752A1 EP 2643752 A1 EP2643752 A1 EP 2643752A1 EP 11802269 A EP11802269 A EP 11802269A EP 2643752 A1 EP2643752 A1 EP 2643752A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- display device
- external display
- emulation
- computing unit
- portable computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
- H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42208—Display device provided on the remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42224—Touch pad or touch panel provided on the remote control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
- G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/16—Details of telephonic subscriber devices including more than one display unit
Definitions
- the invention relates to a method and a device for displaying a graphical user interface of a portable computing unit on a display device.
- the method and the device provide a solution to a problem that many are familiar with: The screen and the contents of a portable computing unit displayed on it are too small. Especially with the increasingly popular smartphones, this problem arises.
- the object is achieved by a method for displaying a graphical user interface of a portable computing unit (20) on an external display device (40) which has a native resolution and a native aspect ratio, wherein the steps are carried out:
- a graphical user interface is preferably an on-screen display of manipulation options of data
- graphical Elements for the visualization of data and / or manipulation options (eg documents, drawings, texts, videos, buttons, etc.).
- a graphical user interface is preferably made up of graphic elements (eg windows, buttons, text, pictures, graphics, I-cons, desktop wallpaper).
- the portable computing unit is e.g. a smartphone, a
- Tablet computer or a personal digital assistant Portable preferably means that the arithmetic unit is such in terms of its weight and its dimension that it is readily transportable in a briefcase, preferably trouser or jacket pocket.
- the operating system of the portable computing unit preferably represents the interface between the hardware of the computing unit and the functions (programs, data accesses).
- An operating system of a portable computing unit is e.g. Linux, Windows, Mac OS, Android, Apple iOS, etc.
- the graphical user interface of a portable computing unit is preferably the graphical interface between the user and the data and functions of the portable computing unit.
- the graphical user interface of a portable computing device is the graphical interface of a subroutine executed on the operating system of the portable computing device.
- Different computing units have different graphical user interfaces, depending on the manufacturer of the operating system or the executable under this operating system programs (eg Linux, Windows, Mac OS, Android, Apple iOS, etc.).
- the representation of a graphical user interface is preferably the same with respect to the graphic design, particularly preferably identical visualization of at least a part, preferably all of the - preferably changing - graphical elements of the user interface on a screen.
- An external display device is for example a computer monitor, an LCD / plasma TV, projectors (eg LCD), head-up displays, head-mounted displays, preferably an LCD TV.
- the native resolution of the external display device is a resolution that corresponds to the exact physical resolution (pixel count) of the display device.
- the native aspect ratio is the aspect ratio (number of pixels in width divided by the number of pixels in height) that exactly matches the physical aspect ratio of the display device.
- the external arithmetic unit is another arithmetic unit. This is external with respect to the portable computing unit.
- the external processing unit is z. As a desktop computer, PC integrated in a set-top box computing unit, a notebook / laptop, a server, a remote server, etc.
- the emulation is preferably the execution of an operating system within another operating system in a dedicated emulation environment.
- An emulation environment is typically a program that is / are installed on the computing device on which the emulation is performed.
- the operating system to be emulated is then preferably installed and executed.
- the emulation of the operating system is preferably an execution of the operating system within the emulation environment.
- the emulation environment provides virtual hardware components, the computing unit whose operating system is emulated. For example, these are virtual input devices, which are preferably controlled by the emulation environment, so that these virtual input devices behave and produce data as if they were also physically present.
- Such input devices are, for example, sensors of the arithmetic unit whose operating system is emulated, peripheral devices connected to this arithmetic unit, such as a mouse, a keyboard and / or integrated peripheral devices, such as a camera, microcomputer or the like. rophon, etc.
- Emulating the operating system of the portable computing device on an external computing device allows the operating system of the portable computing device to be executed without the hardware of the portable computing device being physically present in the external computing device.
- the chosen arithmetic architecture of the external arithmetic unit is preferably independent of the arithmetic architecture of the portable arithmetic unit.
- the external computing unit preferably has a processor and / or other hardware components which correspond to the architecture of the portable computing unit. In this way, the emulation is more efficient because not all instructions to the arithmetic unit hardware (e.g., adder functions) need to be translated into the instruction set of another computer architecture.
- user input means for example, inputs via a touch-sensitive surface (touchpad), a touch-sensitive display, mouse, keyboard, motion sensor, touch sensor, scanner, data readers, position sensor (eg GPS) or other inputs that can be entered into an arithmetic unit.
- user inputs are also inputs that are made automated by a computing unit, so that a user is not necessarily interacting.
- these are automatic recording of images via a camera integrated in the arithmetic unit or else automated reading of data from a data carrier connected physically or via a network to the arithmetic unit, automated temperature measurements, etc.
- User inputs to the portable arithmetic unit are the abovementioned inputs which are generated with the help of portable computing unit are made.
- these user inputs call functions within the operating system of the portable computation unit (eg, storing data, scrolling in menus, generating certain graphical outputs, building up telephones). telephone and / or network connections, etc.) «
- Transmission is preferably understood to mean a transport of preferably data from a source to a sink, preferably also intermediate stations (for example network nodes, interfaces between programs) being on the transport path.
- intermediate stations for example network nodes, interfaces between programs
- the transmission of the user inputs to the emulation is preferably a transfer of the user inputs as digital and / or analog data sequence from the portable computing unit to the emulation.
- the user inputs are preferably transmitted to the emulation in such a way that the data of the user inputs can be assigned to the virtual input devices in the emulation.
- the data sequence is preceded by header information identifying the type of user input.
- Interpreting the user inputs in the emulation preferably includes the step (s)
- Calling functions / programs within the emulated operating system according to the type of user input.
- An execution state is characterized by one or more of the following features: type and number of open programs, position of a mouse pointer, displayed windows and / or texts and / or graphics, memory allocation, type and number of peripheral devices connected, playback state of multimedia data (presentations, Videos, audio data), etc.
- additional data are exchanged once or repeatedly between the portable and the external computer unit, particularly preferably from the portable computer. ren sent to the external processing unit. This data contains information about the execution state of the portable and / or the external computing unit.
- the execution state of the portable and / or the external computing unit is adjusted via the additional data.
- the emulated user interface is preferably the graphical output generated by the emulation.
- the emulated user interface preferably shows the same graphical elements, program windows and / or menus as the graphical user interface of the portable computing unit. It is preferably similar in its graphic design, particularly preferably identical to the graphical user interface of the portable computing unit.
- the generation of an emulated user interface preferably takes place automatically by emulating the operating system of the portable computing unit, since this preferably represents a function of the emulation environment.
- the emulated user interface consists only of a selection of the graphical user interface elements of the portable computing device (eg, the emulated user interface consists only of the window currently displaying a playing video).
- this graphic data is preferably generated by the emulation environment.
- the emulated user interface is displayed on the graphical user interface of the external arithmetic unit and the graphical user interface of the external arithmetic unit is transmitted.
- the transmission of directly generated graphics data to the external display device takes place, in the second case a transmission of indirectly generated graphics data of the emulated user interface.
- the graphics data preferably contains all the information necessary to display a graphical user interface on the external display device.
- the graphic data preferably contains only the information about changes in the emulated user interface between temporally different states (transmission of difference images).
- a respective current and / or powerful image compression, coding and / or transmission method 5 is used.
- the presentation of the emulated user interface on the external display device is preferably the creation of an image on the external display device, the image corresponding to the emulated user interface.
- the necessary information is preferably read from the graphics data, and the physical pixels of the display device are activated in accordance with this information.
- both the emulated operating system and the operating system running on the portable computing unit are preferably kept at substantially identical execution states during runtime.
- the speed and the liquid of the program sequences and / or the graphical representation are retained, since the external arithmetic unit has due to the processors used.
- Programs and / or the generation of graphics data in the emulation at least at the same speed, preferably faster than on the portable computing unit. At a higher speed, the execution of
- User-specific data includes, for example: image files, music files, e-mails, stored passwords, address books or telephone books, data carrier contents, history profiles (Internet surfing profiles, call profiles), office documents, etc.
- the transmission preferably takes place automatically or by the user of the portable computing unit and / or by the user or operator of the external computing unit at particular times.
- determination always takes place when user-specific data on the portable computing unit has changed or changed.
- the emulation thus preferably contains the most important, preferably all personal data and information, which are also available on the portable computing unit.
- the determining is preferably a comparison of the number of pixels and the aspect ratio of the emulated user interface and / or a graphical element with the native pixel count and the native aspect ratio of the external display device.
- the detection takes place in the emulation environment or emulation device.
- the external display device (preferably at the request of the external computing unit) sends information containing at least information about the native resolution and / or the native aspect ratio of the external display device.
- the detection takes place in the external display device and / or a device upstream of the external display device (eg set-top box) and the result of the detection and / or the resolution and the aspect ratio in which the emulated user interface is desired (either by determining the User or due to the native resolution and / or the native aspect ratio of the external display device) is transmitted to the emulation.
- the emulation then creates an emulated user interface that meets these graphical requirements.
- the aspect ratio and / or the resolution of the emulated user interface and / or a graphical element are smaller than the native resolution and / or the native aspect ratio of the external display device or values predefined by a user. Accordingly, it is preferably determined whether the emulated user interface and / or the graphical program element has fewer pixels than the external display device.
- User specified values preferably include an indication of the number of resolutions (e.g., pixels in width and height) and / or a desired aspect ratio.
- the user sets such values via the portable computing unit and / or the external display device and / or via another device upstream of the external display device.
- the customization is preferably a step that prepares an existing user interface for presentation on a display device that has a different resolution and aspect ratio than that of the user interface.
- intermediate pixels are preferably inserted whose color and / or intensity values depend on the image pixels surrounding them.
- black (or differently colored) bars are preferably placed to the right and left of the image, and letterboxing above and below the image.
- the above-mentioned methods are preferably used to display and customize a user interface on the external display device when the emulated user interface has a smaller number of pixels, such as the physical pixels of the external display device. For example, in sub-sampling, only every other pixel is used to create a new image. This new image then has only half the pixels. When preferably edge pixels are cropped. These two methods just mentioned are preferably used when the emulated user interface has more pixels than the native resolution of the external display device. These methods are well known to those skilled in the art.
- the emulated user interface (55) when the emulated user interface (55) is created, the emulated user interface (55) is already generated at the resolution and aspect ratio equal to the native resolution and native aspect ratio of the external display device (40) or equal to the user Are values, and thus the emulated user interface (55) has as many pixels in the image width and the image height as the number of pixels that can be displayed with the external display device (40).
- program version is designed for a resolution and a aspect ratio that exploit the native resolution and the native aspect ratio of the external display device (40) by the respective program version generating at least one graphical element (56) having at least as many pixels in the Image width and the image height has as the number of displayable with the external display device (40) pixels.
- Programs that are available on the portable computer unit are preferably so-called apps.
- the search is preferably performed by the external arithmetic unit, and there preferably by the emulation environment.
- the sofware sources are preferably made available on a data carrier and / or a specific server on the Internet.
- User inputs to the external display device and / or a device upstream of the external display device are, for example, inputs with a remote control, inputs via touch sensors (eg a touch-sensitive touch display) in the external display device, taking pictures with a camera integrated in the external display device, and also types of inputs that have been mentioned in connection with user input to the portable processing unit and other other input options.
- Interpreting the user inputs to the external display device in the emulation is preferably in parallel with interpreting the user inputs to the portable computing device in the emulation.
- either the user input to the external display device or the user input to the portable computing unit are interpreted prioritized.
- the portable computing unit By interpreting the user inputs in the external display device in the portable computing unit, it is preferably possible to control the portable computing unit by input to the external display device. Here, too, priority is given to prioritizing the direct user input into the portable computing unit and the user input to the external display device made.
- the user inputs (80, 80 ') and / or the graphics data (50) are transmitted at least partly by radio (90).
- radio technology it is preferable to use e.g. in question: W-LA, Bluetooth, analog radio transmission, ZigBee, infrared, UMTS, GSM, GPRS etc.
- the user inputs (80, 80 ') and / or the transmission of the graphics data (50) are transmitted at least partially via a network (120), preferably a cable television network (120').
- a network is a home network and / or the Internet.
- the portable computing unit communicates with a home wireless router via a home WLAN, and this home wireless router communicates with an external arithmetic unit configured as a set-top box or with a set-top box that has another Network (Internet and / or cable TV network) communicates with a designed as a server external computing unit.
- a home wireless router via a home WLAN
- this home wireless router communicates with an external arithmetic unit configured as a set-top box or with a set-top box that has another Network (Internet and / or cable TV network) communicates with a designed as a server external computing unit.
- the step is carried out: combining the emulated user interface with graphic elements of at least one other source which generates graphic outputs.
- Another source that produces graphic output is, for example, one of the group: TV receivers, video recorders, DVD players (these generate analogue / digital graphic data for a video image), desktop computers, multimedia centers (these also generate, for example own user interfaces).
- Combining is preferably arranging the emulated user interface and the graphical output of other sources in the display area of the external display device and particularly preferably comprises at least one action from the following group, wherein the actions relating to the emulated user interface and / or the graphical output of the other source (s) are performed: zooming in and / or out, moving, superimposing,
- the step of combining preferably takes place in the external arithmetic unit, preferably in a unit designed as a set-top box, which communicates with the external arithmetic unit.
- a part or the entirety of the method steps described so far is additionally performed for the representation of the user interface of at least one further portable computing unit (20.1) on the external display device (40) and / or another external display device (40.1) by at least the
- the user interfaces of a plurality of different portable computing units are thus displayed on the same external display device and / or on a further external display device.
- the display is preferably carried out on the same external display device in accordance with a priority
- Emulation preferably takes place in a further emulation on a central server. Preferably, this communicates via
- Network interfaces with various devices upstream of the external display devices which have the necessary interfaces according to the invention (for example network interface set-top boxes, input interface for user input to a portable computing unit, graphics interface).
- the object is further achieved by a device for displaying a graphical user interface of a portable computing unit (20) on an external display device (40)
- an external computing unit having an emulation device (700), wherein the emulation device (700)
- the input interface (800) for transmitting the user input (80) from the portable computing unit (20) to the emulation (70);
- the graphics interface (500) for transmitting the graphics data (50) from the emulation (70) to the external display device (40).
- the emulation device is preferably a device in which an operating system can be emulated without physically having to provide the hardware of the device for which this operating system is designed.
- An emulation device is e.g. an emulation environment offered by various software vendors (for example, VMWare, VirtualBox, etc.). Preferably, it is set up to execute several emulations.
- the program code for emulating an operating system of the portable computing unit is preferably a copy of the operating system program code, which is also available on the portable computing unit.
- a device for forwarding user inputs to the portable computing unit preferably represents an interface, which makes it possible to transfer user inputs from outside into the emulation. Most preferably, this device is a software interface provided in the emulation environment.
- the input interface is preferably configured to receive input to the portable computing unit.
- the input interface is preferably arranged in the external arithmetic unit, particularly preferably in a device upstream of the external display device (eg set-top box).
- the device for relaying graphics data is preferably set up to receive graphics data from the emulation and forward them to a graphics interface.
- This device is particularly preferably a software interface that is provided in the emulation environment.
- the graphics interface is preferably set to receive the graphics data from the emulation.
- the graphics interface converts the graphics data into a format readable by the external display device.
- User input is interpretable when the emulation recognizes the user input and then can perform actions or perform functions intended with those user inputs.
- the emulation device is preferably set up in conjunction with the emulation to generate graphic data and, with particular preference, to forward this graphic data in a form that can be used for a graphics interface (for example a graphics card).
- a graphics interface for example a graphics card
- the emulation device is set up to display the emulated user interface on the user interface of the operating system of the external computing unit.
- the portable computing unit (20) is a smartphone, a tablet computer or a personal digital assistant (PDA).
- the device is a smartphone, a tablet computer or a personal digital assistant (PDA).
- PDA personal digital assistant
- the input interface for transmitting user inputs to the external display device and / or to an external display device for external emulation device is preferably configured to receive user input from the direction of the external display device and this to the emulation and / or preferred about the
- Input interface for transmitting the user input in a portable computing unit to the portable computing unit forward.
- the emulation can also be controlled by user inputs into the external display device and / or the portable computing unit can be controlled by user inputs in the external display device.
- the input interface is preferably arranged in the external arithmetic unit, more preferably in a device upstream of the external display device (e.g., set-top box).
- the input interface is preferably set up to transmit other user inputs to the emulation and / or to the portable computing unit as an alternative or in addition to user inputs to the external display device.
- the other user entries are preferably from a directly with
- the upstream device input device eg wireless mouse, wireless keyboard, IR / radio remote control.
- the device upstream of the external display device is, for example, a set-top box in which input, graphics and / or network interfaces of the device are integrated. It is preferably connected upstream of the external display device via a graphics interface.
- the means for relaying the user input to the external display device from the input interface to an emulation is preferably a software implemented one
- the device has a radio device (100) which is set up to transmit the user inputs (80, 80 ') and / or the graphics data (50).
- the radio device for the wireless communication with the portable computing unit and / or with the external display device is set up, particularly preferably for the replacement of wired communication between the various interfaces used in the device.
- the device additionally has at least two network interfaces (1200) and the external computing unit (60) is spatially separated from and overlaid with the existing input interfaces (800, 800 ') and the graphics interface (500) a network (120), preferably a cable network, and connected via the network interfaces (1200).
- a network interface is preferably a network card with an Ethernet connection, in particular a network card for wireless transmission (eg W-LAN), very particularly preferably a network interface specifically for a coaxial cable network (eg network interface for television cable).
- a network card for wireless transmission eg W-LAN
- a network interface specifically for a coaxial cable network eg network interface for television cable
- the external computing unit is located in a different room, more preferably in a different building than the existing input interfaces and the Trutenstel- le, most preferably in a node or end point of a cable network (eg headend). Furthermore, preferably, the external computing unit is located in a central server room. Preferably, one or more of the components graphic interface, existing input interfaces, network interfaces and radio device is at least partially integrated in a set-top box, preferably in the external display device.
- the device has media sources and / or interfaces for other media sources, which preferably generate graphic data.
- the set-top box has a TV receiver and / or an additional video input and / or an arithmetic unit which is set up to manage various media and generates its own user interface, the graphical user interface preferably being the latter in the latter user interface united in different media sources.
- the user inputs (80, 80 ') provide data from at least one touch sensor, preferably a touch-sensitive screen and / or
- Figure 1 is an overview and illustration of the method according to the invention and the device, wherein the graphical user interface of a smartphone on a TV is shown enlarged
- Figure 2 is an overview and illustration of the method and the device according to the invention, wherein a user makes user input to the external display device
- FIG. 3 is an overview and illustration similar to that of FIG. 2, with the difference that wireless communication is used between the external display device and the external arithmetic unit and, in addition, the external arithmetic unit is connected to a software source .
- FIG. 4 shows an overview or illustration similar to that of FIG. 3, wherein the input interfaces and the graphic interface are spatially separated from the external arithmetic unit and communicate with the external arithmetic unit via network interface parts and wherein the operating system emulates and emulates another portable arithmetic unit User interface is displayed.
- FIG. 1 shows an overview and illustration of the method and the device according to the invention, wherein the graphical user interface of a smartphone 20 on a television set 40 is shown enlarged as an external display device. It shows a user who operates a smartphone 20.
- An external arithmetic unit 60 serves as a host computer (computer on which an emulation 70 is executed).
- the external arithmetic unit 60 is a normal desktop computer in this case.
- It also has an emulation device 700, in this example a virtualization environment or virtualization software. Within this software is a virtual machine with the associated operating system. The virtual machine and the associated operating system form the emulation 70 when executed. This generates an emulated graphical user interface 55.
- the emulation software 700 has two interfaces 720 and 740.
- the interface 720 is a device for forwarding user inputs 80 into the smartphone 20 to the emulation 70.
- the interface 740 is a device for relaying graphics data 50 from the emulation 70 to the graphics interface 500.
- the external computing unit 60 also has an input interface 800 on. This is connected to a radio device 100. Furthermore, the external computing unit 60 has a graphics interface 500, this graphics interface is set up to receive graphics data 50 from the emulation via the interface 740 and to forward them to a graphics output. At this graphic output, the external display device 40 is connected. On the external display device 40, the emulated user interface 55 of the smartphone is displayed enlarged.
- the user operates the smartphone 20.
- the user inputs 80 which are registered during operation by the smartphone 20, are transmitted by radio 90 to the radio device 100. There they are received and forwarded to the input interface 800. This transmits these user inputs 80 to the emulation 70 via the interface 720.
- these user inputs are evaluated and commands (such as mouse pointer movements, opening of programs, etc.) that the user has performed on the smartphone 20, are also performed in emulation 70.
- the emulation 70 generates the graphics data 50 of the emulated user interface 55 and forwards them via the interface 740 to the graphics interface 500.
- the graphics interface 500 prepares this graphics data 50 for the display device 40.
- an emulated user interface 55 is shown from the graphics data 50.
- an additional visualization of the user 80 in that the operation is visualized via the touchpad function of the smartphone 20 in the emulation 70 by a mouse pointer and, accordingly, this can also be seen on the emulated user interface 55.
- the user interface 55 is enlarged by interpolation.
- an emulated graphical user interface 55 having a resolution and aspect ratio corresponding to the native resolution and native aspect ratio of the external display device 40 is generated. In this way, the user can simultaneously view the visual output of the smartphone 20 an enlarged and possibly even higher resolution version of the user interface of his smartphone on the external display device 40.
- this has the advantage that not only he but also at the same time several users can easily follow the events on the smartphone 20, such as the running of a movie or video clip.
- FIG. 2 shows an overview and illustration of the method according to the invention and the device, wherein a user makes user inputs 80 'in the external display device 40 and these control both the emulation 70 and the portable computing unit 20.
- the external arithmetic unit 60 is a set-top box.
- the external computing unit 60 has an input interface 800 '. This is set up to receive user inputs 80 'in the external display device 40 and to forward via an interface 760 to the emulation 70 and to the input interface 800.
- the interface 760 is a device for forwarding user inputs 80 'into the external display device 40 to the emulation 70.
- the input interface 800 is also additionally set up to receive user inputs 80' and forward them to the smartphone 20.
- the forwarding additionally takes place via the radio device 100 by radio 90.
- the same or another user can now make user inputs 80 'via the external display device 40.
- These user inputs 80 'are then forwarded to the input interface 800', which in turn forwards them via the interface 760 to the emulation 70.
- these user inputs 80 'as well as user inputs 80 evoke actions or program calls, etc.
- the user inputs 80 'are also forwarded to the input interface 800, which in turn forwards the user inputs 80' to the smartphone 20.
- the smartphone 20 the user inputs 80 'are recognized and functions and actions are also performed there on the basis of the user inputs 80'.
- FIG. 3 shows an overview and illustration similar to that of FIG. 2, with the difference that wireless communication is used between the external display device 40 and the external computing unit 60 and, in addition, the external computing unit 60 is connected to a software source 600.
- the external display device 40 is wirelessly connected to the external computing unit 60 via the wireless device 100.
- the interfaces 720, 740 and 760 are not listed here again for reasons of clarity.
- a software source 600 is connected to the external processing unit. In this case, it is a USB hard disk drive. On the USB drive are programs for the smartphone 20 in versions that provide a resolution and aspect ratio that correspond to the native aspect ratio and native resolution of the external display device 40.
- the emulator 700 searches for program versions on the hard disk 600 that provide a resolution and / or aspect ratio that are greater than the user interface of the smartphone 20. Ideally, the emulator 700 finds a program version that generates graphics elements 56 having a resolution and an aspect ratio that correspond to the native resolution and native aspect ratio of the external display device 40. Otherwise, the best possible (the highest-resolution) version is selected. If the user of the smartphone 20 or the user wants to open a program on the external display device 40, this selected program version is opened. In order to display the graphical user interface 55 on the external display device 40 in spite of the non-searchable optimal program version, the emulated user interface 55 is interpolated. The interpolation is carried out either by the emulation device 700, the graphics interface 500, or the display device 40 itself. Furthermore, the graphic data 50 and the user inputs 80 'are transmitted to the external display device 40 by radio to the external computing unit 60.
- FIG. 4 shows an overview or illustration similar to that of FIG. 3, wherein the input interfaces 800, 800 ', the radio device 100 and the graphics interface 500 are spatially separated from the external computing unit 60 and communicate with the external computing unit 60 via network interfaces 1200 and wherein the operating system of another portable computing unit 20.1 is emulated and displayed.
- a network interface 1200, the input interface 800, the graphics interface 500 and the radio 100 form a set-top box that is connected to the external display via a cable for graphic data 50. ge réelle 40 is connected.
- the same components also exist for the emulation 70.1 of the further arithmetic unit 20.1 and are each labeled with an additional ".1" after the reference numeral
- the external arithmetic unit 60 is equipped with an emulation device 700 in which a plurality of emulations 70, 70.1, 70.2 can be executed
- the graphic data 50, 50.1, which can be generated with these different emulations, can be sent to any known external display devices 40, 40.1 ,
- the set-top boxes Based on the user inputs 80, 80.1, 80.1 ', the set-top boxes recognize the type of portable computing unit 20, 20.1 and send this type to the external computing unit 60.
- Various emulations 70, 70.1, 70.2 are executed in the external computing unit.
- the external arithmetic unit 60 recognizes by means of the type which emulation 70, 70.1, 70.2 is assigned to this portable arithmetic unit 20, 20.1 and forwards these user inputs 80, 80.1, 80.1 'to the corresponding emulation 70, 70.1.
- the graphics data 50, 50.1 are then sent to the set-top box from which the user inputs 80, 80.1, 80.1 'were received.
- a user of another portable computing unit 20.2 who wants to use the same display device 40 for display as the user of the portable computing unit 20 and user inputs 80.2 in his portable computing unit 20.2. enters.
- the user inputs 80.2 are also received by the same set-top box (the lower set-top box in FIG. 4) and forwarded to the external arithmetic unit 60.
- the set-top box again recognizes the type of portable computing unit 20. 2 and sends this information to the external computing unit 60.
- these user inputs 80.2 are then forwarded to another emulation, namely to the emulation 70.2, which is carried out for the other portable arithmetic unit 20.2 on the external arithmetic unit 60.
- the graphics data 50.2 are then in turn sent to the same set-top box from which the user inputs were received. Alternatively, it can also be set on the set-top box which portable computing unit 20 should be displayed on the external display device 40. The set-top box then only responds to user input 80 from this selected portable computing unit 20.
- the aspect ratio of the user interface of the smartphone 20 in the emulation 70 is changed so that the emulated user interface 55 has the aspect ratio of the external display device 40.
- the invention provides a method and a device which make it possible to configure the user interface of a portable computing unit on a larger external computer
- the use of emulations also offers the advantage that a large number of different devices can be emulated simultaneously in parallel on the external computing unit and thus the external computing unit serves as a central server for different users with different portable computing units.
- This centralization is preferably enhanced over the Internet by users who are in different homes or places using this one arithmetic unit (or computing cluster) to virtualize their portable computing unit.
- the emulation creates the possibility of recalculating and / or increasing the graphical user interface for the external display device, so that the native resolution and the native aspect ratio of the external display device can be optimally utilized , This is further supported by the possibility that the external computation unit independently searches for program versions that offer a higher resolution.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Rechenein- heit (20) auf einem externen Anzeigegerät (40), das eine native Auflösung und ein natives Seitenverhältnis aufweist, wobei die Schritte durchgeführt werden: — Emulieren eines Betriebssystems der tragbaren Recheneinheit (20) auf einer externen Recheneinheit (60) in einer Emulation (70); — Eingeben von Benutzereingaben (80) in die tragbare Recheneinheit (20); — Übermitteln der Benutzereingaben (80) an die Emulation (70); — Interpretieren der Benutzereingaben (80) in der Emulation (70); — Erzeugen einer emulierten Benutzeroberfläche (55) der tragbaren Recheneinheit (20); — Übermitteln der emulierten Benutzeroberfläche (55) in Form von Grafikdaten (50) an das externe Anzeigegerät (40); — Darstellen der emulierten Benutzeroberfläche (55) auf dem externen Anzeigegerät (40). Weiterhin betrifft die Erfindung eine Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit (20) auf einem externen Anzeigegerät (40).
Description
Verfahren und Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit auf einem externen Anzeigegerät Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit auf einem Anzeigegerät. Das Verfahren und die Vorrichtung schaffen Abhilfe eines Problems, das viele kennen: Der Bildschirm und die darauf dargestellten Inhalte einer tragbaren Recheneinheit sind zu klein. Insbesondere bei den immer populärer werdenden Smartphones stellt sich dieses Problem.
Im Stand der Technik ist es möglich, das Smartphone per Kabel an einen größeren Bildschirm anzuschließen. Dies hat den Nachteil, dass ein Kabel notwendig ist. Zudem ist hierfür erforderlich, dass die Möglichkeit einer externen Darstellung bereits durch den Hersteller vorgesehen ist. Darüber hinaus erfordert eine größere Darstellung mehr Rechenleistung und diese kann eine tragbare Recheneinheit in der Regel nicht aufbringen.
Im Stand der Technik ist es möglich, auf einem Smartphone eine Software auszuführen, die es erlaubt, sich von einem anderen Computer über ein Netzwerk in das Smartphone einzuloggen und die grafische Oberfläche des Smartphones angezeigt zu be- kommen. Nachteilig hierbei ist, dass zwischen dem Smartphone und dem anderen Computer die Grafikdaten ausgetauscht werden müssen und dies eine hohe verfügbare Übertragungsbandbreite erfordert. Zudem ist das Einloggen von dem anderen Computer sehr umständlich für den Benutzer des Smartphones. Außerdem ist nachteilig, dass auf dem großen Bildschirm die Benutzeroberfläche des Smartphones nur in der Auflösung dargestellt wird, in welcher sie auf dem Smartphone angezeigt wird. Es ist daher nicht möglich, eine Vergrößerung der grafischen Ausgabe mit einem echten Gewinn an Auflösung und so- mit mehr Bildinformation zu verbinden.
Aufgabe der vorliegenden Erfindung ist es, die Nachteile des Stands der Technik zu verbessern.
Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den Unteransprüchen de- finiert.
Insbesondere wird die Aufgabe gelöst durch ein Verfahren zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit (20) auf einem externen Anzeigegerät (40), das eine native Auflösung und ein natives Seitenverhältnis aufweist, wobei die Schritte durchgeführt werden:
— Emulieren eines Betriebssystems der tragbaren Recheneinheit (20) auf einer externen Recheneinheit (60) in einer Emulation (70);
— Eingeben von Benutzereingaben (80) in die tragbare Rechen- einheit (20);
— Übermitteln der Benutzereingaben (80) an die Emulation (70);
— Interpretieren der Benutzereingaben (80) in der Emulation (70);
— Erzeugen einer emulierten Benutzeroberfläche (55) der tragbaren Recheneinheit (20);
— Übermitteln der emulierten Benutzeroberfläche (55) in Form von Grafikdaten (50) an das externe Anzeigegerät (40);
— Darstellen der emulierten Benutzeroberfläche (55) auf dem externen Anzeigegerät (40).
Eine grafische Benutzeroberfläche bzw. grafische Benutzerschnittstelle ist bevorzugt eine auf einem Bildschirm darstellbare Anzeige von Manipulationsoptionen von Daten
und/oder Funktionen (z.B. Programme) einer Recheneinheit und/oder eine Anzeige von auf einem Bildschirm darstellbaren Informationen. Erfindungsgemäß kann dies sowohl die grafische Benutzeroberfläche des Betriebssystems der Recheneinheit sein, wie auch die grafische Benutzeroberfläche eines Programms, das in dem Betriebssystem ausgeführt wird oder Teile eines Programms oder eines Betriebssystems, nämlich grafische
Elemente zur Visualisierung von Daten und/oder Manipulationsoptionen (z.B. Dokumente, Zeichnungen, Texte, Videos, Buttons, etc.). Bevorzugt handelt es sich um die grafische Benutzeroberfläche des Betriebssystems der Recheneinheit. Eine grafische Benutzeroberflächen ist bevorzugt aus grafischen Elementen (z.B. Fenster, Buttons, Text, Bilder, Grafiken, I- cons, Desktop Hintergrundbild) aufgebaut.
Die tragbare Recheneinheit ist z.B. ein Smartphone, ein
Tablet-Computer oder ein Personal Digital Assistant (PDA). Tragbar bedeutet bevorzugt, dass die Recheneinheit bezüglich ihres Gewichts und ihrer Dimension derart ist, dass sie ohne weiteres in einer Aktentasche, bevorzugt Hosen- oder Jackentasche transportierbar ist.
Das Betriebssystem der tragbaren Recheneinheit stellt bevor- zugt die Schnittstelle zwischen der Hardware der Recheneinheit und den Funktionen (Programme, Datenzugriffe) dar. Ein Betriebssystem einer tragbaren Recheneinheit ist z.B. Linux, Windows, Mac OS, Android, Apple iOS, etc.
Die grafische Benutzeroberfläche einer tragbaren Rechenein- heit ist bevorzugt die grafische Schnittstelle zwischen dem Benutzer und den Daten und Funktionen der tragbaren Recheneinheit. Bevorzugt ist die grafische Benutzeroberfläche einer tragbaren Recheneinheit die grafische Schnittstelle eines Unterprogramms, das auf dem Betriebssystem der tragbaren Re- cheneinheit ausgeführt wird. Verschiedene Recheneinheiten besitzen verschiedene grafische Benutzeroberflächen, je nach Hersteller des Betriebssystems bzw. der unter diesem Betriebssystem ausführbaren Programme (z.B. Linux, Windows, Mac OS, Android, Apple iOS, etc.). Die Darstellung einer grafischen Benutzeroberfläche ist bevorzugt die bezüglich der grafischen Gestaltung sinngemäße, besonders bevorzugt identische Visualisierung von zumindest einem Teil, bevorzugt allen der — sich bevorzugt verändernden — grafischen Elemente der Benutzeroberfläche auf einem Bild- schirm.
Ein externes Anzeigegerät ist beispielsweise ein Computermonitor, ein LCD/Plasmafernseher, Projektoren (z.B. LCD), Head- up Displays, Head-mounted Displays, bevorzugt ein LCD-Fernseher. Die native Auflösung des externen Anzeigegerätes ist eine Auflösung, die der exakten physikalischen Auflösung (Pixelzahl) des Anzeigegerätes entspricht. Das native Seitenverhältnis ist das Seitenverhältnis (Anzahl der Pixel in der Breite geteilt durch Anzahl der Pixel in der Höhe) das exakt dem physikalischen Seitenverhältnis des Anzeigegerätes entspricht .
Die externe Recheneinheit ist eine weitere Recheneinheit. Diese ist bezüglich der tragbaren Recheneinheit extern. Die externe Recheneinheit ist z. B. ein Desktop-Computer, PC eine in eine Set-Top-Box integrierte Recheneinheit, ein Notebook/ Laptop, ein Server, ein entfernter Server etc.
Die Emulation ist bevorzugt die Ausführung eines Betriebssystems innerhalb eines anderen Betriebssystems in einer dafür vorgesehenen Emulationsumgebung. Eine Emulationsumgebung ist in der Regel ein Programm, das auf der Recheneinheit, auf der die Emulation durchgeführt wird, installiert ist/wird. Innerhalb der Emulationsumgebung wird dann das zu emulierende Betriebssystem bevorzugt installiert und ausgeführt. Das Emulieren des Betriebssystems ist bevorzugt ein Ausführen des Betriebssystems innerhalb der Emulationsumgebung. Bevorzugt stellt die Emulationsumgebung virtuelle Hardwarekomponenten, der Recheneinheit, dessen Betriebssystem emuliert wird, zur Verfügung. Beispielsweise sind dies virtuelle Eingabegeräte, welche bevorzugt durch die Emulationsumgebung gesteuert wer- den, so dass diese virtuellen Eingabegeräte sich so verhalten und Daten produzieren, als ob diese auch physikalisch vorhanden wären. Solche Eingabegeräte sind z.B. Sensoren der Recheneinheit, deren Betriebssystem emuliert wird, an dieser Recheneinheit angeschlossene Peripheriegeräte wie Maus, Tas- tatur und/oder integrierte Peripheriegeräte wie Kamera, Mik-
rofon, etc.
Das Emulieren des Betriebssystems der tragbaren Recheneinheit auf einer externen Recheneinheit ermöglicht, dass das Betriebssystem der tragbaren Recheneinheit ausgeführt werden kann ohne dass die Hardware der tragbaren Recheneinheit in der externen Recheneinheit physikalisch vorhanden ist. Dabei ist zudem die gewählte Rechenarchitektur der externen Recheneinheit bevorzugt unabhängig von der Rechenarchitektur der tragbaren Recheneinheit. Alternativ weist die externe Rechen- einheit bevorzugt einen Prozessor und/oder andere Hardwarekomponenten auf, die der Architektur der tragbaren Recheneinheit entsprechen. Auf diese Weise ist die Emulation leistungsfähiger, da nicht alle Anweisungen an die Hardware der Recheneinheit (z.B. Addierfunktionen) in den Befehlssatz ei- ner anderen Rechnerarchitektur übersetzt werden müssen.
Unter Benutzereingaben wird erfindungsgemäß z.B. verstanden: Eingaben über eine berührungsempfindliche Fläche (Touchpad), ein berührungsempfindliches Display, Maus, Tastatur, Bewegungssensor, Berührungssensor, Scanner, Datenlesegeräte, Po- sitionssensor (z.B. GPS) oder sonstige in eine Recheneinheit eingebbare Eingaben. Bevorzugt sind Benutzereingaben auch Eingaben, die durch eine Recheneinheit automatisiert vorgenommen werden, bei denen also ein Benutzer nicht zwingend in Interaktion steht. Beispielsweise sind dies automatisches Aufnehmen von Bildern über eine in der Recheneinheit integrierte Kamera oder aber automatisiertes Einlesen von Daten eines physikalisch oder über ein Netzwerk mit der Recheneinheit verbundenen Datenträgers, automatisierte Temperaturmessungen etc. Benutzereingaben in die tragbare Recheneinheit sind oben genannte Eingaben, die mit Hilfe der tragbaren Recheneinheit vorgenommen werden. Bevorzugt rufen diese Benutzereingaben Funktionen innerhalb des Betriebssystems der tragbaren Recheneinheit auf (z.B. Speichern von Daten, Blättern in Menüs, Erzeugen von bestimmten grafischen Ausgaben, Aufbauen von Te-
lefon und/oder Netzwerkverbindungen, etc.)«
Unter Übermitteln wird bevorzugt ein Transport von bevorzugt Daten von einer Quelle zu einer Senke verstanden, wobei bevorzugt auch Zwischenstationen (z.B. Netzwerkknoten, Schnitt- stellen zwischen Programmen) auf dem Transportweg liegen.
Das Übermitteln der Benutzereingaben an die Emulation ist bevorzugt ein Übertragen der Benutzereingaben als digitale und- /oder analoge Datenabfolge von der tragbaren Recheneinheit an die Emulation. Die Benutzereingaben werden bevorzugt so an die Emulation übermittelt, dass die Daten der Benutzereingaben den virtuellen Eingabegeräten in der Emulation zuordenbar sind. Z. B. wird der Datenabfolge eine Header-Information vorangestellt, welche die Art der Benutzereingabe kennzeichnet . Das Interpretieren der Benutzereingaben in der Emulation enthält bevorzugt den/die Schritt/Schritte
— Zuordnen der Benutzereingaben zu virtuellen Eingabegeräten in der Emulation und/oder
— Aufrufen von Funktionen/Programmen (wie z.B. Speichern von Daten, etc.) innerhalb des emulierten Betriebssystems gemäß der Art der jeweiligen Benutzereingabe.
Durch das Übermitteln der Benutzereingaben an die Emulation und das Interpretieren der Benutzereingaben in der Emulation werden bevorzugt die Ausführungszustände der Emulation und des Betriebssystems, das auf der tragbaren Recheneinheit ausgeführt wird, im Wesentlichen identisch gehalten. Ein Ausführungszustand ist durch eines oder mehrerer der folgenden Merkmale gekennzeichnet: Art und Anzahl der geöffneten Programme, Position eines Mauszeigers, angezeigte Fenster und/oder Texte und/oder Grafiken, Belegung des Arbeitsspeichers, Art und Anzahl angeschlossener Peripheriegeräte, Abspielzustand von Multimediadaten (Präsentationen, Videos, Audiodaten), etc. Bevorzugt werden einmalig oder wiederholt zusätzliche Daten zwischen der tragbaren und der externen Re- cheneinheit ausgetauscht, besonders bevorzugt von der tragba-
ren an die externe Recheneinheit gesendet. Diese Daten enthalten Informationen über den Ausführungszustand der tragbaren und/oder der externen Recheneinheit. Bevorzugt wird der Ausführungszustand der tragbaren und/oder der externen Re- cheneinheit über die zusätzlichen Daten angeglichen.
Die emulierte Benutzeroberfläche ist bevorzugt die grafische Ausgabe, welche durch die Emulation erzeugt wird. Die emulierte Benutzeroberfläche zeigt bevorzugt dieselben grafischen Elemente, Programmfenster und/oder Menüs wie die grafi- sehe Benutzeroberfläche der tragbaren Recheneinheit. Sie ist in ihrer grafischen Gestaltung bevorzugt ähnlich, besonders bevorzugt identisch zur grafischen Benutzeroberfläche der tragbaren Recheneinheit. Das Erzeugen einer emulierten Benutzeroberfläche erfolgt bevorzugt automatisch durch das Emu- lieren des Betriebssystems der tragbaren Recheneinheit, da dies bevorzugt eine Funktion der Emulationsumgebung darstellt. Bevorzugt besteht die emulierte Benutzeroberfläche nur aus einer Auswahl der grafischen Elemente der grafischen Benutzeroberfläche der tragbaren Recheneinheit (z. B. besteht die emulierte Benutzeroberfläche nur aus dem Fenster, das gerade ein abspielendes Video anzeigt).
Für das Übermitteln der emulierten Benutzeroberfläche in Form von Grafikdaten werden bevorzugt diese Grafikdaten durch die Emulationsumgebung erzeugt. Alternativ wird die emulierte Be- nutzeroberfläche auf der grafischen Benutzeroberfläche der externen Recheneinheit dargestellt und die grafische Benutzeroberfläche der externen Recheneinheit wird übermittelt. Im ersten Fall erfolgt die Übermittlung von direkt erzeugten Grafikdaten an das externe Anzeigegerät, im zweiten Fall eine Übermittlung von indirekt erzeugten Grafikdaten der emulierten Benutzeroberfläche.
Die Grafikdaten enthalten bevorzugt alle nötigen Informationen, um eine grafische Benutzeroberfläche auf dem externen Anzeigegerät darzustellen. Bevorzugt enthalten die Grafikda- ten nur die Informationen über Änderungen der emulierten Be-
nutzeroberflache zwischen zeitlich verschiedenen Zuständen (Übertragung von Differenzbildern). Bevorzugt wird ein jeweils aktuell gebräuchliches und/oder leistungsstarkes Bildkomprimierungs-, -kodierungs- und/oder Übertragungsverfahren 5 verwendet .
Das Darstellen der emulierten Benutzeroberfläche auf dem externen Anzeigegerät ist bevorzugt das Erzeugen eines Bildes auf dem externen Anzeigegerät, wobei das Bild der emulierten Benutzeroberfläche entspricht. Bevorzugt werden beim Darstellt) len der emulierten Benutzeroberfläche aus den Grafikdaten die notwendigen Informationen ausgelesen und die physikalischen Pixel des Anzeigegerätes werden entsprechend dieser Informationen angesteuert.
Auf diese Weise ist es bevorzugt möglich, ein im Wesentlichen
15 identisches Abbild des Betriebssystems, das auf einer tragbaren Recheneinheit ausgeführt wird, auf einer externen Recheneinheit zu schaffen und die grafische Ausgabe, die durch das parallel laufende, emulierte Betriebssystem erzeugt wird, auf einem weiteren (größeren) externen Anzeigegerät darzustellen.
20 Durch die Übermittlung der Benutzereingaben in die tragbare Recheneinheit werden bevorzugt sowohl das emulierte Betriebssystem als auch das auf der tragbaren Recheneinheit ablaufende Betriebssystem zur Laufzeit in im Wesentlichen identischen Ausführungszuständen gehalten. Ein Vorteil der Emulation ist
25 zum Beispiel, dass trotz der Darstellung auf einem externen, bevorzugt größeren und höher aufgelösten Anzeigegerät die Geschwindigkeit und Flüssigkeit der Programmabläufe und/oder der grafischen Darstellung beibehalten wird, denn die externe Recheneinheit weist aufgrund der verwendeten Prozessoren be-
30 vorzugt Leistungsreserven auf, so dass die Ausführung von
Programmen und/oder die Erzeugung von Grafikdaten in der Emulation mindestens in derselben Geschwindigkeit, bevorzugt schneller als auf der tragbaren Recheneinheit ist. Bevorzugt werden bei einer höheren Geschwindigkeit der Ausführung von
35 Programmen und/oder der Erzeugung von Grafikdaten in der externen Recheneinheit diejenigen zeitlichen Verzögerungen aus-
geglichen, die durch den Datentransport über ein Netzwerk entstehen, da aufgrund der höheren Geschwindigkeit der externen Recheneinheit zeitliche Reserven gegenüber dem Ausfüh- rungs- und Anzeigezustand der tragbaren Recheneinheit entste- hen.
In einem weiteren erfindungsgemäßen Verfahren wird zusätzlich der Schritt durchgeführt:
— Übermitteln von benutzerspezifischen Daten von der tragbaren Recheneinheit (20) an die Emulation (70). Benutzerspezifische Daten sind z.B.: Bilddateien, Musikdateien, E-Mails, gespeicherte Passwörter, Adress- bzw. Telefonbücher, Datenträgerinhalte, Verlaufsprofile ( Internetsurfprofi- le, Anrufprofile ) , Officedokumente, etc.
Bevorzugt erfolgt das Übermitteln zu automatisch oder durch den Benutzer der tragbaren Recheneinheit und/oder durch den Benutzer bzw. Betreiber der externen Recheneinheit bestimmten Zeitpunkten. Bevorzugt erfolgt ein Ermitteln immer dann, wenn sich benutzerspezifische Daten auf der tragbaren Recheneinheit ändern bzw. geändert haben. Auf diese Weise wird der Zustand der Personalisierung auf den Benutzer der tragbaren Recheneinheit auch in der Emulation erfasst und/oder weiterverfolgt. In der Emulation sind somit bevorzugt die wichtigsten, bevorzugt alle persönlichen Daten und Informationen verfügbar, die auch auf der tragbaren Re- cheneinheit verfügbar sind.
In einem weiteren erfindungsgemäßen Verfahren wird zusätzlich der Schritt durchgeführt:
— Feststellen, ob eine Auflösung und/oder ein Seitenverhältnis der emulierten Benutzeroberfläche (55) und/oder eines grafischen Elements (56) der emulierten Benutzeroberfläche
(55) ungleich der nativen Auflösung und/oder dem nativen Seitenverhältnis des externen Anzeigegeräts (20) oder durch einen Benutzer vorgegebenen Werten ist und somit die emulierte Benutzeroberfläche (55) und/oder das grafische Element (56)
in der Bildbreite oder in der Bildhöhe oder insgesamt nicht die gleiche Anzahl an Bildpunkten aufweist wie das externe Anzeigegerät (40);
und es wird im Falle einer festgestellten Ungleichheit zu- sätzlich einer der Schritte durchgeführt:
— Anpassen der Auflösung und/oder des Seitenverhältnisses der emulierten Benutzeroberfläche (55) und/oder des grafischen Elements (56) auf die native Auflösung und/oder das native Seitenverhältnis des externen Anzeigegeräts (40) oder auf durch den Benutzer vorgegebene Werte durch ein- oder zweidimensionale Durchführung eines Verfahrens oder einer Kombination von Verfahren aus der Gruppe Interpolation, Unterabtastung, Zuschneiden, Pillarboxing, Letterboxing;
— Erzeugen einer emulierten Benutzeroberfläche (55) der trag- baren Recheneinheit (20) mit der nativen Auflösung und/oder dem nativen Seitenverhältnis des externen Anzeigegerätes (40) oder mit durch den Benutzer vorgegebenen Werten.
Das Feststellen ist bevorzugt ein Vergleichen der Pixelanzahl und des Seitenverhältnisses der emulierten Benutzeroberfläche und/oder eines grafischen Elements mit der nativen Pixelanzahl und dem nativen Seitenverhältnis des externen Anzeigegerätes. Bevorzugt erfolgt das Feststellen in der Emulationsumgebung bzw. Emulationseinrichtung. Bevorzugt sendet das externe Anzeigegerät (bevorzugt auf Anfrage der externen Re- cheneinheit) Informationen, die zumindest Angaben über die native Auflösung und/oder das native Seitenverhältnis des externen Anzeigegeräts enthalten. Alternativ erfolgt das Feststellen in dem externen Anzeigegerät und oder einem dem externen Anzeigegerät vorgeschalteten Gerät (z.B. Set-Top-Box) und das Ergebnis des Feststellens und/oder die Auflösung und das Seitenverhältnis, in welcher die emulierte Benutzeroberfläche gewünscht wird (entweder durch Bestimmung des Benutzers oder aufgrund der nativen Auflösung und/oder des nativen Seitenverhältnisses des externen Anzeigegerätes) wird an die Emulation übermittelt. Bevorzugt erstellt die Emulation dann
eine emulierte Benutzeroberfläche, die diesen grafischen Anforderungen entspricht.
Bevorzugt wird festgestellt, ob das Seitenverhältnis und/oder die Auflösung der emulierten Benutzeroberfläche und/oder ei- nes grafischen Elements kleiner als die native Auflösung und/ oder das native Seitenverhältnis des externen Anzeigegerätes oder durch einen Benutzer vorgegebene Werte sind. Dementsprechend wird bevorzugt festgestellt, ob die emulierte Benutzeroberfläche und oder das grafische Programmelement weni- ger Bildpunkte aufweist als das externe Anzeigegerät.
Durch den Benutzer vorgegebene Werte enthalten bevorzugt eine Angabe zur Anzahl der Auflösung (z.B. Bildpunkte in Breite und Höhe) und/oder zu einem gewünschten Seitenverhältnis. Bevorzugt legt der Benutzer solche Werte über die tragbare Recheneinheit und/oder das externe Anzeigegerät und/oder über ein weiteres dem externen Anzeigegerät vorgeschaltetes Gerät fest.
Das Anpassen ist bevorzugt ein Schritt, der eine vorhandene Benutzeroberfläche für die Darstellung auf einem Anzeigegerät aufbereitet, welches eine andere Auflösung und ein anderes Seitenverhältnis nativ aufweist als die der Benutzeroberfläche .
Bei Interpolation werden bevorzugt Zwischenpixels eingefügt deren Färb- und/oder Intensitätswerte von den sie umgebenden Bildpixels abhängen. Bei Pillarboxing werden bevorzugt schwarze (oder anders farbige) Balken rechts und links neben das Bild gesetzt, beim Letterboxing ober- und unterhalb des Bildes. Die eben genannten Verfahren werden bevorzugt zur Darstellung und zum Anpassen einer Benutzeroberfläche auf dem externen Anzeigegerät verwendet, wenn die emulierte Benutzeroberfläche eine geringere Anzahl an Bildpunkten aufweist, wie die physikalischen Bildpunkte des externen Anzeigegeräts. Bei Unterabtastung wird z.B. nur jedes zweite Pixel verwendet, um ein neues Bild zu erzeugen. Dieses neue Bild weist dann nur noch die Hälfte der Bildpunkte auf. Beim Zu-
schneiden werden bevorzugt Randpixel abgeschnitten. Diese beiden eben genannten Verfahren werden bevorzugt verwendet, wenn die emulierte Benutzeroberfläche mehr Pixels aufweist als die native Auflösung des externen Anzeigegeräts. Diese Verfahren sind dem Fachmann hinlänglich bekannt.
In einem weiteren erfindungsgemäßen Verfahren wird beim Erzeugen der emulierten Benutzeroberfläche ( 55 ) die emulierte Benutzeroberfläche ( 55 ) bereits mit der Auflösung und dem Seitenverhältnis erzeugt, die gleich der nativen Auflösung und dem nativen Seitenverhältnis des externen Anzeigegeräts ( 40 ) oder gleich durch den Benutzer vorgegebenen Werten sind, und somit weist die emulierte Benutzeroberfläche ( 55 ) so viele Bildpunkte in der Bildbreite und der Bildhöhe auf wie die Anzahl der mit dem externen Anzeigegerät ( 40 ) dar- stellbaren Bildpunkte.
In einem weiteren erfindungsgemäßen Verfahren werden zusätzlich die Schritte durchgeführt:
— Suchen im Internet und/oder in dafür bereitgestellten Software-Quellen ( 600 ) nach einer Programmversion für ein Pro- gramm, das auf der tragbaren Recheneinheit ( 20 ) zur Verfügung steht, und
— Verwenden der aufgefundenen Programmversion in der Emulation ( 70 ) ,
wobei die Programmversion für eine Auflösung und ein Seiten- Verhältnis ausgelegt ist, welche die native Auflösung und das native Seitenverhältnis des externen Anzeigegeräts ( 40 ) ausnutzen, indem die jeweilige Programmversion mindestens ein grafisches Element ( 56 ) erzeugt, das mindestens so viele Bildpunkte in der Bildbreite und der Bildhöhe aufweist wie die Anzahl der mit dem externen Anzeigegerät ( 40 ) darstellbaren Bildpunkte.
Programme, die auf der tragbaren Rechnereinheit zur Verfügung stehen, sind bevorzugt so genannte Apps. Das Suchen wird bevorzugt durch die externe Recheneinheit, und dort bevorzugt durch die Emulationsumgebung durchgeführt.
Die Sof warequellen werden bevorzugt auf einem Datenträger und/oder einem bestimmten Server im Internet zur Verfügung gestellt.
In einem weiteren erfindungsgemäßen Verfahren werden zusätz- lieh die Schritte durchgeführt:
— Eingeben von Benutzereingaben (80') in das externe Anzeigegerät (40) und/oder ein dem externen Anzeigegerät vorgeschaltetes Gerät,
— Übermitteln der Benutzereingaben (80') in das externe An- zeigegerät (40) und/oder in das dem externen Anzeigegerät vorgeschaltete Gerät an die Emulation (70) und bevorzugt an die tragbare Recheneinheit (20) und
— Interpretieren der Benutzereingaben (80') in der Emulation (70) und/oder bevorzugt in der tragbaren Rechenein- heit (20).
Benutzereingaben in das externe Anzeigegerät und/oder ein dem externen Anzeigegerät vorgeschaltetes Gerät sind z.B. Eingaben mit einer Fernbedienung, Eingaben über Berührungssensoren (z.B. ein berührungsempfindliches Touchdisplay ) in dem exter- nen Anzeigegerät, Aufnahme von Bildern mit einer in dem externen Anzeigegerät integrierten Kamera, und auch Arten von Eingaben, die in Verbindung mit Benutzereingaben in die tragbare Recheneinheit genannt wurden und sonstige andere Eingabemöglichkeiten . Das Interpretieren der Benutzereingaben in das externe Anzeigegerät in der Emulation erfolgt bevorzugt parallel zum Interpretieren der Benutzereingaben in die tragbare Recheneinheit in der Emulation. Bevorzugt werden entweder die Benutzereingaben in das externe Anzeigegerät oder die Benutzerein- gaben in die tragbare Recheneinheit priorisiert interpretiert. Durch das Interpretieren der Benutzereingaben in das externe Anzeigegerät in der tragbaren Recheneinheit ist es bevorzugt möglich, die tragbare Recheneinheit durch Eingabe in das externe Anzeigegerät zu steuern. Auch hier wird bevor- zugt eine Priorisierung der direkten Benutzereingaben in die
tragbare Recheneinheit und der Benutzereingaben in das externe Anzeigegerät vorgenommen.
In einem weiteren erfindungsgemäßen Verfahren erfolgt das Ü- bermitteln der Benutzereingaben (80, 80') und/oder der Gra- fikdaten (50) zumindest teilweise per Funk (90).
Als Funktechnologie kommt bevorzugt z.B. in Frage: W-LA , Bluetooth, analoge Funkübertragung, ZigBee, Infrarot, UMTS, GSM, GPRS etc.
In einem weiteren erfindungsgemäßen Verfahren erfolgt das Ü- bermitteln der Benutzereingaben (80, 80') und/oder das Übermitteln der Grafikdaten (50) zumindest teilweise über ein Netzwerk (120), bevorzugt ein Kabelfernsehnetzwerk (120').
Weiterhin bevorzugt als Netzwerk sind ein Heimnetzwerk und/oder das Internet. Zum Beispiel kommuniziert die tragbare Recheneinheit über ein Heim-WLAN mit einem Heim-WLAN-Router und dieser Heim-WLAN-Router kommuniziert mit einer als Set- Top-Box gestalteten externen Recheneinheit oder mit einer Set-Top-Box, welche über ein weiteres Netzwerk (Internet und/oder Kabelfernsehnetzwerk) mit einer als Server gestalte- ten externen Recheneinheit kommuniziert.
In einem weiteren erfindungsgemäßen Verfahren wird zusätzlich zu einem vorhergehenden Verfahren der Schritt durchgeführt: — Kombinieren der emulierten Benutzeroberfläche mit grafischen Elementen mindestens einer anderen Quelle, die grafi- sehe Ausgaben erzeugt.
Eine andere Quelle, die grafische Ausgaben erzeugt, ist zum Beispiel eine aus der Gruppe: TV-Empfänger, Videorecorder, DVD-Player (diese erzeugen analoge/digitale Grafikdaten für ein Videobild), Desktop-Computer, Multimediacenter (diese er- zeugen z.B. auch eigene Benutzeroberflächen).
Das Kombinieren ist bevorzugt ein Anordnen der emulierten Benutzeroberfläche und der grafischen Ausgabe andere(r) Quellenin) auf dem Anzeigebereich des externen Anzeigegeräts und
beinhaltet besonders bevorzugt mindestens eine Aktion aus der folgende Gruppe, wobei die Aktionen bezüglich der emulierten Benutzeroberfläche und/oder der grafischen Ausgabe der anderein) Quelle (n) durchgeführt werden: Vergrößern und/oder Ver- kleinern, Verschieben, Übereinanderlegen bzw. überlagern,
Drehen, Spiegeln, Transparenz einstellen, Ausrichten an einem Raster.
Der Schritt des Kombinierens erfolgt bevorzugt in der externen Recheneinheit, bevorzugt in einer als Set-Top-Box ausges- talteten Einheit, die mit der externen Recheneinheit kommuniziert.
Auf diese Weise ist es möglich, die grafische Darstellung verschiedener Medien zusammen mit der Darstellung der emulierten Benutzeroberfläche zu vereinen. Zum Beispiel kann ein Benutzer dann eine Email mit seinem Smartphone verschicken und er bekommt das Bearbeitungsfenster groß (im Vergleich zur direkten Anzeige des Smartphones) auf dem externen Anzeigegerät angezeigt, während andere Inhalte wie zum Beispiel eine Fernsehsendung auf dem externen Anzeigegerät gleichzeitig auch angezeigt werden.
In einem weiteren erfindungsgemäßen Verfahren wird ein Teil oder die Gesamtheit der bisher beschriebenen Verfahrenschritte zusätzlich für die Darstellung der Benutzeroberfläche mindestens einer weiteren tragbaren Recheneinheit (20.1) auf dem externen Anzeigegerät (40) und/oder einem weiteren externen Anzeigegerät (40.1) durchgeführt, indem mindestens die
Schritte durchgeführt werden
— Emulieren des Betriebssystems der tragbaren Recheneinheit (20.1) auf der externen Recheneinheit (60) in einer wei- teren Emulation (70.1);
— Eingeben von weiteren Benutzereingaben (80.1) in die tragbare Recheneinheit (20.1);
— Übermitteln der Benutzereingaben (80.1) an die Emulation (70.1);
— Interpretieren der Benutzereingaben (80.1) in der Emulati-
on (70.1);
— Erzeugen einer weiteren emulierten Benutzeroberfläche (55.1) der tragbaren Recheneinheit (20.1);
— Übermitteln der emulierten Benutzeroberfläche (55.1) in Form von weiteren Grafikdaten (50.1) an das externe Anzeigegerät (40 und/oder 40.1);
— Darstellen der emulierten Benutzeroberfläche (55.1) auf dem externen Anzeigegerät (40 und/oder 40.1).
Bevorzugt werden damit die Benutzeroberflächen einer Vielzahl verschiedener tragbarer Recheneinheiten auf demselben externen Anzeigegerät und/oder auf einem weiteren externen Anzeigegerät dargestellt. Bevorzugt erfolgt die Darstellung auf demselben externen Anzeigegerät gemäß einer Priorität
und/oder einer manuellen oder automatischen ümschaltung. Beispielsweise wird bei Nichtaktivität eines Smartphones dessen Benutzeroberfläche nicht mehr dargestellt und die Benutzeroberfläche eines aktiven anderen Smartphones wird dann anstelle der des nicht aktiven Smartphones dargestellt. Bevorzugt erfolgt das Emulieren in einer weiteren Emulation auf einem zentralen Server. Bevorzugt kommuniziert dieser über
Netzwerkschnittstellen mit verschiedenen, den externen Anzeigeräten vorgeschalteten Geräten, welche die erfindungsgemäß notwendigen Schnittstellen (z.B. Set-Top-Boxen mit Netzwerkschnittstelle, Eingabeschnittstelle für Benutzereingaben in eine tragbare Recheneinheit, Grafikschnittstelle) aufweisen.
Die Aufgabe wird weiterhin gelöst durch eine Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit (20) auf einem externen Anzeigegerät (40), umfassend
a) eine externe Recheneinheit (60) mit einer Emulationseinrichtung (700), wobei die Emulationseinrichtung (700)
— Programmcode zur Emulation (70) eines Betriebssystems der tragbaren Recheneinheit (20) aufweist,
— eine Einrichtung (720) zur Weitervermittlung von Benutzer- eingaben (80) in die tragbare Recheneinheit (20) von einer
Eingabeschnittstelle (800) an die Emulation (70) aufweist,
— eine Einrichtung (740) zur Weitervermittlung von Grafikdaten (50) für eine emulierte Benutzeroberfläche (55) der tragbaren Recheneinheit (20) von der Emulation (70) zu einer Grafikschnittstelle (500) aufweist
und wobei in der Emulation (70)
— die Benutzereingaben (80) interpretierbar sind,
— die Grafikdaten (50) für eine emulierte Benutzeroberfläche (55) der tragbaren Recheneinheit (20) erzeugbar sind; weiterhin umfassend
b) die Eingabeschnittstelle (800) zur Übermittlung der Benutzereingaben (80) von der tragbaren Recheneinheit (20) an die Emulation (70);
weiterhin umfassend
c) die Grafikschnittstelle (500) zur Übermittlung der Grafik- daten (50) von der Emulation (70) an das externe Anzeigegerät (40).
Die Emulationseinrichtung ist bevorzugt eine Einrichtung, in welcher ein Betriebssystem emulierbar ist, ohne dass hierzu physikalisch die Hardware des Geräts, für welches dieses Be- triebssystem ausgelegt ist, vorhanden sein muss. Eine Emulationseinrichtung ist z.B. eine Emulationsumgebung die von verschiedenen Softwareherstellern angeboten wird (z.B. VMWa- re, VirtualBox, etc.). Bevorzugt ist sie eingerichtet, mehrere Emulationen auszuführen. Der Programmcode zur Emulation eines Betriebssystems der tragbaren Recheneinheit ist bevorzugt eine Kopie des Betriebssystemprogrammcode, welcher auch auf der tragbaren Recheneinheit zur Verfügung steht.
Eine Einrichtung zur Weitervermittlung von Benutzereingaben in die tragbare Recheneinheit stellt bevorzugt eine Schnittstelle dar, welche es erlaubt, Benutzereingaben von außerhalb in die Emulation zu übergeben. Besonders bevorzugt ist diese Einrichtung eine Softwareschnittstelle, die in der Emulationsumgebung vorgesehen ist.
Die Eingabeschnittstelle ist bevorzugt eingerichtet, Eingabe in die tragbare Recheneinheit zu empfangen. Die Eingabeschnittstelle ist bevorzugt in der externen Recheneinheit, besonders bevorzugt in einem dem externen Anzeigegerät vorge schalteten Gerät (z.B. Set-Top-Box) angeordnet.
Die Einrichtung zur Weitervermittlung von Grafikdaten ist be vorzugt eingerichtet, Grafikdaten von der Emulation zu empfangen und diese an eine Grafikschnittstelle weiterzuleiten. Besonders bevorzugt ist diese Einrichtung eine Software- schnittsteile, die in der Emulationsumgebung vorgesehen ist.
Die Grafikschnittstelle ist bevorzugt eingerichtet die Grafikdaten von der Emulation zu empfangen. Bevorzugt wandelt die Grafikschnittstelle die Grafikdaten in ein für das exter ne Anzeigegerät lesbares Format um. Interpretierbar sind Benutzereingaben bevorzugt dann, wenn die Emulation die Benutzereingaben erkennt und daraufhin Aktionen ausführen bzw. Funktionen durchführen kann, die mit diesen Benutzereingaben beabsichtigt sind.
Die Emulationseinrichtung ist bevorzugt eingerichtet, in Zu- sammenwirken mit der Emulation Grafikdaten zu erzeugen und besonders bevorzugt diese Grafikdaten in einer für eine Grafikschnittstelle (z.B. Grafikkarte) verwertbaren Form weiter zuleiten. Besonders bevorzugt ist die Emulationseinrichtung eingerichtet, die emulierte Benutzeroberfläche auf der Be- nutzeroberfläche des Betriebssystems der externen Recheneinheit anzuzeigen.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfin dung ist die tragbare Recheneinheit (20) ein Smartphone, ein Tablet-Computer oder ein Personal Digital Assistant (PDA). In einem weiteren Ausführungsbeispiel der vorliegenden Erfin dung weist die Vorrichtung
— eine Eingabeschnittstelle (800') zur Übermittlung von Benutzereingaben (80') in das externe Anzeigegerät (40)
und/oder in ein dem externen Anzeigegerät vorgeschaltetes Gerät von dem externen Anzeigegerät ( 40 ) und/oder von dem dem externen Anzeigegerät vorgeschalteten Gerät zur Emulation ( 70 ) und/oder zur tragbaren Recheneinheit ( 20 ) auf und die Emulationseinrichtung ( 700 ) weist
— eine Einrichtung ( 760 ) zur Weitervermittlung der Benutzereingaben ( 80 ' ) in das externe Anzeigegerät ( 40 ) und/oder in das dem externen Anzeigegerät vorgeschaltete Gerät von der Eingabeschnittstelle ( 800 ' ) an die Emulation ( 70 ) auf. Die Eingabeschnittstelle zur Übermittlung von Benutzereingaben in das externe Anzeigegerät und/oder in ein dem externen Anzeigegerät vorgeschaltetes Gerät von dem externen Anzeigegerät zur Emulation ist bevorzugt eingerichtet, Benutzereingaben aus der Richtung des externen Anzeigegerätes zu empfan- gen und diese an die Emulation und/oder bevorzugt über die
Eingabeschnittstelle zur Übermittlung der Benutzereingaben in eine tragbare Recheneinheit an die tragbare Recheneinheit weiterzuleiten. Durch diese Eingabeschnittstelle ist die Emulation auch durch Benutzereingaben in das externen Anzeigege- räts steuerbar und/oder die tragbare Recheneinheit ist durch Benutzereingaben in das externe Anzeigegerät steuerbar. Die Eingabeschnittstelle ist bevorzugt in der externen Recheneinheit, besonders bevorzugt in einem dem externen Anzeigegerät vorgeschalteten Gerät (z.B. Set-Top-Box) angeordnet. Bevor- zugt ist die Eingabeschnittstelle eingerichtet, alternativ oder zusätzlich zu Benutzereingaben in das externe Anzeigegerät andere Benutzereingaben an die Emulation und/oder an die tragbare Recheneinheit zu übermitteln. Die anderen Benutzereingaben stammen bevorzugt von einem direkt mit
dem vorgeschalteten Gerät in Verbindung stehenden Eingabegerät (z. B. Funkmaus, Funktastatur, IR-/Funk-Fernsteuerung) . Das dem externen Anzeigegerät vorgeschaltete Gerät ist z.B. eine Set-Top-Box, in welcher Eingabe-, Grafik- und/oder Netzwerkschnittstellen der Vorrichtung integriert sind. Es ist bevorzugt über eine Grafikschnittstelle dem externen Anzeigegerät vorgeschaltet.
Die Einrichtung zur Weitervermittlung der Benutzereingaben in das externe Anzeigegerät von der Eingabeschnittstelle in eine Emulation ist bevorzugt eine in Software implementierte
Schnittstelle, die in der Emulationsumgebung integriert ist. In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung weist die Vorrichtung eine Funkeinrichtung (100) aufweist, welche eingerichtet ist, die Benutzereingaben (80, 80') und/oder die Grafikdaten (50) zu übertragen.
Bevorzugt ist die Funkeinrichtung für die drahtlose Kommuni- kation mit der tragbaren Recheneinheit und/oder mit dem externen Anzeigegerät eingerichtet, besonders bevorzugt zur Ersetzung von leitungsgebundener Kommunikation zwischen den in der Vorrichtung verwendeten verschiedenen Schnittstellen.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfin- dung weist die Vorrichtung zusätzlich mindestens zwei Netzwerkschnittstellen (1200) auf und die externe Recheneinheit (60) ist räumlich von den vorhandenen Eingabeschnittstellen (800, 800') und der Grafikschnittstelle (500) getrennt und mit diesen über ein Netzwerk (120), bevorzugt ein Kabelnetzwerk, und über die Netzwerkschnittstellen (1200) verbunden.
Eine Netzwerkschnittstelle ist bevorzugt eine Netzwerkkarte mit Ethernetanschluss , besonders eine Netzwerkkarte zur drahtlosen Übertragung (z. B. W-LAN), ganz besonders bevor- zugt eine Netzwerkschnittstelle speziell für ein Koaxialkabelnetzwerk (z. B. Netzwerkschnittstelle für Fernsehkabel).
Bevorzugt befindet sich die externe Recheneinheit in einem anderen Raum, ganz bevorzugt in einem anderen Gebäude als die vorhandenen Eingabeschnittstellen und die Grafikschnittstel- le, ganz besonders bevorzugt in einem Knoten- oder Endpunkt eines Kabelnetzwerks (z.B. Kopfstation). Weiterhin auch bevorzugt befindet sich die externe Recheneinheit in einem zentralen Serverraum.
Bevorzugt ist eine oder mehrere der Komponenten Grafikschnittstelle, vorhandene Eingabeschnittstellen, Netzwerkschnittstellen und Funkeinrichtung zumindest teilweise in einer Set-Top-Box, bevorzugt im externen Anzeigegerät integ- riert.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung weist die Vorrichtung zusätzlich zu den bisher genannten Vorrichtungsmerkmalen Medienquellen und/oder Schnittstellen für andere Medienquellen auf, die bevorzugt grafische Daten erzeugen. Zum Beispiel weist die Set-Top-Box einen TV- Empfänger auf und/oder einen zusätzlichen Videoeingang und/oder eine Recheneinheit, die zur Verwaltung verschiedener Medien eingerichtet ist und eine eigene Benutzeroberfläche erzeugt, wobei in der letztgenannten Benutzeroberfläche be- vorzugt die grafischen Ausgaben verschiedenen Medienquellen vereint darstellbar sind.
In einem weiteren Ausführungsbeispiel der vorliegenden Erfindung und/oder in einem weiteren erfindungsgemäßen Verfahren stellen die Benutzereingaben (80, 80') Daten von mindestens — einem Berührungssensor, bevorzugt einem berührungsempfindlichem Bildschirm und/oder
— einem Temperatursensor und/oder
— einem Positionssensor und/oder
— einem Beschleunigungssensor und/oder
— einem Kameramodul und/oder
— einer Tastatur und/oder
— einer Computermaus und/oder
— einem Mikrofonmodul und/oder
— von einem mit der tragbaren Recheneinheit (20) und/oder mit dem externen Anzeigegerät (40) und/oder mit dem dem externen
Anzeigegerät (40) vorgeschalteten Gerät verbindbaren Peripheriegerät
dar.
Die Erfindung soll nun anhand von Zeichnungen beispielhaft weiter veranschaulicht werden. Hierbei zeigen:
Figur 1 eine Übersicht und Veranschaulichung des erfindungsgemäßen Verfahrens sowie der Vorrichtung, wobei die grafische Oberfläche eines Smartphones auf einem Fernsehgerät vergrößert dargestellt wird, Figur 2 eine Übersicht und Veranschaulichung des erfindungsgemäßen Verfahrens sowie der Vorrichtung, wobei ein Benutzer Benutzereingaben in das externe Anzeigegerät vornimmt und diese sowohl die Emulation als auch die tragbare Recheneinheit steuern, Figur 3 eine Übersicht und Veranschaulichung ähnlich der von Figur 2 mit dem Unterschied, dass zwischen dem externen Anzeigegerät und der externen Recheneinheit drahtlose Kommunikation verwendet wird und zudem die externe Recheneinheit an eine Software- quelle angeschlossen ist,
Figur 4 eine Übersicht bzw. Veranschaulichung ähnlich der von Figur 3, wobei die Eingabeschnittstellen und die Grafikschnittstelle räumlich von der externen Recheneinheit getrennt sind und über Netzwerk- schnittsteilen mit der externen Recheneinheit kommunizieren und wobei das Betriebssystem einer weiteren tragbaren Recheneinheit emuliert und die e- mulierte Benutzeroberfläche dargestellt wird.
Figur 1 zeigt eine Übersicht und Veranschaulichung des erfin- dungsgemäßen Verfahrens sowie der Vorrichtung, wobei die grafische Oberfläche eines Smartphones 20 auf einem Fernsehgerät 40 als externes Anzeigegerät vergrößert dargestellt wird. Sie zeigt einen Benutzer, der ein Smartphone 20 bedient. Eine externe Recheneinheit 60 dient als Hostrechner (Rechner, auf dem eine Emulation 70 ausgeführt wird) . Die externe Recheneinheit 60 ist in diesem Fall ein normaler Desktop-Computer. Sie weist außerdem eine Emulationseinrichtung 700 auf, in diesem Beispiel eine Virtualisierungsumgebung bzw. Virtuali- sierungssoftware . Innerhalb dieser Software befindet sich ei- ne virtuelle Maschine, mit dem dazugehörigen Betriebssystem.
Die virtuelle Maschine und das dazugehörige Betriebssystem bilden im ausgeführten Zustand die Emulation 70. Diese erzeugt eine emulierte grafische Oberfläche 55. Die Emulationssoftware 700 weist zwei Schnittstellen 720 und 740 auf. Die Schnittstelle 720 ist eine Einrichtung zur Weitervermittlung von Benutzereingaben 80 in das Smartphone 20 an die Emulation 70. Die Schnittstelle 740 ist eine Einrichtung zur Weitervermittlung von Grafikdaten 50 von der Emulation 70 an die Grafikschnittstelle 500. Die externe Recheneinheit 60 weist au- ßerdem eine Eingabeschnittstelle 800 auf. Diese ist mit einer Funkeinrichtung 100 verbunden. Weiterhin weist die externe Recheneinheit 60 eine Grafikschnittstelle 500 auf, diese Grafikschnittstelle ist eingerichtet, Grafikdaten 50 von der E- mulation über die Schnittstelle 740 zu empfangen und diese an einen Grafikausgang weiterzuleiten. An diesem Grafikausgang ist das externe Anzeigegerät 40 angeschlossen. Auf dem externen Anzeigegerät 40 wird die emulierte Benutzeroberfläche 55 des Smartphones vergrößert dargestellt.
Im Betrieb der Vorrichtung bedient der Benutzer das Smartpho- ne 20. Die Benutzereingaben 80, die bei der Bedienung durch das Smartphone 20 registriert werden, werden per Funk 90 an die Funkeinrichtung 100 übertragen. Dort werden sie empfangen und an die Eingabeschnittstelle 800 weitergeleitet. Diese ü- bermittelt diese Benutzereingaben 80 über die Schnittstelle 720 an die Emulation 70. In der Emulation 70 werden diese Benutzereingaben ausgewertet und Befehle (wie z.B. Mauszeigerbewegungen, das Öffnen von Programmen, etc.), die der Benutzer auf dem Smartphone 20 durchgeführt hat, werden auch in der Emulation 70 durchgeführt. Die Emulation 70 erzeugt die Grafikdaten 50 der emulierten Benutzeroberfläche 55 und leitet diese über die Schnittstelle 740 an die Grafikschnittstelle 500 weiter. Die Grafikschnittstelle 500 bereitet diese Grafikdaten 50 für das Anzeigegerät 40 auf. Nach einer im Anzeigegerät 40 weiter erfolgten, für dieses Gerät spezifischen Datenvorverarbeitung wird eine emulierte Benutzeroberfläche 55 aus den Grafikdaten 50 dargestellt. In diesem Beispiel erfolgt zudem eine zusätzliche Visualisierung der Benutzerein-
gaben 80, indem die Bedienung über die Touchpadfunktion des Smartphones 20 in der Emulation 70 durch einen Mauszeiger vi- sualisiert wird und dieser dementsprechend auch auf der emulierten Benutzeroberfläche 55 zu sehen ist. Die Benutzerober- fläche 55 wird durch Interpolation vergrößert. Alternativ wird in der Emulation 70 eine emulierte grafische Benutzeroberfläche 55 mit einer Auflösung und einem Seitenverhältnis erzeugt, das der nativen Auflösung und dem nativen Seitenverhältnis des externen Anzeigegeräts 40 entspricht. Auf diese Weise kann der Benutzer zeitgleich zur visuellen Ausgabe des Smartphones 20 eine vergrößerte und gegebenenfalls sogar höher aufgelöste Version der Benutzeroberfläche seines Smartphones auf dem externen Anzeigegerät 40 betrachten. Weiterhin hat dies den Vorteil, dass nicht nur er son- dern auch zeitgleich mehrere Benutzer komfortabel das Geschehen auf dem Smartphone 20 mitverfolgen können, so z.B. das Ablaufen eines Films oder Videoclips.
Figur 2 zeigt eine Übersicht und Veranschaulichung des erfindungsgemäßen Verfahrens sowie der Vorrichtung, wobei ein Be- nutzer Benutzereingaben 80' in das externe Anzeigegerät 40 vornimmt und diese sowohl die Emulation 70 als auch die tragbare Recheneinheit 20 steuern. Im Unterschied zu Figur 1 ist die externe Recheneinheit 60 eine Set-Top-Box. Zudem weist die externe Recheneinheit 60 eine Eingabeschnittstelle 800' auf. Diese ist eingerichtet, Benutzereingaben 80' in das externe Anzeigegerät 40 zu empfangen und über eine Schnittstelle 760 an die Emulation 70 sowie an die Eingabeschnittstelle 800 weiterzuleiten. Die Schnittstelle 760 ist eine Einrichtung zur Weiterleitung von Benutzereingaben 80' in das exter- ne Anzeigegerät 40 an die Emulation 70. In diesem Fall ist die Eingabeschnittstelle 800 auch zusätzlich eingerichtet, Benutzereingaben 80' zu empfangen und an das Smartphone 20 weiterzuleiten. In diesem Fall erfolgt die Weiterleitung zusätzlich über die Funkeinrichtung 100 per Funk 90.
Im Betrieb der Vorrichtung kann derselbe oder ein anderer Benutzer nun über das externe Anzeigegerät 40 Benutzereingaben 80' vornehmen. Diese Benutzereingaben 80' werden dann an die Eingabeschnittstelle 800' weitergeleitet, diese wiederum lei- tet sie über die Schnittstelle 760 an die Emulation 70 weiter. Dort rufen diese Benutzereingaben 80' gleichermaßen wie Benutzereingaben 80 Aktionen bzw. Programmaufrufe etc. hervor. Weiterhin werden die Benutzereingaben 80' auch an die Eingabeschnittstelle 800 weitergeleitet, die wiederum die Be- nutzereingaben 80' an das Smartphone 20 weiterleitet. In dem Smartphone 20 werden die Benutzereingaben 80' erkannt und Funktionen und Aktionen werden aufgrund der Benutzereingaben 80' dort auch durchgeführt.
Auf diese Weise kann ein Benutzer mit einem geeigneten Anzei- gegerät 40 sein Smartphone 20 sogar "fremdsteuern" bzw. fernsteuern. Es können aber auch mehrere Benutzer gleichzeitig kooperativ arbeiten. Zur Verhinderung einer ungewollten
Fremdsteuerung sind entsprechende Prioritätsrechte und oder Steuerungsberechtigungen modifizierbar. Figur 3 zeigt eine Übersicht und Veranschaulichung ähnlich der von Figur 2 mit dem Unterschied, dass zwischen dem externen Anzeigegerät 40 und der externen Recheneinheit 60 drahtlose Kommunikation verwendet wird und zudem die externe Recheneinheit 60 an eine Softwarequelle 600 angeschlossen ist. In dieser Figur ist das externe Anzeigegerät 40 per Funk 90 mit der externen Recheneinheit 60 über die Funkeinrichtung 100 verbunden. Die Schnittstellen 720, 740 und 760 sind aus Gründen der Übersichtlichkeit hier nicht noch einmal aufgeführt. Weiterhin ist eine Softwarequelle 600 an die externe Recheneinheit angeschlossen. In diesem Fall ist es ein USB- Festplattenlaufwerk. Auf dem USB-Laufwerk befinden sich Programme für das Smartphone 20 in Versionen, die eine Auflösung und ein Seitenverhältnis liefern, welche dem nativen Seitenverhältnis und der nativen Auflösung des externen Anzeigege- räts 40 entsprechen.
Im Betrieb der Vorrichtung sucht die Emulationseinrichtung 700 nach Programmversionen auf der Festplatte 600, die eine Auflösung und/oder ein Seitenverhältnis bieten, welche größer als die der Benutzeroberfläche des Smartphones 20 sind. Ide- alerweise findet die Emulationseinrichtung 700 eine Programmversion, welche grafische Elemente 56 erzeugt, die eine Auflösung und ein Seitenverhältnis aufweisen, welche der nativen Auflösung und dem nativen Seitenverhältnis des externen Anzeigegeräts 40 entsprechen. Ansonsten wird die bestmögliche (die am höchsten aufgelöste) Version ausgewählt. Wenn der Benutzer des Smartphones 20 oder der Benutzer an dem externen Anzeigegerät 40 ein Programm öffnen möchte, so wird diese ausgesuchte Programmversion geöffnet. Um die grafische Benutzeroberfläche 55 auf dem externen Anzeigegerät 40 trotz nicht auffindbarer optimaler Programmversion groß darzustellen, wird die emulierte Benutzeroberfläche 55 interpoliert. Das Interpolieren erfolgt entweder durch die Emulationseinrichtung 700, die Grafikschnittstelle 500, oder das Anzeigegerät 40 selbst. Weiterhin werden die Grafikdaten 50 sowie die Benutzereingaben 80' in das externe Anzeigegerät 40 per Funk zu der externen Recheneinheit 60 übertragen.
Auf diese Weise können Programme, für die höher aufgelöste Versionen existieren, automatisch ausgewählt und dargestellt werden und die Programme müssen nicht schon in der höher auf- gelösten Version auf dem Smartphone 20 installiert sein.
Figur 4 zeigt eine Übersicht bzw. Veranschaulichung ähnlich der von Figur 3, wobei die Eingabeschnittstellen 800, 800', die Funkeinrichtung 100 und die Grafikschnittstelle 500 räumlich von der externen Recheneinheit 60 getrennt sind und über Netzwerkschnittstellen 1200 mit der externen Recheneinheit 60 kommunizieren bzw. verbunden sind und wobei das Betriebssystem einer weiteren tragbare Recheneinheit 20.1 emuliert und dargestellt wird. Eine Netzwerkschnittstelle 1200, die Eingabeschnittstelle 800, die Grafikschnittstelle 500 und die Funkeinrichtung 100 bilden in diesem Fall eine Set-Top-Box, die über ein Kabel für Grafikdaten 50 mit dem externen Anzei-
gegerät 40 verbunden ist. Dieselben Komponenten existieren auch für die Emulation 70.1 der weiteren Recheneinheit 20.1 und sind jeweils mit einer zusätzlichen „.1" hinter dem Bezugszeichen gekennzeichnet. Zwischen der externen Rechenein- heit 60 und den Set-Top-Boxen liegt ein Koaxialkabelfernsehnetz 120 und Teile des Internets. In diesem Fall ist die externe Recheneinheit 60 mit einer Emulationseinrichtung 700 ausgestattet, in welcher mehrere Emulationen 70, 70.1, 70.2 ausführbar sind. Die Grafikdaten 50, 50.1, die mit diesen verschiedenen Emulationen erzeugbar sind, sind an jedes bekannte externe Anzeiggeräte 40, 40.1 versendbar.
Im Betrieb der Vorrichtung bedienen die Benutzer die
Smartphones 20, 20.1 bzw. das externe Anzeigegerät 40.1 und die Benutzereingaben 80, 80.1, 80.1' werden an die Set-Top- Boxen gesendet. Die Set-Top-Boxen erkennen anhand der Benutzereingaben 80, 80.1, 80.1' den Typ der tragbaren Recheneinheit 20, 20.1 und senden diesen Typ mit an die externe Recheneinheit 60. In der externen Recheneinheit werden verschiedene Emulationen 70, 70.1, 70.2 ausgeführt. Die externe Recheneinheit 60 erkennt anhand des Typs, welche Emulation 70, 70.1, 70.2 dieser tragbaren Recheneinheit 20, 20.1 zugeordnet ist und leitet diese Benutzereingaben 80, 80.1, 80.1' an die entsprechende Emulation 70, 70.1 weiter. Die Grafikdaten 50, 50.1 werden sodann zu der Set-Top-Box gesendet, von welcher die Benutzereingaben 80, 80.1, 80.1' empfangen wurden.
Nicht gezeichnet, aber auch erfindungsgemäß ist der Fall eines Benutzers einer weiteren tragbaren Recheneinheit 20.2, der dasselbe Anzeigegerät 40 zur Darstellung verwenden möchte wie der Benutzer der tragbaren Recheneinheit 20 und Benutzereingaben 80.2 in seine tragbare Recheneinheit 20.2. eingibt. Die Benutzereingaben 80.2 werden auch von derselben Set-Top- Box (in Fig. 4 die untere Set-Top-Box) empfangen und an die externe Recheneinheit 60 weitergeleitet. Die Set-Top-Box er- kennt wiederum den Typ der tragbaren Recheneinheit 20.2 und sendet diese Information an die externe Recheneinheit 60.
Dort werden diese Benutzereingaben 80.2 dann an eine andere Emulation weitergeleitet, und zwar an die Emulation 70.2, die für die andere tragbare Recheneinheit 20.2 auf der externen Recheneinheit 60 durchgeführt wird. Die Grafikdaten 50.2 wer- den dann wiederum an dieselbe Set-Top-Box gesendet, von welcher die Benutzereingaben empfangen wurden. Alternativ ist auf der Set-Top-Box auch einstellbar, welche tragbare Recheneinheit 20 auf dem externen Anzeigegerät 40 dargestellt werden soll. Die Set-Top-Box reagiert dann nur auf Benutzerein- gaben 80 von dieser ausgewählten tragbaren Recheneinheit 20.
In dieser beispielhaft dargestellten Ausführungsform wird zudem das Seitenverhältnis der Benutzeroberfläche des Smartpho- nes 20 in der Emulation 70 verändert, so dass die emulierte Benutzeroberfläche 55 das Seitenverhältnis des externen Anzeigegeräts 40 aufweist.
Auf diese Weise ist eine Vielzahl von verschiedenen tragbaren Recheneinheiten 20, 20.1, 20.2 mit der Vorrichtung verwendbar, denn für jede verschiedene (auch personalisierte) tragbare Recheneinheit 20, 20.1, 20.2 wird eine Emulation 70, 70.1, 70.2 in der als Server ausgelegten Recheneinheit 60 ausgeführt. Zusätzlich ist mit diesem zentralen Server außerdem eine Vielzahl von Haushalten mit der Möglichkeit einer vergrößerten Darstellung bedienbar, in denen jeweils mindestens eine derartige Set-Top-Box angeschlossen ist. Ein Benut- zer könnte dann sogar bei seinem Nachbarn das dortige externe Anzeigegerät 40 benutzen, denn die Daten werden entsprechend umgeleitet.
Mit der Erfindung werden ein Verfahren und eine Vorrichtung bereitgestellt, die es ermöglichen, die Benutzeroberfläche einer tragbaren Recheneinheit auf einem größeren, externen
Anzeigegerät darzustellen. Dabei ist durch die Verwendung einer Emulation, die den Ausführungszustand und bevorzugt auch die persönlichen Daten von der tragbaren Recheneinheit per Synchronisation aufweist, ein völlig neuer und erfinderischer Weg beschritten worden. Durch die Virtualisierung der tragba-
ren Recheneinheit auf einer externen Recheneinheit wird eine hohe Kompatibilität zu vielen verschiedenen tragbaren Recheneinheiten erreicht, denn aufgrund der Virtualisierung muss die Hardware der externen Recheneinheit nicht zwingend mit der tragbaren Recheneinheit übereinstimmen. Aus Leistungsgründen ist es jedoch vorteilhaft, die Hardware der externen Recheneinheit an die Hardware der tragbaren Recheneinheit anzupassen, so dass immer weniger Hardwarekomponenten virtuali- siert werden müssen und somit die Emulation immer mehr zu ei- ner parallelen, direkten Ausführung des Betriebssystems der tragbaren Recheneinheit auf der externen Recheneinheit wird. Die Verwendung von Emulationen bietet zudem den Vorteil, dass eine Vielzahl unterschiedlicher Geräte sogar auch gleichzeitig auf der externen Recheneinheit parallel emulierbar ist und somit die externe Recheneinheit als zentraler Server für verschiedene Benutzer mit verschiedenen tragbaren Recheneinheiten dient. Diese Zentralisierung ist bevorzugt über das Internet verstärkt, indem Benutzer, die in verschiedenen Haushalten oder Orten sind, diese eine Recheneinheit (oder ein Rechencluster ) zur Virtualisierung ihrer tragbaren Recheneinheit verwenden. Besonders vorteilhaft ist an dieser Erfindung auch, dass durch die Emulation die Möglichkeit geschaffen wird, die die grafische Benutzeroberfläche für das externe Anzeigegerät neu zu berechnen und/oder zu vergrößern, so dass die native Auflösung und das native Seitenverhältnis des externen Anzeigegerätes optimal ausgenutzt werden kann. Unterstützt wird dies zudem durch die Möglichkeit, dass die externe Recheneinheit selbstständig nach Programmversionen sucht, die eine höhere Auflösung bieten. Darüber hinaus wird durch die Möglichkeit, auch über das externe Anzeigegerät Benutzereingaben an die Emulation und/oder die tragbare Recheneinheit weiterzuleiten und dort jeweils Aktionen durchzuführen, eine noch nie da gewesene Flexibilität der Verwendung einer tragbaren Recheneinheit erreicht und eine Kooperation zwischen mehreren Benutzern ermöglicht. Zudem steht mehr Rechenleistung aufgrund der externen Recheneinheit zur Verfügung, die auch flexibel genutzt werden kann.
Bezugszeichen
Tragbare Recheneinheit
Externes Anzeigegerät
Grafikdaten für eine emulierte Benutzeroberfläche der tragbaren Recheneinheit
Emulierte Benutzeroberfläche
Grafisches Element
Externe Recheneinheit
Emulation
, 80' Benutzereingaben
Funk
Funkeinrichtung
Netzwerk
Grafikschnittstelle
Software-Quelle
Emulationseinrichtung
0 Einrichtung zur Weitervermittlung von Benutzereingaben 80 in die tragbare Recheneinheit an die Emulation
Einrichtung zur Weitervermittlung von Grafikdaten zu einer Grafikschnittstelle
Einrichtung zur Weitervermittlung von Benutzereingaben 80' in das externe Anzeigegerät und/oder in ein dem externen Anzeigegerät vorgeschaltetes Gerät an die Emulation
, 800' Eingabeschnittstelle
0 Netzwerkschnittstelle
Claims
Patentansprüche
Verfahren zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit (20) auf einem externen Anzeigegerät (40), das eine native Auflösung und ein natives Seitenverhältnis aufweist, wobei die Schritte durchgeführt werden:
— Emulieren eines Betriebssystems der tragbaren Recheneinheit (20) auf einer externen Recheneinheit (60) in einer Emulation (70);
— Eingeben von Benutzereingaben (80) in die tragbare Recheneinheit (20);
— Übermitteln der Benutzereingaben (80) an die Emulation (70);
— Interpretieren der Benutzereingaben (80) in der Emulation (70);
— Erzeugen einer emulierten Benutzeroberfläche (55) der tragbaren Recheneinheit (20);
— Übermitteln der emulierten Benutzeroberfläche (55) in Form von Grafikdaten (50) an das externe Anzeigegerät (40);
— Darstellen der emulierten Benutzeroberfläche (55) auf dem externen Anzeigegerät (40).
Verfahren nach Anspruch 1,
wobei zusätzlich der Schritt durchgeführt wird:
— Übermitteln von benutzerspezifischen Daten von der tragbaren Recheneinheit (20) an die Emulation (70).
Verfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich der Schritt durchgeführt wird:
— Feststellen, ob eine Auflösung und/oder ein Seitenverhältnis der emulierten Benutzeroberfläche (55) und/oder eines grafischen Elements (56) der emulierten Benutzeroberfläche (55) ungleich der nativen Auflösung und/oder dem nativen Seitenverhältnis des externen Anzeigegeräts (40) oder durch einen Benutzer vorgegebenen Werten ist und somit die emulierte Benutzeroberflä-
che ( 55 ) und/oder das grafische Element ( 56 ) in der Bildbreite oder in der Bildhöhe oder insgesamt nicht die gleiche Anzahl an Bildpunkten aufweist wie das externe Anzeigegerät ( 40 ) ;
und wobei im Falle einer festgestellten Ungleichheit zusätzlich einer der Schritte durchgeführt wird:
— Anpassen der Auflösung und/oder des Seitenverhältnisses der emulierten Benutzeroberfläche ( 55 ) und/oder des grafischen Elements auf die native Auflösung und/oder das native Seitenverhältnis des externen Anzeigegeräts ( 40 ) oder auf durch den Benutzer vorgegebene Werte durch ein- oder zweidimensionale Durchführung eines Verfahrens oder einer Kombination von Verfahren aus der Gruppe Interpolation, Unterabtastung, Zuschneiden, Pil- larboxing, Letterboxing;
— Erzeugen einer emulierten Benutzeroberfläche ( 55 ) der tragbaren Recheneinheit ( 20 ) mit der nativen Auflösung und/oder dem nativen Seitenverhältnis des externen Anzeigegeräts ( 40 ) oder mit durch den Benutzer vorgegebenen Werten.
Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Erzeugen der emulierten Benutzeroberfläche ( 55 ) die emulierte Benutzeroberfläche ( 55 ) bereits mit der Auflösung und dem Seitenverhältnis erzeugt wird, die gleich der nativen Auflösung und dem nativen Seitenverhältnis des externen Anzeigegeräts ( 40 ) oder gleich durch den Benutzer vorgegebenen Werten sind, und somit die emulierte Benutzeroberfläche ( 55 ) so viele Bildpunkte in der Bildbreite und der Bildhöhe aufweist wie die Anzahl der mit dem externen Anzeigegerät ( 40 ) darstellbaren Bildpunkte.
Verfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich die Schritte durchgeführt werden:
— Suchen im Internet und/oder in dafür bereitgestellten Software-Quellen ( 600 ) nach einer Programmversion für
ein Programm, das auf der tragbaren Recheneinheit (20) zur Verfügung steht, und
— Verwenden der aufgefundenen Programmversion in der E- mulation (70),
wobei die Programmversion für eine Auflösung und ein Seitenverhältnis ausgelegt ist, welche die native Auflösung und das native Seitenverhältnis des externen Anzeigegeräts (40) ausnutzen, indem die jeweilige Programmversion mindestens ein grafisches Element (56) erzeugt, das mindestens so viele Bildpunkte in der Bildbreite und der Bildhöhe aufweist wie die Anzahl der mit dem externen Anzeigegerät (40) darstellbaren Bildpunkte .
Verfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich die Schritte durchgeführt werden:
— Eingeben von Benutzereingaben (80') in das externe Anzeigegerät (40) und/oder ein dem externen Anzeigegerät vorgeschaltetes Gerät,
— Übermitteln der Benutzereingaben (80') in das externe Anzeigegerät (40) und/oder in das dem externen Anzeigegerät vorgeschaltete Gerät an die Emulation (70) und bevorzugt an die tragbare Recheneinheit (20) und
— Interpretieren der Benutzereingaben (80') in der Emulation (70) und/oder bevorzugt in der tragbaren Recheneinheit (20).
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Übermitteln der Benutzereingaben (80, 80') und/oder der Grafikdaten (50) zumindest teilweise per Funk (90) erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Übermitteln der Benutzereingaben (80, 80') und/oder das Übermitteln der Grafikdaten (50) zumindest teilweise über ein Netzwerk (120), bevorzugt ein Kabel-
fernsehnetzwerk (120' ), erfolgt.
9. Verfahren nach einem der vorhergehenden Ansprüche,
wobei ein Teil oder die Gesamtheit der Verfahrenschritte zusätzlich für die Darstellung der Benutzeroberfläche mindestens einer weiteren tragbaren Recheneinheit (20.1) auf dem externen Anzeigegerät (40) und/oder einem weiteren externen Anzeigegerät (40.1) durchgeführt wird, indem mindestens die Schritte durchgeführt werden
— Emulieren des Betriebssystems der tragbaren Recheneinheit (20.1) auf der externen Recheneinheit (60) in einer weiteren Emulation (70.1);
— Eingeben von weiteren Benutzereingaben (80.1) in die tragbare Recheneinheit (20.1);
— Übermitteln der Benutzereingaben (80.1) an die Emulation (70.1);
— Interpretieren der Benutzereingaben (80.1) in der E- mulation (70.1);
— Erzeugen einer weiteren emulierten Benutzeroberfläche (55.1) der tragbaren Recheneinheit (20.1);
— Übermitteln der emulierten Benutzeroberfläche (55.1) in Form von weiteren Grafikdaten (50.1) an das externe Anzeigegerät (40 und/oder 40.1);
— Darstellen der emulierten Benutzeroberfläche (55.1) auf dem externen Anzeigegerät (40 und/oder 40.1).
10. Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit (20) auf einem externen Anzeigegerät (40),
umfassend
a) eine externe Recheneinheit (60) mit einer Emulationseinrichtung (700), wobei die Emulationseinrichtung (700)
— Programmcode zur Emulation (70) eines Betriebssystems der tragbaren Recheneinheit (20) aufweist,
— eine Einrichtung (720) zur Weitervermittlung von Benutzereingaben (80) in die tragbare Recheneinheit (20)
von einer Eingabeschnittstelle (800) an die Emulation (70) aufweist,
— eine Einrichtung (740) zur Weitervermittlung von Grafikdaten (50) für eine emulierte Benutzeroberfläche (55) der tragbaren Recheneinheit (20) von der Emulation (70) zu einer Grafikschnittstelle (500) aufweist und wobei in der Emulation (70)
— die Benutzereingaben (80) interpretierbar sind,
— die Grafikdaten (50) für eine emulierte Benutzeroberfläche (55) der tragbaren Recheneinheit (20) erzeugbar sind;
weiterhin umfassend
b) die Eingabeschnittstelle (800) zur Übermittlung der Benutzereingaben (80) von der tragbaren Recheneinheit (20) an die Emulation (70);
weiterhin umfassend
c) die Grafikschnittstelle (500) zur Übermittlung der Grafikdaten (50) von der Emulation (70) an das externe Anzeigegerät (40).
11. Vorrichtung nach Anspruch 10,
wobei die tragbare Recheneinheit (20) ein Smartphone, ein Tablet-Computer oder ein Personal Digital Assistant (PDA) ist.
12. Vorrichtung nach Anspruch 10 bis 11,
wobei die Vorrichtung
— eine Eingabeschnittstelle (800') zur Übermittlung von Benutzereingaben (80') in das externe Anzeigegerät (40) und/oder in ein dem externen Anzeigegerät vorgeschaltetes Gerät von dem externen Anzeigegerät (40) und/oder von dem dem externen Anzeigegerät vorgeschalteten Gerät zur Emulation (70) und/oder zur tragbaren Recheneinheit (20) aufweist
und wobei die Emulationseinrichtung (700)
— eine Einrichtung (760) zur Weitervermittlung der Benutzereingaben (80') in das externe Anzeigegerät (40)
und/oder in das dem externen Anzeigegerät vorgeschalte te Gerät von der Eingabeschnittstelle (800') an die E- mulation (70) aufweist.
13. Vorrichtung nach Anspruch 10 bis 12,
wobei die Vorrichtung zusätzlich eine Funkeinrichtung (100) aufweist, welche eingerichtet ist, die Benutzereingaben (80, 80') und/oder die Grafikdaten (50) zu übertragen.
14. Vorrichtung nach Anspruch 10 bis 13,
wobei die Vorrichtung zusätzlich mindestens zwei Netzwerkschnittstellen (1200) aufweist, die externe Rechen einheit (60) räumlich von den vorhandenen Eingabeschnittstellen (800, 800') und der Grafikschnittstelle (500) getrennt ist und mit diesen über ein Netzwerk (120), bevorzugt ein Kabelnetzwerk, und über die Netzwerkschnittstellen (1200) verbunden ist.
15. Verfahren nach Anspruch 1 bis 9 oder Vorrichtung nach Anspruch 10 bis 14,
wobei die Benutzereingaben (80, 80') Daten von mindestens
— einem Berührungssensor, bevorzugt einem berührungsempfindlichem Bildschirm und/oder
— einem Temperatursensor und/oder
— einem Positionssensor und/oder
— einem Beschleunigungssensor und/oder
— einem Kameramodul und/oder
— einer Tastatur und/oder
— einer Computermaus und/oder
— einem Mikrofonmodul und/oder
— von einem mit der tragbaren Recheneinheit (20) und/oder mit dem externen Anzeigegerät (40) und/oder mit dem dem externen Anzeigegerät (40) vorgeschalteten Gerät verbindbaren Peripheriegerät
darstellen.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102010052244A DE102010052244A1 (de) | 2010-11-23 | 2010-11-23 | Verfahren und Vorrichtung zur Darstellung einer grafischen Benutzeroberfläche einer tragbaren Recheneinheit auf einem externen Anzeigegerät |
PCT/EP2011/005883 WO2012069183A1 (de) | 2010-11-23 | 2011-11-22 | Verfahren und vorrichtung zur darstellung einer grafischen benutzeroberfläche einer tragbaren recheneinheit auf einem externen anzeigegerät |
Publications (1)
Publication Number | Publication Date |
---|---|
EP2643752A1 true EP2643752A1 (de) | 2013-10-02 |
Family
ID=45420552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP11802269.8A Withdrawn EP2643752A1 (de) | 2010-11-23 | 2011-11-22 | Verfahren und vorrichtung zur darstellung einer grafischen benutzeroberfläche einer tragbaren recheneinheit auf einem externen anzeigegerät |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130290882A1 (de) |
EP (1) | EP2643752A1 (de) |
DE (1) | DE102010052244A1 (de) |
WO (1) | WO2012069183A1 (de) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109116985A (zh) | 2011-05-10 | 2019-01-01 | 寇平公司 | 控制信息显示的方法 |
JP5514794B2 (ja) * | 2011-12-05 | 2014-06-04 | パナソニック株式会社 | 情報処理システム |
KR101198271B1 (ko) * | 2012-01-10 | 2012-11-07 | 알서포트 주식회사 | 컴퓨터를 통한 터치스크린식 이동통신단말기의 제어에 있어서 컴퓨터 및 피제어 이동통신단말기의 화면상태 관리방법 |
CN104020968B (zh) * | 2013-02-28 | 2019-02-26 | 中兴通讯股份有限公司 | 控制共享屏幕显示的方法及装置 |
KR101969351B1 (ko) * | 2012-09-10 | 2019-04-16 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 그 출력 제어 방법 |
TWI637312B (zh) * | 2012-09-19 | 2018-10-01 | 三星電子股份有限公司 | 用於在透明顯示裝置顯示資訊的方法、顯示裝置及電腦可讀記錄媒體 |
CN103067365A (zh) * | 2012-12-21 | 2013-04-24 | 中兴通讯股份有限公司 | 一种用于虚拟桌面接入的机顶盒、客户端、系统及方法 |
KR101919796B1 (ko) * | 2013-01-11 | 2018-11-19 | 엘지전자 주식회사 | 휴대 단말기 및 그 제어 방법 |
DE102013006177A1 (de) * | 2013-04-10 | 2014-10-16 | Audi Ag | Verfahren und System zum Betreiben einer Anzeigeeinrichtung mittels eines mobilen Kommunikationsendgerätes |
US9686346B2 (en) | 2013-04-24 | 2017-06-20 | Blackberry Limited | Device and method for generating data for generating or modifying a display object |
KR20160033721A (ko) | 2013-07-16 | 2016-03-28 | 세이코 엡슨 가부시키가이샤 | 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템 |
JP6252004B2 (ja) * | 2013-07-16 | 2017-12-27 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
JP6287465B2 (ja) * | 2014-03-27 | 2018-03-07 | 株式会社バッファロー | 情報処理装置、画面表示システム、情報処理装置における信号生成方法及びプログラム |
US20160092152A1 (en) * | 2014-09-25 | 2016-03-31 | Oracle International Corporation | Extended screen experience |
US11507216B2 (en) * | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
TWM562430U (zh) * | 2018-01-05 | 2018-06-21 | Thermaltake Technology Co Ltd | 控制輸入系統 |
CN108449360B (zh) * | 2018-04-17 | 2021-06-18 | 广州视源电子科技股份有限公司 | 智能交互一体机 |
FR3083041B1 (fr) * | 2018-06-21 | 2023-05-12 | Amadeus Sas | Synchronisation d'afficheurs inter-dispositifs |
CN111866571B (zh) * | 2020-06-30 | 2023-03-24 | 北京小米移动软件有限公司 | 在智能电视上编辑内容的方法、装置及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7512402B2 (en) * | 2004-05-14 | 2009-03-31 | International Business Machines Corporation | Centralized display for mobile devices |
US8108201B2 (en) * | 2005-11-17 | 2012-01-31 | International Business Machines Corporation | Method for emulating a native device on a host computer system |
CN101490648A (zh) * | 2006-07-25 | 2009-07-22 | Nxp股份有限公司 | 包含操作系统仿真器的移动设备 |
KR101402622B1 (ko) * | 2009-07-01 | 2014-06-09 | 삼성전자주식회사 | 영상표시장치 및 영상표시방법 |
-
2010
- 2010-11-23 DE DE102010052244A patent/DE102010052244A1/de not_active Withdrawn
-
2011
- 2011-11-22 US US13/988,787 patent/US20130290882A1/en not_active Abandoned
- 2011-11-22 WO PCT/EP2011/005883 patent/WO2012069183A1/de active Application Filing
- 2011-11-22 EP EP11802269.8A patent/EP2643752A1/de not_active Withdrawn
Non-Patent Citations (1)
Title |
---|
See references of WO2012069183A1 * |
Also Published As
Publication number | Publication date |
---|---|
DE102010052244A1 (de) | 2012-05-24 |
WO2012069183A1 (de) | 2012-05-31 |
US20130290882A1 (en) | 2013-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012069183A1 (de) | Verfahren und vorrichtung zur darstellung einer grafischen benutzeroberfläche einer tragbaren recheneinheit auf einem externen anzeigegerät | |
KR20220130197A (ko) | 촬영 방법, 장치, 전자설비 및 저장매체 | |
US10289390B2 (en) | Interactive multimodal display platform | |
WO2021114529A1 (zh) | 用户界面展示方法及显示设备 | |
DE102010018432A1 (de) | Intuitive Datenübertragung zwischen verbundenen Geräten | |
DE202014011461U1 (de) | Anzeigevorrichtung | |
US20080240683A1 (en) | Method and system to reproduce contents, and recording medium including program to reproduce contents | |
JP5892121B2 (ja) | 情報処理装置、制御方法、プログラム、および情報処理システム | |
DE102019127726A1 (de) | Für fernarbeitsplatz-anwendungen geeignetes streaming individueller anwendungsfenster | |
DE112016001140T5 (de) | Interaktives Mehrbenutzer-Anzeigesystem und Verfahren | |
CN107766024B (zh) | 一种基于拼接墙的ppt放映控制方法和系统 | |
DE202014010906U1 (de) | Vorrichtung für zweidimensionale Dokumentennavigation | |
CN111104020B (zh) | 用户界面设置方法、存储介质及显示设备 | |
DE112016004269T5 (de) | Verfahren, systeme und medien zum präsentieren interaktiver elemente innerhalb von videoinhalt | |
CN103279314A (zh) | 具有虚拟设备窗口操作的传输装置及其的传输系统 | |
DE102014011901A1 (de) | Auf einem Vorrichtungskontext basierende Benutzerschnittstelle | |
CN109983451A (zh) | 上下文文件管理器 | |
CN114518820A (zh) | 图标整理方法、装置和电子设备 | |
EP3226088A1 (de) | Anzeige- und bedieneinheit und verfahren zur bedienung eines feldgeräts mit einer anzeige- und bedieneinheit | |
CN113360066B (zh) | 一种显示设备及文件展示方法 | |
EP3386207A1 (de) | Verfahren zum betrieb eines datenverarbeitungssystems zur bereitstellung eines interaktiven videoinhalts | |
CN113867861B (zh) | 一种无人机图传窗口显示方法、装置、设备及存储介质 | |
CN115344159A (zh) | 文件的处理方法、装置、电子设备和可读存储介质 | |
DE102011014231A1 (de) | Vorrichtung und Verfahren zum Steuern einer Multimedia-Präsentation | |
CN116744073A (zh) | 一种显示设备及电视浏览器内的书签添加方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20130624 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: EXARING AG |
|
RIN1 | Information on inventor provided before grant (corrected) |
Inventor name: COTTE, PIERRE-ALAIN |
|
DAX | Request for extension of the european patent (deleted) | ||
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN |
|
18W | Application withdrawn |
Effective date: 20151119 |