WO2021044601A1 - アプリケーション拡張プログラム、情報処理装置、および方法 - Google Patents

アプリケーション拡張プログラム、情報処理装置、および方法 Download PDF

Info

Publication number
WO2021044601A1
WO2021044601A1 PCT/JP2019/035068 JP2019035068W WO2021044601A1 WO 2021044601 A1 WO2021044601 A1 WO 2021044601A1 JP 2019035068 W JP2019035068 W JP 2019035068W WO 2021044601 A1 WO2021044601 A1 WO 2021044601A1
Authority
WO
WIPO (PCT)
Prior art keywords
menu
application
displayed
user
information processing
Prior art date
Application number
PCT/JP2019/035068
Other languages
English (en)
French (fr)
Inventor
研冴 田倉
元樹 佐々木
久美子 塚原
西尾　郁彦
孝民 薜
翔 小林
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to PCT/JP2019/035068 priority Critical patent/WO2021044601A1/ja
Priority to EP19944603.0A priority patent/EP4009153A4/en
Priority to US17/638,186 priority patent/US20220329686A1/en
Publication of WO2021044601A1 publication Critical patent/WO2021044601A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/42—Graphical user interfaces

Definitions

  • This disclosure relates to application extension programs, information processing devices, and methods.
  • the user shoots a video or image of the play screen of the game application with the camera application.
  • the captured videos and images are processed by another application and published on the Internet or on a website via a Web service or another application. In this way, users try to get a new user experience with other applications as if they were extending one application.
  • an application extension program capable of providing a more comfortable user experience without interfering with the display and operation of each other's applications as much as possible.
  • the information processing apparatus initiates a second application that provides an extended function to the first application, the first application is displayed, and the second application is predetermined on a hidden screen.
  • a program is provided that superimposes a menu of a second application on a first application and executes a process corresponding to an extended function selected from the menu in response to a predetermined operation at a predetermined position. ..
  • a second application that provides an extension function to the first application is started, the first application is displayed, and the second application is hidden at a predetermined position on the screen.
  • An information processing device provided with a control unit that superimposes the menu of the second application on the first application and executes the process corresponding to the extended function selected from the menu in response to the predetermined operation in. Is provided.
  • the information processing device starts a second application that provides an extended function to the first application, the first application is displayed, and the second application is hidden on the screen.
  • OS Operating System
  • the information processing device 10 may be a mobile terminal such as a smartphone or a tablet PC (Personal Computer) capable of executing various applications, or may be a stationary terminal installed at a user's home or office.
  • a mobile terminal such as a smartphone or a tablet PC (Personal Computer) capable of executing various applications
  • a stationary terminal installed at a user's home or office.
  • FIG. 1 is a block diagram showing a functional configuration example of the information processing device 10 according to the present embodiment.
  • the information processing device 10 according to the present embodiment includes an operation unit 110, a storage unit 120, an imaging unit 130, a sensor unit 140, a display unit 150, an audio input unit 160, an audio output unit 170, and screen photography.
  • a unit 180 and a control unit 190 are provided.
  • the operation unit 110 detects various operations by the user, such as device operations for applications.
  • the device operation includes, for example, a touch operation and insertion of an earphone terminal into the information processing device 10.
  • the touch operation refers to various contact operations with respect to the display unit 150, such as tapping, double tapping, swiping, and pinching.
  • the touch operation includes an operation of bringing an object such as a finger close to the display unit 150.
  • the operation unit 110 according to the present embodiment includes, for example, a touch panel, buttons, a keyboard, a mouse, a proximity sensor, and the like.
  • the operation unit 110 according to the present embodiment inputs information related to the detected user operation to the control unit 190.
  • the storage unit 120 is a storage area for temporarily or permanently storing various programs and data.
  • the storage unit 120 may store programs and data for the information processing device 10 to execute various functions.
  • the storage unit 120 may store a program for executing various applications, management data for managing various settings, and the like.
  • the above is only an example, and the type of data stored in the storage unit 120 is not particularly limited.
  • the photographing unit 130 according to the present embodiment photographs, for example, the face of a user who operates the information processing device 10 based on the control by the control unit 190.
  • the photographing unit 130 according to the present embodiment includes an image sensor.
  • a smartphone which is an example of the information processing device 10, is provided with a front camera for photographing a user's face or the like on the display unit 150 side and a main camera for photographing a landscape or the like on the back side of the display unit 150. In the form, as an example, shooting with a front camera is controlled.
  • the sensor unit 140 has a function of collecting sensor information related to user behavior using various sensors.
  • the sensor unit 140 includes, for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a vibration sensor, a GNSS (Global Navigation Satellite System) signal receiving device, and the like.
  • the sensor unit 140 detects that the user holds the information processing device 10 sideways by the gyro sensor, and inputs the detected information to the control unit 190.
  • GNSS Global Navigation Satellite System
  • the display unit 150 displays various visual information based on the control by the control unit 190.
  • the display unit 150 according to the present embodiment may display, for example, an image or characters related to the application.
  • the display unit 150 according to the present embodiment includes various display devices such as a liquid crystal display (LCD: Liquid Crystal Display) device and an OLED (Organic Light Emitting Display) display device. Further, the display unit 150 can superimpose and display the UI of another application on a layer higher than the screen of the displayed application.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Display
  • the voice input unit 160 collects voice and the like emitted by the user based on the control by the control unit 190.
  • the voice input unit 160 according to the present embodiment includes a microphone or the like.
  • the voice output unit 170 outputs various voices.
  • the voice output unit 170 according to the present embodiment outputs voice or sound according to the situation of the application based on the control by the control unit 190, for example.
  • the audio output unit 170 according to the present embodiment includes a speaker and an amplifier.
  • the screen photographing unit 180 takes a screenshot (SS) or a moving image of the screen displayed on the display unit 150 based on the control by the control unit 190, and stores it in the storage unit 120.
  • SS screenshot
  • the screen photographing unit 180 takes a screenshot (SS) or a moving image of the screen displayed on the display unit 150 based on the control by the control unit 190, and stores it in the storage unit 120.
  • Control unit 190 The control unit 190 according to the present embodiment controls each configuration included in the information processing device 10. Further, the control unit 190 according to the present embodiment is characterized in that it controls the function expansion for the application. It should be noted that the function extension to the application is performed by another application (here, in order to distinguish between the application in which the function is extended and another application in which the function is extended, each is called an "external application" (first application). An example), called an "extended application” (an example of a second application)). When the function is expanded, the control unit 190 starts the extension application in addition to the external application and controls both applications at the same time. Details of the functions of the control unit 190 according to this embodiment will be described later.
  • the functional configuration example of the information processing device 10 according to the present embodiment has been described above.
  • the above-mentioned functional configuration described with reference to FIG. 1 is merely an example, and the functional configuration of the information processing apparatus 10 according to the present embodiment is not limited to such an example.
  • the information processing device 10 does not necessarily have all of the configurations shown in FIG. 1, and each configuration such as the voice input unit 160 may be provided in another device different from the information processing device 10. ..
  • the functional configuration of the information processing apparatus 10 according to the present embodiment can be flexibly modified according to specifications and operations.
  • each component is stored in a ROM (Read Only Memory), RAM (Random Access Memory), etc., which stores a control program in which an arithmetic unit such as a CPU (Central Processing Unit) describes a processing procedure for realizing these functions. This may be performed by reading the control program from the storage medium of the above, interpreting the program, and executing the program. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at each time when the present embodiment is implemented. An example of the hardware configuration of the information processing device 10 will be described later.
  • control unit 190 of the information processing apparatus 10 controls an extended application that provides an extended function to various external applications.
  • the external application is, for example, a game application.
  • the external application is not limited to the game application, and includes various applications installed in the information processing device 10 and used by the user, such as a drawing application, an editing application, and a music application for viewing moving images and music.
  • the extended application it is possible to easily provide the extended function to various external applications without editing the source code. Further, when providing the extended function, the extended application can operate so as not to interfere with the user operation on the external application or the OS and the behavior of the external application.
  • FIG. 2 is a diagram showing an example of an operation related to the menu display of the extended application according to the present embodiment.
  • the sensor unit 140 detects it, and the control unit 190 displays the screen on the display unit 150 in a horizontal screen.
  • the upper part of FIG. 2 shows a state in which the control unit 190 has already started an external application (here, a game application) and the display unit 150 displays the screen of the external application in full screen.
  • an external application here, a game application
  • the display unit 150 displays the screen of the external application in full screen.
  • the user is playing the external application, but is not using the extended application.
  • the display unit 150 in the upper part of FIG. 2 does not display any UI of the extended application that extends the function to the external application.
  • the extended application may be started by the control unit 190 by detecting the start of the external application, or may be started by detecting an arbitrary operation during the start of the external application.
  • the arbitrary operation is, for example, a user operation detected by the operation unit 110 or the sensor unit 140, a voice operation recognized by the voice input unit 160, or the like.
  • the extended application may be automatically started when the OS of the information processing device 10 is started.
  • the extended application may be started by pressing the icon for the extended application displayed on the display unit 150 by a user operation.
  • the extended application may be running while the external application is running, but when the user is not using the extended application, the UI of the extended application is not displayed in principle.
  • the logo or the like may be displayed when the extended application is started, but for example, the control unit 190 controls the logo to disappear automatically after a certain period of time.
  • the extended application can operate so as not to interfere with the user operation on the external application or the OS and the behavior of the external application.
  • the middle part of FIG. 2 shows a state in which the user is trying to perform a touch operation on the display unit 150 in order to use the extended application. Subsequently, the lower part of FIG. 2 shows a state in which the menu 210 of the extended application is superimposed and displayed on the external application by the user swiping from the screen edge of the display unit 150.
  • Menu 210 is, for example, a pull-down menu that is expanded from the edge of the screen in response to the movement of the swipe operation. Although details will be described later, the menu 210 is displayed by a predetermined operation at a predetermined position of the display unit 150. Therefore, strictly speaking, whether or not the operation unit 110 detects a touch operation on the display unit 150, the detected operation and position (screen coordinates) are sent to the control unit 190, and the control unit 190 displays the menu 210. Is determined. When the condition for displaying the menu 210 (a predetermined operation at a predetermined position) is met, the control unit 190 causes the display unit 150 to display the menu 210.
  • the touch operation for displaying the menu 210 is not limited to swipe, but may be tap, double tap, pinch, or the like. Further, the display position of the menu 210 is not limited to the upper right portion of the display unit 150 as shown in the lower part of FIG. 2, and may be various positions in the display unit 150. The display position of the menu 210 can be freely changed by the user, although details will be described later.
  • FIG. 3 is a diagram showing an example of an operation related to the menu display of the extended application according to the present embodiment.
  • an external application for a vertical screen is displayed on the display unit 150.
  • the menu 210 of the extended application is superimposed and displayed on the external application.
  • FIG. 4 is a diagram showing an example of an operation related to changing the menu display position according to the present embodiment.
  • the display position of the menu 210 of the extended application is fixed, the user operation on the external application or the OS and the behavior of the external application may be significantly hindered.
  • the menu 210 may be superimposed and displayed on the operation buttons and icons of the external application, or the display portion of the external application that the user always wants to see. Therefore, the display position of the menu 210 of the extended application is controlled by the control unit 190 so that the user can freely change the display position.
  • the upper part of FIG. 4 shows a state in which the user is tapping a predetermined position of the display unit 150 in order to change the display position of the menu 210.
  • the predetermined position here is, for example, a predetermined area near the position (middle stage of FIG. 2) where the swipe operation is started in order to expand the menu 210 of FIG.
  • the middle part of FIG. 4 shows a state in which the menu bar 220 of the extended application is displayed by tapping the display unit 150 (upper part of FIG. 4).
  • the touch operation for displaying the menu bar 220 is not limited to tapping.
  • the menu bar 220 since the menu bar 220 is superimposed and displayed on the screen of the external application, it is desirable that the menu bar 220 has a shape, color, size, and transmittance that do not interfere with the screen display of the external application as much as possible.
  • the menu bar 220 is not limited to such a shape.
  • the menu bar 220 is controlled by the control unit 190 so that the menu bar 220 is hidden by tapping an area other than the menu bar 220 on the display unit 150 or when the menu bar 220 is not operated for a certain period of time. .. In this way, the menu bar 220 is also controlled by the control unit 190 so that it is hidden when the user does not use it.
  • the extended application can operate so as not to further interfere with the user operation with respect to the external application or the OS and the behavior of the external application.
  • the menu bar 220 displayed in the upper right part of the display unit 150 is moved to the upper left part of the display unit 150 by the user dragging and dropping (an example of the first user input). It shows the state of being made.
  • the display position of the menu 210 is changed from the upper right part (lower part of FIG. 2) of the display unit 150 to the upper left part (upper part of FIG. 5).
  • the display position of the menu 210 is not limited to the upper right portion or the upper left portion of the display unit 150.
  • the display position of the menu 210 changed in the lower part of FIG. 4 is stored in the storage unit 120 by the control unit 190, and when the extended application is used thereafter, the menu 210 is displayed at the stored display position. Further, the display position of the menu 210 may be stored in the storage unit 120 for each external application in association with the external application. This eliminates the need to change the display position of the menu 210 according to the external application to be used each time when various external applications are used.
  • FIG. 5 is a diagram showing an example of an operation related to the menu display of the extended application and the OS according to the present embodiment.
  • the swipe operation from the edge of the screen as shown in the upper part of FIG. 5 may also be used when displaying the menu of the OS (that is, the menu 210 and the OS menu 230 are executed by the same operation).
  • the control unit 190 preferentially displays the menu 210 for the swipe operation at a predetermined position (upper part of FIG. 5), and displays the OS menu 230 for the swipe operation at other positions (FIG. 5). Control as in the middle and bottom).
  • the OS menu 230 is normally displayed by swiping from any position on the upper screen edge of the display unit 150.
  • the control unit 190 controls to display the menu 210 with priority. (Top of FIG. 5).
  • the control unit 190 controls to display the OS menu 230 (lower part of FIG. 5, strictly speaking, the control unit 190 does not display the menu 210).
  • the display control of the OS menu 230 is entrusted to the OS).
  • the control unit 190 displays the menu 210 by swiping from the upper right portion of the display unit 150, and the menu 210 is displayed from the upper left portion.
  • the OS menu 230 is controlled to be displayed.
  • the control unit 190 displays the OS menu 230 regardless of the position of the upper screen edge of the display unit 150. Control to display.
  • the extended application can operate without interfering with the user operation on the OS.
  • FIG. 6 is a diagram showing an example of the menu of the extended application according to the present embodiment.
  • the menu 210 of the extended application is, for example, a menu setting change icon 310, a search function area 320, an SS function area 330, a record function area 340, a quick access area 350, an SS icon 360, and a continuous shooting SS. Includes icon 370.
  • the menu setting change icon 310 is an icon for changing the settings related to the menu 210 and the menu bar 220. For example, when the user presses the menu setting change icon 310, the setting change screen (not shown) is displayed so that the display contents of the menu 210, the type of the menu bar 220, and the menu bar 220 are always displayed. Various changes can be made.
  • the search function area 320, the SS function area 330, and the record function area 340 are areas for using various functions.
  • the control unit 190 displays a UI for using each function on the display unit 150.
  • Various functions and their UI will be described later.
  • the quick access area 350 is an area for immediately using various functions from the menu 210.
  • the quick access area 350 includes the SS icon 360 and the continuous shooting SS icon 370.
  • control unit 190 takes one screenshot (image) of the screen displayed on the display unit 150 via the screen photographing unit 180, and stores the captured image in the storage unit 120.
  • the control unit 190 continuously takes a plurality of screenshots of the screen displayed on the display unit 150 for a certain period of time (so-called burst) via the screen shooting unit 180. Mode shooting). Then, the control unit 190 generates a data file such as a GIF format from a plurality of screenshots taken within a certain period of time, and stores the data file in the storage unit 120. As a result, the file size can be reduced while maintaining a high fps (frames per second) as compared with a moving image file, and it becomes easy to capture a decisive moment at the time of shooting even with a smartphone or the like.
  • the menu 210 is controlled by the control unit 190 so as to be hidden. This makes it possible to prevent the menu 210 from appearing in the screenshot taken.
  • the display content of the menu 210 in FIG. 6 is an example, and is not limited to this. It is possible to increase or decrease the number of icons and areas for using various functions that provide extended functions to external applications, and to change their arrangement.
  • the shape, color, size, transmittance, etc. of the menu 210 are also examples.
  • FIG. 7 is a diagram showing an example of an operation related to the screenshot function of the extended application according to the present embodiment.
  • the upper part of FIG. 7 shows a state in which the user is tapping the SS function area 330 of the menu 210 displayed on the display unit 150 in order to use the screenshot function.
  • the lower part of FIG. 7 shows a state in which the SS menu 410 is superimposed and displayed on the external application by the user performing a tap operation on the SS function area 330. Further, the menu 210 is controlled by the control unit 190 so as to be hidden.
  • the SS menu 410 is displayed in the lower left portion of the display unit 150, but the display position of the SS menu 410 can be freely changed by the user. The change of the display position of the SS menu 410 will be described later.
  • FIG. 8 is a diagram showing an example of a menu of the screenshot function according to the present embodiment.
  • the SS menu 410 includes, for example, an SS function icon 420, an SS icon 430, a continuous shooting SS icon 440, an SS function setting change icon 450, and a back icon 460.
  • the details of the SS function icon 420 will be described later, but the display position of the SS menu 410 can be changed by a drag-and-drop operation by the user.
  • the SS function setting change icon 450 is an icon for changing the settings related to the SS function. For example, when the user presses the SS function setting change icon 450, the setting change screen (not shown) is displayed, and various changes such as the continuous shooting time and the number of continuous shootings in the burst mode (an example of the second user input). )It can be performed.
  • the SS menu 410 is hidden and the control unit 190 is controlled to display the menu 210 (that is, the state returns to the upper state of FIG. 7).
  • the display content of the SS menu 410 in FIG. 8 is an example, and is not limited to this. You can increase or decrease the number of icons for using various screenshot functions, and change their arrangement. Further, the shape, color, size, transmittance, etc. of various icons of SS menu 410 are also examples.
  • the external application is displayed in the area other than the various icons of the SS menu 410, and the SS menu 410 is controlled by the control unit 190 so as not to interfere with the display and behavior of the external application as much as possible.
  • FIG. 9 is a diagram showing an example of a menu of the screenshot function according to the present embodiment.
  • an external application for a vertical screen is displayed on the display unit 150.
  • the menu 210 is displayed (FIG. 3), and when the SS function area 330 of the menu 210 is tapped, the SS menu 410 is displayed. It is also possible to display the SS menu 410 in which the arrangement of various icons differs between the vertical screen and the horizontal screen.
  • FIG. 10 is a diagram showing an example of an operation related to changing the menu display position of the screenshot function according to the present embodiment. If the display position of the SS menu 410 is fixed, the user operation on the external application or the OS and the behavior of the external application may be significantly hindered. Therefore, the display position of the SS menu 410 is controlled by the control unit 190 so that the user can freely change the display position.
  • the upper part of FIG. 10 shows a state in which the SS menu 410 is displayed in the lower left portion of the display unit 150.
  • the SS function icon 420 in the SS menu 410 displayed in the lower left part is moved to the lower right part in the display unit 150 by the user dragging and dropping. Shows the state.
  • the display position of the SS menu 410 is changed from the lower left portion of the display unit 150 to the lower right portion.
  • the display position of the SS menu 410 is not limited to the lower left portion or the lower right portion of the display unit 150. Further, in the lower example of FIG. 10, the SS menu 410 is moved by the user operating the SS function icon 420. For example, an icon other than the SS function icon 420 in the SS menu 410 is dragged and dropped. You may try to do it.
  • FIG. 11 is a diagram showing an example of an operation related to taking a screenshot function according to the present embodiment.
  • the upper part of FIG. 11 shows a state in which the user is trying to press the SS icon 430 or the continuous shooting SS icon 440 in the SS menu 410 in order to take a screenshot.
  • the middle part of FIG. 11 shows a state in which the SS icon 430 or the SS icon 440 for continuous shooting is pressed by the user and the screen shooting unit 180 is taking a screenshot.
  • the control unit 190 hides the SS menu 410.
  • the control unit 190 takes a screenshot of the screen displayed on the display unit 150 via the screen photographing unit 180, and stores the photographed image in the storage unit 120.
  • the control unit 190 is controlled so that the UI of the extended application including the SS menu 410 is not displayed during the taking of the screenshot. This makes it possible to prevent the UI of the extended application from appearing in the screenshot taken.
  • the control unit 190 can also control the voice or sound for notifying the user of the start of shooting to be output via the voice output unit 170 at the start of taking a screenshot.
  • FIG. 11 shows a state in which the screen shooting unit 180 has completed taking a screenshot.
  • the control unit 190 controls to display the SS menu 410 again when the taking of the screenshot is completed. Alternatively, the SS menu 410 may be left hidden when the screenshot has been taken. Further, the control unit 190 can also control the voice or sound for notifying the user of the completion of the shooting to be output via the voice output unit 170 when the shooting of the screenshot is completed.
  • FIG. 12 is a diagram showing an example of an operation related to editing the screenshot function according to the present embodiment.
  • FIG. 12 shows a shooting result 510 by burst mode shooting executed by pressing the SS icon 370 for continuous shooting or the SS icon 440 for continuous shooting.
  • the shooting result 510 a plurality of screenshots taken in the burst mode are displayed side by side in chronological order from left to right.
  • the user can select an arbitrary image from the shooting result 510 by a tap operation (an example of a fourth user input) or the like.
  • the control unit 190 generates a data file such as a GIF format from the selected image and stores it in the storage unit 120.
  • an unnecessary image may be selected from the shooting result 510, and a data file may be generated from the remaining images.
  • the images arranged in time series can be horizontally scrolled and displayed by the user flicking in the predetermined area of the shooting result 510. In this way, by editing a plurality of screenshots taken in the burst mode, the user can create a favorite GIF animation image or the like.
  • FIG. 13 is a diagram showing an example of an operation related to the search function of the extended application according to the present embodiment.
  • the search function is a function for executing a search for a video site or a search engine based on a search word while using an external application.
  • the upper part of FIG. 13 shows a state in which the user is tapping the search function area 320 of the menu 210 displayed on the display unit 150 in order to use the search function.
  • the middle part of FIG. 13 shows a state in which the search menu 610 is superimposed and displayed on the external application by the user performing a tap operation on the search function area 320. Further, the menu 210 is controlled by the control unit 190 so as to be hidden. In the example in the middle of FIG. 13, the search menu 610 is displayed in the lower left portion of the display unit 150, but the display position of the search menu 610 can be freely changed by the user.
  • the search menu 610 includes a back icon 620, a search destination selection area 630, a search box 640, a search button 650, a search result 660, and a size change icon 670.
  • the search menu 610 When the return icon 620 is pressed by the user, the search menu 610 is hidden and the control unit 190 is controlled to display the menu 210 (that is, the state returns to the upper state of FIG. 13).
  • the search menu 610 can be hidden and the menu 210 can be displayed by the user tapping an area other than the search menu 610.
  • search destination selection area 630 the names of searchable video sites and search engines are displayed, and the user can select the search destination by tapping or the like.
  • any search destination may be initially set. It is also possible to let the user select the search destination for initial setting in advance and store it in the storage unit 120. Further, the search destination for which the initial setting is performed may be stored in the storage unit 120 for each external application in association with the external application. This eliminates the need to select a search destination each time when using various external applications. Further, the selection frequency and the usage frequency of the search destination can be stored in the storage unit 120 for each external application, and the search destination having the highest selection frequency and the usage frequency can be initially set for the external application.
  • the search box 640 is an area for inputting a search word for the search destination selected in the search destination selection area 630.
  • the search function of the extended application as shown in FIG. 13
  • the possibility of searching the information about the external application is extremely high. Therefore, at the stage when the search menu 610 is displayed, the title of the external application or the like can be initially set in the search box 640. As a result, the input burden on the user can be reduced.
  • the search button 650 is a button for executing a search for a video site or a search engine based on a search word.
  • the control unit 190 executes a search with the search word input in the search box 640 for the search destination selected in the search destination selection area 630. It should be noted that the same search as the search by the search button 650 can also be executed by the user's tap operation in the input area of the search box 640.
  • the search result 660 is an area indicating the search result searched by the search word input in the search box 640 for the search destination selected in the search destination selection area 630. If the search destination is a video site, the search result 660 displays thumbnails and link destinations of the videos hit in the search in a list format. On the other hand, if the search destination is a search engine, the link destinations of the sites that hit the search are displayed in a list format. At the stage when the search menu 610 is displayed, the search result by the default search destination and the search word can be initially displayed. Further, in order to display the search results that cannot be displayed in the search result 660, for example, the display of the search result 660 can be scrolled up and down by a user flicking in a predetermined area of the search result 660.
  • the size change icon 670 can be freely changed in size of the search menu 610 by the user dragging and dropping. As a result, as shown in the lower part of FIG. 13, the amount of information that can be displayed in the search menu 610 can be increased.
  • the search menu 610 is just one of the functions of the extended application, and does not display the existing browser by the picture-in-picture function.
  • Various settings such as the size and display position of the search menu 610 and search results are stored in the storage unit 120 as retained data. Therefore, even when the search menu 610 is closed and redisplayed, the control unit 190 can read the retained data from the storage unit 120 and display the search menu 610 in the closed state. Further, such retained data can be associated with an external application and stored in the storage unit 120 for each external application. As a result, even if the user accidentally or intentionally closes the search menu 610, it is possible to avoid the problem that various settings and search results set by the user are reset.
  • the display content of the search menu 610 in the middle and lower rows of FIG. 13 is an example, and is not limited to this. You can increase or decrease the number of icons and areas for using various search functions, and change their arrangement. Further, the shape, color, size, transmittance, and the like of various icons and areas of the search menu 610 are also examples.
  • FIG. 14 is a diagram showing an example of an operation related to the record function of the extended application according to the present embodiment.
  • the record function is a function for recording a play video of an external application for distribution.
  • the play moving image is recorded by being combined with the voice of the user shot by the shooting unit 130, the voice of the user collected by the voice input unit 160, and the like.
  • FIG. 14 shows a state in which the user is tapping the record function area 340 of the menu 210 displayed on the display unit 150 in order to use the record function.
  • FIG. 14 shows a state in which the record menu 710 is superimposed and displayed on the external application by the user performing a tap operation on the record function area 340. Further, the menu 210 is controlled by the control unit 190 so as to be hidden. The display position of the record menu 710 can be freely changed by the user.
  • the record menu 710 includes a back icon 720, an input setting area 730, an output setting area 740, a voice changer setting area 750, a test button 760, and a record button 770.
  • the record menu 710 When the return icon 720 is pressed by the user, the record menu 710 is hidden and the control unit 190 is controlled to display the menu 210 (that is, the state returns to the state on the left side of FIG. 14).
  • the record menu 710 can be hidden and the menu 210 can be displayed by the user tapping an area other than the record menu 710.
  • the input setting area 730 is an area for setting ON / OFF of the front camera that shoots the user and the microphone that collects the user's voice and the like.
  • the output setting area 740 is an area for adjusting the output volume of the voice collected by the microphone and the application sound (volume of the external application).
  • the output volume adjusted in the output setting area 740 is various volumes recorded by the record function. It is also possible to display the output balance between the voice and the application sound.
  • the output volume in the output setting area 740 can be adjusted independently of the output volume in the OS. For example, the app sound output by the voice output unit 170 of the information processing device 10 can be adjusted to a relatively loud volume, and the app sound recorded by the record function can be adjusted to a low volume so that the user's voice can be heard.
  • the voice changer setting area 750 is an area for adjusting the ON / OFF setting for using the voice changer and adjusting the voice range and voice quality of the voice collected by the microphone.
  • the test button 760 is a button for recording and playing back the voice collected by the microphone and the application sound based on the contents set in the record menu 710. For example, when the test button 760 is pressed by the user, the user's voice or application sound is temporarily recorded for a certain period of time, and then the recorded voice or application sound is reproduced. The reproduced voice and application sound are adjusted based on the contents set in the record menu 710. As a result, the user can actually check the volume balance of the voice and the application sound recorded by the record function, and readjust the setting contents in the record menu 710.
  • the recording button 770 is a button for recording a play video of an external application.
  • the control unit 190 hides the record menu 710 and starts video recording of the screen displayed on the display unit 150 via the screen shooting unit 180.
  • the captured moving image is stored in the storage unit 120.
  • the voice of the user photographed by the photographing unit 130, the voice of the user collected by the voice input unit 160, or the like may be combined and recorded.
  • FIG. 15 is a diagram showing a modified example of the screenshot function according to the present embodiment.
  • the control unit 190 constants the screenshot of the screen displayed on the display unit 150. Take multiple shots continuously for a period of time.
  • the screenshots are taken and stored in advance for a certain period of time, and one is combined with the screenshot taken by pressing the SS icon 440 for continuous shooting (an example of the third user input). Store as a data file.
  • the start of shooting in advance may be when the extended application is started, but considering the performance and resources of the information processing device 10, it is desirable to use an arbitrary operation as a trigger.
  • the arbitrary operation is, for example, a user operation detected by the operation unit 110 or the sensor unit 140, a voice operation recognized by the voice input unit 160, or the like. Further, if the screenshots stored in advance are retained endlessly, the data capacity of the storage unit 120 may be overwhelmed, so that the old screenshots are sequentially deleted.
  • FIG. 16 is a diagram showing a modified example of the menu of the extended application of the present embodiment.
  • the upper part of FIG. 16 shows a state in which the user is performing a flick operation with respect to a predetermined position of the display unit 150 in order to display the quick access menu 810.
  • FIG. 16 shows a state in which the quick access menu 810 is superimposed and displayed on the external application by the user performing a flick operation.
  • the quick access menu 810 includes an SS icon 360, an SS icon 370 for continuous shooting, and a recording button 770. The user can shoot a moving image or an image of the play screen of the external application more quickly by pressing various icons from the quick access menu 810.
  • the touch operation for displaying the quick access menu 810, the predetermined position of the display unit 150, the display position of the quick access menu 810, and the like can be freely changed by the user.
  • the display content of the quick access menu 810 is an example, and the present invention is not limited to this. You can increase or decrease the number of icons for quick access and change their placement. Further, the shape, color, size, transmittance, etc. of the quick access menu 810 are also examples.
  • FIG. 17 is a block diagram showing a hardware configuration example of the information processing apparatus 10 according to the embodiment of the present disclosure.
  • the information processing device 10 includes, for example, a processor 871, a ROM 872, a RAM 873, a host bus 874, a bridge 875, an external bus 876, an interface 877, an input device 878, and an output device 879. It has a storage 880, a drive 881, a connection port 882, and a communication device 883.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Further, components other than the components shown here may be further included.
  • the processor 871 functions as, for example, an arithmetic processing unit or a control device, and controls all or a part of the operation of each component based on various programs recorded in the ROM 872, the RAM 873, the storage 880, or the removable recording medium 901. ..
  • the ROM 872 is a means for storing a program read into the processor 871 and data used for calculation.
  • the RAM 873 temporarily or permanently stores, for example, a program read into the processor 871 and various parameters that change as appropriate when the program is executed.
  • the processors 871, ROM 872, and RAM 873 are connected to each other via, for example, a host bus 874 capable of high-speed data transmission.
  • the host bus 874 is connected to the external bus 876, which has a relatively low data transmission speed, via, for example, the bridge 875.
  • the external bus 876 is connected to various components via the interface 877.
  • Input device 8708 For the input device 878, for example, a mouse, a keyboard, a touch panel, buttons, switches, levers, and the like are used. Further, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used. Further, the input device 878 includes a voice input device such as a microphone.
  • the output device 879 provides the user with acquired information such as a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL, an audio output device such as a speaker or headphones, a printer, a mobile phone, or a facsimile. It is a device that can notify visually or audibly. Further, the output device 879 according to the present disclosure includes various vibration devices capable of outputting a tactile stimulus.
  • the storage 880 is a device for storing various types of data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 881 is a device that reads information recorded on a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 901.
  • a removable recording medium 901 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 901 is, for example, a DVD media, a Blu-ray (registered trademark) media, an HD DVD media, various semiconductor storage media, and the like.
  • the removable recording medium 901 may be, for example, an IC card equipped with a non-contact type IC chip, an electronic device, or the like.
  • connection port 882 is, for example, a port for connecting an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (SCSI Computer System Interface), an RS-232C port, or an optical audio terminal. is there.
  • an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (SCSI Computer System Interface), an RS-232C port, or an optical audio terminal.
  • the externally connected device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
  • the communication device 883 is a communication device for connecting to a network, and is, for example, a communication card for wired or wireless LAN, Bluetooth (registered trademark), or WUSB (Wireless USB), a router for optical communication, and ADSL (Asymmetric Digital). A router for Subscriber Line), a modem for various communications, and the like.
  • the program is installed in the information processing device (10).
  • Launch a second application that provides extensions to the first application The first application is displayed, and the second application responds to a predetermined operation at a predetermined position on the hidden screen (display unit 150 of the information processing device 10) of the second application.
  • the process corresponding to the extended function selected from the menu 210 is executed.
  • the present technology can also have the following configurations.
  • (1) For information processing equipment Launch a second application that provides extensions to the first application, The first application is displayed, and the second application displays the menu of the second application in response to a predetermined operation at a predetermined position on the hidden screen. Overlaid on A program that executes a process corresponding to the extended function selected from the menu.
  • the predetermined operation is a swipe operation, and the menu is a pull-down menu.
  • the superimposed display of the menu is executed in preference to the operation of the operating system of the information processing apparatus, which is executed by the same operation as the predetermined operation at the predetermined position.
  • the extended function includes at least a screenshot taking function.
  • An information processing device including a control unit that executes a process corresponding to the extended function selected from the menu.
  • the information processing device Launch a second application that provides extensions to the first application, The first application is displayed, and the second application displays the menu of the second application in response to a predetermined operation at a predetermined position on the hidden screen. Overlaid on and displayed on A method of performing a process corresponding to the extension selected from the menu.
  • Information processing device 110 Operation unit 120 Storage unit 130 Imaging unit 140 Sensor unit 150 Display unit 160 Audio input unit 170 Audio output unit 180 Screen imaging unit 190 Control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

プログラムは、情報処理装置に、第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動させ、第１のアプリケーションが表示され、第２のアプリケーションは非表示の画面上の予め定められた位置における予め定められた操作に応答して、第２のアプリケーションのメニューを第１のアプリケーションに重畳表示させ、メニューから選択された拡張機能に対応する処理を実行させる。

Description

アプリケーション拡張プログラム、情報処理装置、および方法
　本開示は、アプリケーション拡張プログラム、情報処理装置、および方法に関する。
　近年、ユーザは、パソコンやスマートフォンなどの端末に様々なアプリケーションをインストールし、１つのアプリケーションのみならず、複数のアプリケーションを併用したユーザエクスペリエンスを得ている。
　例えば、ユーザは、ゲームアプリケーションのプレイ画面の動画や画像をカメラアプリケーションで撮影する。撮影した動画や画像は別のアプリケーションで加工などされ、Ｗｅｂサービスやさらに別のアプリケーションを介してネット配信やＷｅｂサイトに公開される。このように、ユーザは１つのアプリケーションを拡張するように、他のアプリケーションを用いて新たなユーザエクスペリエンスを得ようとする。
特開２０１７－１８８８３３号公報
　１つのアプリケーションを拡張するように他のアプリケーションを用いる際に、互いのアプリケーションの表示や動作を極力妨害しないことが、快適なユーザエクスペリエンスを得るために重要となる。例えば、ゲームアプリケーションのプレイ中に、カメラアプリケーションのユーザインタフェース（ＵＩ）がそのプレイを妨げるようなことは、快適なユーザエクスペリエンスを著しく損なわせてしまう。一方で、ゲームアプリケーションのプレイを優先させるためにカメラアプリケーションによる撮影がしづらくなるようなことは、プレイ画面の決定的瞬間の撮影を逃してしまうことにもなり得る。なお、このような課題は、ゲームアプリケーションやカメラアプリケーションなど特定のアプリケーションを使用する場合に限ったものではなく、ユーザが様々なアプリケーションを併用する場合に同様に生ずる課題である。
　そこで、本開示では、１つのアプリケーションを拡張するように他のアプリケーションを用いる際に、互いのアプリケーションの表示や動作を極力妨害することなく、より快適なユーザエクスペリエンスを提供することができるアプリケーション拡張プログラム、情報処理装置、および方法を提案する。
　本開示によれば、情報処理装置に、第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動させ、第１のアプリケーションが表示され、第２のアプリケーションは非表示の画面上の予め定められた位置における予め定められた操作に応答して、第２のアプリケーションのメニューを第１のアプリケーションに重畳表示させ、メニューから選択された拡張機能に対応する処理を実行させる、プログラムが提供される。
　また、本開示によれば、第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動し、第１のアプリケーションが表示され、第２のアプリケーションは非表示の画面上の予め定められた位置における予め定められた操作に応答して、第２のアプリケーションのメニューを第１のアプリケーションに重畳表示し、メニューから選択された拡張機能に対応する処理を実行する制御部を備えた、情報処理装置が提供される。
　また、本開示によれば、情報処理装置が、第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動し、第１のアプリケーションが表示され、第２のアプリケーションは非表示の画面上の予め定められた位置における予め定められた操作に応答して、第２のアプリケーションのメニューを第１のアプリケーションに重畳表示し、メニューから選択された拡張機能に対応する処理を実行する、方法が提供される。
本実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。 同実施形態に係る拡張アプリケーションのメニュー表示に係る操作の一例を示す図である。 同実施形態に係る拡張アプリケーションのメニュー表示に係る操作の一例を示す図である。 同実施形態に係るメニュー表示位置の変更に係る操作の一例を示す図である。 同実施形態に係る拡張アプリケーションおよびＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）のメニュー表示に係る操作の一例を示す図である。 同実施形態に係る拡張アプリケーションのメニューの一例を示す図である。 同実施形態に係る拡張アプリケーションのスクリーンショット機能に係る操作の一例を示す図である。 同実施形態に係るスクリーンショット機能のメニューの一例を示す図である。 同実施形態に係るスクリーンショット機能のメニューの一例を示す図である。 同実施形態に係るスクリーンショット機能のメニュー表示位置の変更に係る操作の一例を示す図である。 同実施形態に係るスクリーンショット機能の撮影に係る操作の一例を示す図である。 同実施形態に係るスクリーンショット機能の編集に係る操作の一例を示す図である。 同実施形態に係る拡張アプリケーションのサーチ機能に係る操作の一例を示す図である。 同実施形態に係る拡張アプリケーションのレコード機能に係る操作の一例を示す図である。 同実施形態に係るスクリーンショット機能の変形例を示す図である。 同実施形態の拡張アプリケーションのメニューの変形例を示す図である。 本開示の一実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、本明細書及び図面において、実質的に同一の部位には、同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．機能構成例
　　１．２．機能の詳細
　２．実施形態の変形例
　３．ハードウェア構成例
　４．まとめ
＜１．実施形態＞
＜＜１．１．機能構成例＞＞
　まず、本実施形態に係る情報処理装置１０の機能構成例について説明する。情報処理装置１０は、各種アプリケーションを実行可能なスマートフォンやタブレットＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）などのモバイル端末であってもよいし、ユーザの自宅や会社などに設置される据え置き端末であってもよい。
　図１は、本実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図１に示すように、本実施形態に係る情報処理装置１０は、操作部１１０、記憶部１２０、撮影部１３０、センサ部１４０、表示部１５０、音声入力部１６０、音声出力部１７０、画面撮影部１８０、制御部１９０を備える。
（操作部１１０）
　本実施形態に係る操作部１１０は、アプリケーションに対する機器操作など、ユーザによる各種の操作を検知する。上記の機器操作には、例えばタッチ操作や情報処理装置１０に対するイヤホン端子の挿入などが含まれる。ここでタッチ操作とは、表示部１５０に対する種々の接触動作、例えばタップ、ダブルタップ、スワイプ、ピンチなどをいう。また、タッチ操作には、表示部１５０に対し、例えば指などの物体を近づける動作を含む。このために、本実施形態に係る操作部１１０は、例えば、タッチパネル、ボタン、キーボード、マウス、近接センサなどを備える。本実施形態に係る操作部１１０は、検知したユーザの操作に係る情報を制御部１９０に入力する。
（記憶部１２０）
　本実施形態に係る記憶部１２０は、各種プログラムやデータを一時的または恒常的に記憶するための記憶領域である。例えば、記憶部１２０には、情報処理装置１０が各種機能を実行するためのプログラムやデータが記憶されてもよい。具体的な一例として、記憶部１２０には、各種アプリケーションを実行するためのプログラムや、各種設定等を管理するための管理データ等が記憶されてよい。もちろん、上記はあくまで一例であり、記憶部１２０に記憶されるデータの種別は特に限定されない。
（撮影部１３０）
　本実施形態に係る撮影部１３０は、制御部１９０による制御に基づいて、例えば、情報処理装置１０を操作するユーザの顔などを撮影する。このために、本実施形態に係る撮影部１３０は、撮像素子を備える。情報処理装置１０の一例であるスマートフォンは、表示部１５０側にユーザの顔などを撮影するためのフロントカメラを、表示部１５０の背面側に風景などを撮影するためのメインカメラを備え、本実施形態では、一例としてフロントカメラでの撮影を制御する。
（センサ部１４０）
　本実施形態に係るセンサ部１４０は、ユーザの行動に係るセンサ情報を、各種センサを用いて収集する機能を有する。センサ部１４０は、例えば加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）信号受信装置などを備える。センサ部１４０は、例えば、ユーザが情報処理装置１０を横向きに構えたことをジャイロセンサによって検知し、検知した情報を制御部１９０に入力する。
（表示部１５０）
　本実施形態に係る表示部１５０は、制御部１９０による制御に基づいて各種の視覚情報を表示する。本実施形態に係る表示部１５０は、例えば、アプリケーションに係る画像や文字などを表示してよい。このために、本実施形態に係る表示部１５０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイ装置など、各種のディスプレイ装置を備える。また、表示部１５０は、表示しているアプリケーションの画面よりも上位のレイヤに、他のアプリケーションのＵＩを重畳表示させることもできる。
（音声入力部１６０）
　本実施形態に係る音声入力部１６０は、制御部１９０による制御に基づいてユーザが発する音声などを収集する。このために、本実施形態に係る音声入力部１６０は、マイクロフォンなどを備える。
（音声出力部１７０）
　本実施形態に係る音声出力部１７０は、各種の音声を出力する。本実施形態に係る音声出力部１７０は、例えば、制御部１９０による制御に基づいてアプリケーションの状況に応じた音声や音を出力する。このために、本実施形態に係る音声出力部１７０は、スピーカやアンプを備える。
　本実施形態に係る画面撮影部１８０は、制御部１９０による制御に基づいて、表示部１５０に表示される画面のスクリーンショット（ＳＳ）や動画の撮影を行い、記憶部１２０に記憶する。
（制御部１９０）
　本実施形態に係る制御部１９０は、情報処理装置１０が備える各構成を制御する。また本実施形態に係る制御部１９０は、アプリケーションに対する機能拡張を制御することを特徴の一つとする。なお、アプリケーションに対する機能拡張は、別のアプリケーションによって行われる（ここで、機能拡張が行われるアプリケーションと、機能拡張を行う別のアプリケーションとを区別するため、それぞれを「外部アプリケーション」（第１のアプリケーションの一例）、「拡張アプリケーション」（第２のアプリケーションの一例）と呼ぶ）。機能拡張を行う際、制御部１９０は、外部アプリケーションの他、拡張アプリケーションを起動し、両方のアプリケーションを同時に制御する。本実施形態に係る制御部１９０が有する機能の詳細については後述される。
　以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。なお、図１を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成は係る例に限定されない。例えば、情報処理装置１０は、必ずしも図１に示す構成のすべてを備えなくてもよいし、音声入力部１６０などの各構成を情報処理装置１０とは異なる別の装置に備えることも可能である。本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　また、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読み出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜利用する構成を変更することが可能である。また情報処理装置１０のハードウェア構成の一例については後述される。
　＜＜１．１．機能の詳細＞＞
　次に、本実施形態に係る情報処理装置１０が有する機能について詳細に説明する。本実施形態に係る情報処理装置１０の制御部１９０は、各種の外部アプリケーションに対し拡張機能を提供する拡張アプリケーションを制御することを特徴の一つとする。外部アプリケーションとは、例えば、ゲームアプリケーションである。しかしながら、外部アプリケーションは、ゲームアプリケーションに限られず、描画アプリケーションや編集アプリケーション、動画や楽曲などを視聴するための音楽アプリケーションなど、情報処理装置１０にインストールしてユーザによって使用される各種のアプリケーションを含む。
　本実施形態に係る拡張アプリケーションによれば、各種の外部アプリケーションに対し、ソースコードの編集などを行わずに手軽に拡張機能を提供することが可能である。また、拡張機能を提供する際も、拡張アプリケーションは、外部アプリケーションやＯＳに対するユーザ操作、および外部アプリケーションの挙動を妨げないように動作することができる。
　図２は、本実施形態に係る拡張アプリケーションのメニュー表示に係る操作の一例を示す図である。図２では、ユーザが情報処理装置１０を横向きにしたことにより、センサ部１４０がそれを検知し、制御部１９０によって表示部１５０における画面は横画面で表示されている。
　図２上段は、制御部１９０が既に外部アプリケーション（ここでは、ゲームアプリケーション）を起動し、表示部１５０に外部アプリケーションの画面を全画面表示させた状態を示している。図２上段では、ユーザが外部アプリケーションをプレイ中であるが、拡張アプリケーションを使用していない状態である。
　図２上段における表示部１５０には、外部アプリケーションに対して機能拡張を行う拡張アプリケーションのＵＩは何も表示されていない。拡張アプリケーションは、外部アプリケーションの起動を検知して制御部１９０によって起動されてもよいし、外部アプリケーション起動中の任意の操作を検知して起動されてもよい。任意の操作とは、例えば、操作部１１０やセンサ部１４０によって検知されるユーザ操作や、音声入力部１６０によって認識される音声操作などである。また、拡張アプリケーションは、情報処理装置１０のＯＳの起動と共に自動起動されてもよい。または、表示部１５０に表示された拡張アプリケーション用のアイコンがユーザ操作によって押下されるなどして拡張アプリケーションが起動されてもよい。
　このように、外部アプリケーションの起動中に拡張アプリケーションも起動中の場合があるが、拡張アプリケーションをユーザが使用していない時は、原則、拡張アプリケーションのＵＩは表示されない。なお、拡張アプリケーションの起動時にロゴなどを表示してもよいが、例えば、一定時間後にロゴが自動的に消えるなどの制御が制御部１９０によって行われる。これにより、拡張アプリケーションをユーザが使用していない時、拡張アプリケーションは、外部アプリケーションやＯＳに対するユーザ操作、および外部アプリケーションの挙動を妨げないように動作することができる。
　図２中段は、拡張アプリケーションを使用するため、ユーザが表示部１５０に対し、タッチ操作を行おうとしている状態を示している。続いて、図２下段は、ユーザが表示部１５０の画面端からスワイプ操作を行ったことにより、拡張アプリケーションのメニュー２１０が、外部アプリケーションに対して重畳表示された状態を示している。
　メニュー２１０は、例えば、スワイプ操作の動きに対応して、画面端から展開されるプルダウンメニューである。なお、詳細は後述されるが、メニュー２１０は、表示部１５０の予め定められた位置における予め定められた操作によって表示される。そのため、厳密には、操作部１１０が表示部１５０に対するタッチ操作を検知し、制御部１９０に検知した操作と位置（画面座標）が送られ、制御部１９０によって、メニュー２１０を表示するか否かが判定される。メニュー２１０を表示するための条件（予め定められた位置における予め定められた操作）に合致した場合、制御部１９０は、表示部１５０にメニュー２１０を表示させる。
　なお、メニュー２１０を表示するためのタッチ操作は、スワイプに限られず、タップ、ダブルタップ、ピンチなどであってもよい。また、メニュー２１０の表示位置も、図２下段のような表示部１５０における右上部分に限定されず、表示部１５０における様々な位置であってよい。また、メニュー２１０の表示位置は、詳細を後述するが、ユーザによって自由に変更可能である。
　図３は、本実施形態に係る拡張アプリケーションのメニュー表示に係る操作の一例を示す図である。図３では、表示部１５０に縦画面用の外部アプリケーションを表示している。縦画面の場合も、図２の横画面同様、ユーザが表示部１５０に対してスワイプ操作を行うことにより、拡張アプリケーションのメニュー２１０が、外部アプリケーションに対して重畳表示される。
　図４は、本実施形態に係るメニュー表示位置の変更に係る操作の一例を示す図である。拡張アプリケーションのメニュー２１０の表示位置を固定してしまうと、外部アプリケーションやＯＳに対するユーザ操作、および外部アプリケーションの挙動を著しく妨げてしまう場合がある。例えば、外部アプリケーションの操作ボタンやアイコン、またはユーザが常に見ておきたい外部アプリケーションの表示部分などにメニュー２１０が重畳表示されてしまう場合である。そのため、拡張アプリケーションのメニュー２１０の表示位置は、ユーザによって自由に変更できるように制御部１９０によって制御される。
　図４上段は、メニュー２１０の表示位置を変更するため、ユーザが表示部１５０の予め定められた位置をタップしている状態を示している。ここでの予め定められた位置は、例えば、図２のメニュー２１０を展開するためにスワイプ操作を開始する位置（図２中段）付近の所定領域である。
　図４中段は、表示部１５０に対するタップ操作（図４上段）により、拡張アプリケーションのメニューバー２２０が表示された状態を示している。なお、メニューバー２２０を表示するためのタッチ操作は、タップに限られない。また、メニューバー２２０は、外部アプリケーションの画面に対して重畳表示されるため、外部アプリケーションの画面表示を極力妨げない形状や色、大きさ、透過率であることが望ましい。しかしながら、メニューバー２２０はこのような形状などに限定されない
　また、メニューバー２２０に対してタップ操作を行なうことにより、図２下段に示すようなメニュー２１０を展開してもよい。さらに、メニューバー２２０は、表示部１５０におけるメニューバー２２０以外の領域をタップすることにより、またはメニューバー２２０を一定時間操作しなかった場合に非表示状態となるように制御部１９０によって制御される。このように、メニューバー２２０も、ユーザが使用しない場合は非表示状態となるように制御部１９０によって制御される。これにより、拡張アプリケーションは、外部アプリケーションやＯＳに対するユーザ操作、および外部アプリケーションの挙動をさらに妨げないように動作することができる。
　図４下段は、表示部１５０における右上部分に表示されていたメニューバー２２０を、ユーザがドラッグ・アンド・ドロップ操作（第１のユーザ入力の一例）することにより、表示部１５０における左上部分に移動させた状態を示している。これにより、メニュー２１０の表示位置が、表示部１５０における右上部分（図２下段）から、左上部分（図５上段）に変更される。なお、メニュー２１０の表示位置は、表示部１５０における右上部分や左上部分に限定されない。　
　また、図４下段で変更したメニュー２１０の表示位置は、制御部１９０によって記憶部１２０に記憶され、以降、拡張アプリケーションを使用する場合は、記憶された表示位置にメニュー２１０が表示される。さらに、メニュー２１０の表示位置は、外部アプリケーションと関連付けて、外部アプリケーションごとに記憶部１２０に記憶されてもよい。これにより、様々な外部アプリケーションを使用する際に、都度、使用する外部アプリケーションに合わせてメニュー２１０の表示位置を変更する必要がなくなる。
　図５は、本実施形態に係る拡張アプリケーションおよびＯＳのメニュー表示に係る操作の一例を示す図である。図５上段に示すような、画面端からのスワイプ操作は、ＯＳのメニュー表示の際にも用いられることがある（すなわち、メニュー２１０およびＯＳメニュー２３０が同一の操作によって実行されてしまう）。このような場合、制御部１９０は、予め定められた位置におけるスワイプ操作ではメニュー２１０を優先して表示し（図５上段）、それ以外の位置におけるスワイプ操作ではＯＳメニュー２３０を表示する（図５中段および下段）ように制御する。
　より具体的には、例えば、ＯＳメニュー２３０は、本来であれば、表示部１５０における上部の画面端のどの位置からスワイプ操作を行なっても表示される。しかしながら、表示部１５０における左上部分からのスワイプ操作が、メニュー２１０を表示するようにユーザによって設定されている場合（図４）、制御部１９０は、メニュー２１０を優先して表示するように制御する（図５上段）。一方で、表示部１５０における右上部分からのスワイプ操作の場合、制御部１９０は、ＯＳメニュー２３０を表示するように制御する（図５下段。厳密には、制御部１９０はメニュー２１０を表示しないように制御し、ＯＳメニュー２３０の表示制御はＯＳに委ねられる）。
　なお、当然ながら、メニュー２１０の表示位置が表示部１５０における右上部分に設定されている場合、制御部１９０は、表示部１５０における右上部分からのスワイプ操作ではメニュー２１０を表示し、左上部分からのスワイプ操作ではＯＳメニュー２３０を表示するように制御する。また、メニュー２１０の表示位置が表示部１５０における上部以外に設定されている場合、制御部１９０は、表示部１５０における上部の画面端のどの位置からスワイプ操作が行われても、ＯＳメニュー２３０を表示するように制御する。これにより、拡張アプリケーションは、ＯＳに対するユーザ操作を妨げないように動作することができる。
　図６は、本実施形態に係る拡張アプリケーションのメニューの一例を示す図である。図６に示すように、拡張アプリケーションのメニュー２１０は、例えば、メニュー設定変更アイコン３１０、サーチ機能領域３２０、ＳＳ機能領域３３０、レコード機能領域３４０、クイックアクセス領域３５０、ＳＳアイコン３６０、連写用ＳＳアイコン３７０を含む。
　メニュー設定変更アイコン３１０は、メニュー２１０やメニューバー２２０に関する設定を変更するためのアイコンである。例えば、ユーザがメニュー設定変更アイコン３１０を押下すると設定変更画面（図示せず）を表示し、メニュー２１０の表示内容や、メニューバー２２０の種類、メニューバー２２０を常に表示にするようにするなど、各種変更を行うことができる。
　サーチ機能領域３２０、ＳＳ機能領域３３０、レコード機能領域３４０は、各種機能を使用するための領域である。各領域がユーザによって押下されると、制御部１９０は、それぞれの機能を使用するためのＵＩを表示部１５０に表示する。各種機能やそれらのＵＩについては後述される。
　クイックアクセス領域３５０は、メニュー２１０から即時に各種機能を利用するための領域である。図６の例では、クイックアクセス領域３５０は、ＳＳアイコン３６０、および連写用ＳＳアイコン３７０を含む。
　ＳＳアイコン３６０がユーザによって押下されると、制御部１９０は、画面撮影部１８０を介して、表示部１５０に表示された画面のスクリーンショット（画像）を１枚撮影し、撮影画像を記憶部１２０に記憶する。
　連写用ＳＳアイコン３７０がユーザによって押下されると、制御部１９０は、画面撮影部１８０を介して、表示部１５０に表示された画面のスクリーンショットを一定時間連続して複数枚撮影（いわゆるバーストモード撮影）する。そして、制御部１９０は、一定時間内に撮影された複数枚のスクリーンショットからＧＩＦ形式などのデータファイルを生成し、記憶部１２０に記憶する。これにより、動画ファイルと比較して、高ｆｐｓ（ｆｒａｍｅｓ　ｐｅｒ　ｓｅｃｏｎｄ）を維持しつつ、ファイルサイズを小さくすることができ、スマートフォンなどであっても撮影時の決定的瞬間を捉え易くなる。
　なお、ＳＳアイコン３６０や連写用ＳＳアイコン３７０が押下された場合、メニュー２１０は非表示状態となるように制御部１９０によって制御される。これにより、撮影されたスクリーンショットに、メニュー２１０が写り込まないようにすることができる。
　また、図６における、メニュー２１０の表示内容は一例であり、これに限定されない。外部アプリケーションに拡張機能を提供する各種機能を利用するためのアイコンや領域を増減させたり、それらの配置を変更させたりすることができる。また、メニュー２１０の形状や色、大きさ、透過率なども一例である。
　図７は、本実施形態に係る拡張アプリケーションのスクリーンショット機能に係る操作の一例を示す図である。図７上段は、スクリーンショット機能を使用するため、ユーザが表示部１５０に表示されたメニュー２１０のＳＳ機能領域３３０をタップしている状態を示している。
　続いて、図７下段は、ユーザがＳＳ機能領域３３０に対してタップ操作を行ったことにより、ＳＳメニュー４１０が、外部アプリケーションに対して重畳表示された状態を示している。また、メニュー２１０は、制御部１９０によって非表示状態となるように制御される。なお、図７下段の例では、ＳＳメニュー４１０が表示部１５０における左下部分に表示されているが、ＳＳメニュー４１０の表示位置は、ユーザによって自由に変更可能である。ＳＳメニュー４１０の表示位置の変更については後述される。
　図８は、本実施形態に係るスクリーンショット機能のメニューの一例を示す図である。図８に示すように、ＳＳメニュー４１０は、例えば、ＳＳ機能アイコン４２０、ＳＳアイコン４３０、連写用ＳＳアイコン４４０、ＳＳ機能設定変更アイコン４５０、戻るアイコン４６０を含む。
　ＳＳ機能アイコン４２０は、詳細を後述するが、ユーザによってドラッグ・アンド・ドロップ操作されることにより、ＳＳメニュー４１０の表示位置を変更することができる。
　ＳＳアイコン４３０は、ＳＳアイコン３６０同様、ユーザによって押下されると、表示部１５０に表示された画面のスクリーンショットが１枚撮影され、記憶部１２０に記憶される。
　連写用ＳＳアイコン４４０は、連写用ＳＳアイコン３７０同様、ユーザによって押下されると、表示部１５０に表示された画面のスクリーンショットがバーストモードで複数枚撮影され、記憶部１２０に記憶される。
　ＳＳ機能設定変更アイコン４５０は、ＳＳ機能に関する設定を変更するためのアイコンである。例えば、ユーザがＳＳ機能設定変更アイコン４５０を押下すると設定変更画面（図示せず）を表示し、バーストモード時の連写撮影時間や連写撮影枚数など、各種変更（第２のユーザ入力の一例）を行うことができる。
　戻るアイコン４６０は、ユーザによって押下されると、ＳＳメニュー４１０を非表示状態にし、メニュー２１０を表示するように制御部１９０によって制御される（すなわち、図７上段の状態に戻る）。
　なお、図８における、ＳＳメニュー４１０の表示内容は一例であり、これに限定されない。各種スクリーンショット機能を利用するためのアイコンを増減させたり、それらの配置を変更させたりすることができる。また、ＳＳメニュー４１０の各種アイコンの形状や色、大きさ、透過率なども一例である。
　また、ＳＳメニュー４１０の各種アイコン以外の領域は、外部アプリケーションが表示されており、ＳＳメニュー４１０が外部アプリケーションの表示や挙動を極力妨げないように制御部１９０によって制御される。
　図９は、本実施形態に係るスクリーンショット機能のメニューの一例を示す図である。図９では、表示部１５０に縦画面用の外部アプリケーションを表示している。縦画面の場合も、図７の横画面同様、メニュー２１０を表示し（図３）、メニュー２１０のＳＳ機能領域３３０をタップすると、ＳＳメニュー４１０が表示される。なお、縦画面と横画面とで、各種アイコンの配置などが異なるＳＳメニュー４１０を表示することもできる。
　図１０は、本実施形態に係るスクリーンショット機能のメニュー表示位置の変更に係る操作の一例を示す図である。ＳＳメニュー４１０の表示位置を固定してしまうと、外部アプリケーションやＯＳに対するユーザ操作、および外部アプリケーションの挙動を著しく妨げてしまう場合がある。そのため、ＳＳメニュー４１０の表示位置は、ユーザによって自由に変更できるように制御部１９０によって制御される。
　図１０上段は、表示部１５０における左下部分にＳＳメニュー４１０が表示された状態を示している。次に、図１０下段に示すように、左下部分に表示されていたＳＳメニュー４１０におけるＳＳ機能アイコン４２０を、ユーザがドラッグ・アンド・ドロップ操作することにより、表示部１５０における右下部分に移動させた状態を示している。これにより、ＳＳメニュー４１０の表示位置が、表示部１５０における左下部分から、右下部分に変更される。
　なお、ＳＳメニュー４１０の表示位置は、表示部１５０における左下部分や右下部分に限定されない。また、図１０下段の例では、ＳＳ機能アイコン４２０をユーザが操作することによりＳＳメニュー４１０を移動しているが、例えば、ＳＳメニュー４１０におけるＳＳ機能アイコン４２０以外のアイコンをドラッグ・アンド・ドロップ操作するようにしてもよい。
　図１１は、本実施形態に係るスクリーンショット機能の撮影に係る操作の一例を示す図である。図１１上段は、スクリーンショットの撮影を行うため、ユーザが、ＳＳメニュー４１０においてＳＳアイコン４３０または連写用ＳＳアイコン４４０を押下しようとしている状態を示している。
　図１１中段は、ＳＳアイコン４３０または連写用ＳＳアイコン４４０がユーザによって押下され、画面撮影部１８０がスクリーンショットを撮影している状態を示している。ＳＳアイコン４３０または連写用ＳＳアイコン４４０がユーザによって押下されると、制御部１９０は、ＳＳメニュー４１０を非表示状態にする。そして、制御部１９０は、画面撮影部１８０を介して、表示部１５０に表示された画面のスクリーンショットを撮影し、撮影画像を記憶部１２０に記憶する。図１１中段に示されるように、スクリーンショットの撮影中、ＳＳメニュー４１０をはじめ、拡張アプリケーションのＵＩは表示されないように、制御部１９０によって制御される。これにより、撮影されたスクリーンショットに、拡張アプリケーションのＵＩが写り込まないようにすることができる。なお、制御部１９０は、スクリーンショットの撮影の開始時に、ユーザに撮影開始を知らせるための音声または音を、音声出力部１７０を介して出力するように制御することもできる。
　図１１下段は、画面撮影部１８０によるスクリーンショットの撮影が完了した状態を示している。制御部１９０は、スクリーンショットの撮影が完了すると、ＳＳメニュー４１０を再度表示するように制御する。または、スクリーンショットの撮影が完了した際は、ＳＳメニュー４１０を非表示状態のままにしてもよい。また、制御部１９０は、スクリーンショットの撮影の完了時に、ユーザに撮影完了を知らせるための音声または音を、音声出力部１７０を介して出力するように制御することもできる。
　図１２は、本実施形態に係るスクリーンショット機能の編集に係る操作の一例を示す図である。図１２は、連写用ＳＳアイコン３７０または連写用ＳＳアイコン４４０を押下して実行されたバーストモード撮影による撮影結果５１０が示されている。撮影結果５１０には、バーストモードにより撮影された複数枚のスクリーンショットが左から右に時系列に並んで表示されている。図１２に示すように、ユーザは、タップ操作（第４のユーザ入力の一例）などによって撮影結果５１０から任意の画像を選択することができる。制御部１９０は、選択された画像からＧＩＦ形式などのデータファイルを生成し、記憶部１２０に記憶する。また、撮影結果５１０から不要な画像を選択させ、残りの画像からデータファイルを生成してもよい。さらに、任意の画像をドラッグ・アンド・ドロップ操作によって入れ替えたり、スクリーンショットの並び順を変更させたりすることもできる。また、撮影結果５１０に表示しきれない画像は、例えば、撮影結果５１０の所定領域において、ユーザがフリック操作することにより、時系列に並んだ画像を横スクロールさせ、表示させることができる。このように、バーストモードにより撮影された複数枚のスクリーンショットを編集することにより、ユーザは好みのＧＩＦアニメーション画像などを作成することができる。
　図１３は、本実施形態に係る拡張アプリケーションのサーチ機能に係る操作の一例を示す図である。サーチ機能は、外部アプリケーションを使用しながら、検索ワードに基づいて、動画サイトやサーチエンジンに対する検索を実行するための機能である。図１３上段は、サーチ機能を使用するため、ユーザが表示部１５０に表示されたメニュー２１０のサーチ機能領域３２０をタップしている状態を示している。
　続いて、図１３中段は、ユーザがサーチ機能領域３２０に対してタップ操作を行ったことにより、サーチメニュー６１０が、外部アプリケーションに対して重畳表示された状態を示している。また、メニュー２１０は、制御部１９０によって非表示状態となるように制御される。なお、図１３中段の例では、サーチメニュー６１０が表示部１５０における左下部分に表示されているが、サーチメニュー６１０の表示位置は、ユーザによって自由に変更可能である。
　図１３中段に示すように、サーチメニュー６１０は、戻るアイコン６２０、サーチ先選択領域６３０、サーチボックス６４０、サーチボタン６５０、サーチ結果６６０、サイズ変更アイコン６７０を含む。
　戻るアイコン６２０は、ユーザによって押下されると、サーチメニュー６１０を非表示状態にし、メニュー２１０を表示するように制御部１９０によって制御される（すなわち、図１３上段の状態に戻る）。または、サーチメニュー６１０以外の領域をユーザがタップ操作などすることにより、サーチメニュー６１０を非表示状態にし、メニュー２１０を表示することができる。
　サーチ先選択領域６３０には、サーチ可能な動画サイトやサーチエンジンの名称などが表示され、ユーザがタップ操作などによりサーチ先を選択することができる。なお、サーチメニュー６１０を表示した段階で、いずれかのサーチ先が初期設定されていてもよい。なお、初期設定を行うサーチ先をユーザに予め選択させ、記憶部１２０に記憶しておくこともできる。また、初期設定を行うサーチ先は、外部アプリケーションと関連付けて、外部アプリケーションごとに記憶部１２０に記憶されてもよい。これにより、様々な外部アプリケーションを使用する際に、都度、サーチ先を選択する必要がなくなる。さらに、サーチ先の選択頻度や使用頻度を外部アプリケーションごとに記憶部１２０に記憶しておき、外部アプリケーションに対して最も選択頻度や使用頻度の高いサーチ先を初期設定することもできる。
　サーチボックス６４０は、サーチ先選択領域６３０において選択されたサーチ先に対する検索ワードを入力するための領域である。なお、ユーザが図１３に示すような拡張アプリケーションのサーチ機能を利用する場合、外部アプリケーションに関する情報を検索する可能性が極めて高い。そのため、サーチメニュー６１０を表示した段階で、サーチボックス６４０には、外部アプリケーションのタイトルなどを初期設定しておくことができる。これにより、ユーザの入力負担を軽減させることができる。
　サーチボタン６５０は、検索ワードに基づいて動画サイトやサーチエンジンに対する検索を実行するためのボタンである。サーチボタン６５０がユーザによって押下されると、制御部１９０は、サーチ先選択領域６３０において選択されたサーチ先に対して、サーチボックス６４０に入力された検索ワードで検索を実行する。なお、サーチボックス６４０の入力領域内に対するユーザのタップ操作によっても、サーチボタン６５０による検索と同様の検索を実行することもできる。
　サーチ結果６６０は、サーチ先選択領域６３０において選択されたサーチ先に対して、サーチボックス６４０に入力された検索ワードで検索したサーチ結果を示す領域である。サーチ先が動画サイトであれば、サーチ結果６６０には、検索ヒットした動画のサムネイルやリンク先などが一覧形式で表示される。一方、サーチ先がサーチエンジンであれば、検索ヒットしたサイトのリンク先などが一覧形式で表示される。なお、サーチメニュー６１０を表示した段階で、初期設定されているサーチ先と検索ワードによるサーチ結果を初期表示させることもできる。また、サーチ結果６６０に表示しきれないサーチ結果を表示するため、例えば、サーチ結果６６０の所定領域において、ユーザがフリック操作することにより、サーチ結果６６０の表示を上下にスクロールなどさせることができる。
　サイズ変更アイコン６７０は、図１３下段に示すように、ユーザがドラッグ・アンド・ドロップ操作することにより、サーチメニュー６１０のサイズを自由に変更することができる。これにより、図１３下段に示すように、サーチメニュー６１０に表示可能な情報量を増やすことができる。
　なお、サーチメニュー６１０は、あくまでも拡張アプリケーションの機能の１つであり、ピクチャーインピクチャー機能により既存のブラウザを表示させたものではない。サーチメニュー６１０のサイズや表示位置など各種設定やサーチ結果は、記憶部１２０に保持データとして記憶される。そのため、サーチメニュー６１０を一旦閉じて再表示した場合であっても、制御部１９０が記憶部１２０から、保持データを読み出し、閉じた時の状態でサーチメニュー６１０を表示させることができる。また、このような保持データは、外部アプリケーションと関連付けて、外部アプリケーションごとに記憶部１２０に記憶させることもできる。これにより、ユーザが誤って、または意図的にサーチメニュー６１０を閉じてしまった場合であっても、ユーザの設定した各種設定やサーチ結果がリセットされてしまうような問題を回避することができる。
　なお、図１３中段や下段における、サーチメニュー６１０の表示内容は一例であり、これに限定されない。各種サーチ機能を利用するためのアイコンや領域を増減させたり、それらの配置を変更させたりすることができる。また、サーチメニュー６１０の各種アイコンや領域の形状、色、大きさ、透過率なども一例である。
　図１４は、本実施形態に係る拡張アプリケーションのレコード機能に係る操作の一例を示す図である。レコード機能は、外部アプリケーションのプレイ動画を配信用に記録するための機能である。なお、プレイ動画は、撮影部１３０で撮影されるユーザや、音声入力部１６０で収集されたユーザの音声などと合成されて記録される。
　図１４左側は、レコード機能を使用するため、ユーザが表示部１５０に表示されたメニュー２１０のレコード機能領域３４０をタップしている状態を示している。
　続いて、図１４右側は、ユーザがレコード機能領域３４０に対してタップ操作を行ったことにより、レコードメニュー７１０が、外部アプリケーションに対して重畳表示された状態を示している。また、メニュー２１０は、制御部１９０によって非表示状態にするように制御される。なお、レコードメニュー７１０の表示位置は、ユーザによって自由に変更可能である。
　図１４右側に示すように、レコードメニュー７１０は、戻るアイコン７２０、入力設定領域７３０、出力設定領域７４０、ボイスチェンジャー設定領域７５０、テストボタン７６０、録画ボタン７７０を含む。
　戻るアイコン７２０は、ユーザによって押下されると、レコードメニュー７１０を非表示状態にし、メニュー２１０を表示するように制御部１９０によって制御される（すなわち、図１４左側の状態に戻る）。または、レコードメニュー７１０以外の領域をユーザがタップ操作などすることにより、レコードメニュー７１０を非表示状態にし、メニュー２１０を表示することもできる。
　入力設定領域７３０は、ユーザを撮影するフロントカメラや、ユーザの音声などを収集するマイクのＯＮ／ＯＦＦ設定を行うための領域である。
　出力設定領域７４０は、マイクで収集された音声や、アプリ音（外部アプリケーションの音量）の出力音量を調節するための領域である。出力設定領域７４０において調節される出力音量は、レコード機能によって記録される各種音量である。また、音声とアプリ音の出力バランスを表示させることもできる。なお、出力設定領域７４０における出力音量は、ＯＳにおける出力音量とは独立して調節することができる。例えば、情報処理装置１０の音声出力部１７０によって出力されるアプリ音は比較的大きな音量にし、レコード機能によって記録するアプリ音は、ユーザの音声が聞こえる程度に小さな音量に調節することができる。
　ボイスチェンジャー設定領域７５０は、ボイスチェンジャー使用のＯＮ／ＯＦＦ設定や、マイクで収集された音声の声域や声質を調節するための領域である。
　テストボタン７６０は、マイクで収集された音声や、アプリ音をレコードメニュー７１０において設定された内容に基づいて録音、再生するためのボタンである。例えば、テストボタン７６０がユーザによって押下されると、一定時間、ユーザの音声や、アプリ音を一時的に記録し、その後、記録された音声やアプリ音を再生する。なお、再生される音声やアプリ音は、レコードメニュー７１０において設定された内容に基づいて調節されたものである。これにより、ユーザは、レコード機能によって記録される音声やアプリ音の音量バランスなどを実際に確認し、レコードメニュー７１０における設定内容を再調節することができる。
　録画ボタン７７０は、外部アプリケーションのプレイ動画を記録するためのボタンである。例えば、録画ボタン７７０がユーザによって押下されると、制御部１９０は、レコードメニュー７１０を非表示状態にし、画面撮影部１８０を介して、表示部１５０に表示された画面の動画撮影を開始し、撮影動画を記憶部１２０に記憶する。この際、撮影部１３０で撮影されるユーザや、音声入力部１６０で収集されたユーザの音声などと合成されて記録されてもよい。
　＜２．実施形態の変形例＞
　図１５は、本実施形態に係るスクリーンショット機能の変形例を示す図である。図８などで説明したように、連写用ＳＳアイコン４４０（または連写用ＳＳアイコン３７０）がユーザによって押下されると、制御部１９０は、表示部１５０に表示された画面のスクリーンショットを一定時間連続して複数枚撮影する。
　しかしながら、スクリーンショットの撮影を行うため、各種メニューを表示し、連写用ＳＳアイコン４４０を押下している間に、撮影したい場面を撮り逃してしまう場合もある。そのため、図１５に示すように、スクリーンショットを一定時間、予め撮影および記憶しておき、連写用ＳＳアイコン４４０押下（第３のユーザ入力の一例）によって撮影されたスクリーンショットと合わせて１つのデータファイルとして記憶する。
　予め撮影する際の開始は、拡張アプリケーションの起動時であってもよいが、情報処理装置１０のパフォーマンスやリソースなどを考慮すると、任意の操作をトリガーとすることが望ましい。任意の操作とは、例えば、操作部１１０やセンサ部１４０によって検知されるユーザ操作や、音声入力部１６０によって認識される音声操作などである。また、予め記憶したスクリーンショットを延々と保持しておくと、記憶部１２０のデータ容量を圧迫しかねないため、古くなったスクリーンショットは順次削除される。
　図１６は、本実施形態の拡張アプリケーションのメニューの変形例を示す図である。図１６上段は、クイックアクセスメニュー８１０を表示するため、ユーザが表示部１５０の予め定められた位置に対してフリック操作している状態を示している。
　続いて、図１６下段は、ユーザがフリック操作を行ったことにより、クイックアクセスメニュー８１０が、外部アプリケーションに対して重畳表示された状態を示している。クイックアクセスメニュー８１０は、ＳＳアイコン３６０、連写用ＳＳアイコン３７０、録画ボタン７７０を含む。ユーザは、クイックアクセスメニュー８１０から、各種アイコンを押下することで、外部アプリケーションのプレイ画面の動画や画像をより素早く撮影することができる。
　なお、クイックアクセスメニュー８１０を表示するためのタッチ操作や、表示部１５０の予め定められた位置、クイックアクセスメニュー８１０の表示位置などは、ユーザによって自由に変更可能である。また、クイックアクセスメニュー８１０の表示内容は一例であり、これに限定されない。クイックアクセスするためのアイコンを増減させたり、それらの配置を変更させたりすることができる。また、クイックアクセスメニュー８１０の形状や色、大きさ、透過率なども一例である。
　＜３．ハードウェア構成例＞
　次に、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１７は、本開示の一実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１７を参照すると、情報処理装置１０は、例えば、プロセッサ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力装置８７８と、出力装置８７９と、ストレージ８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（プロセッサ８７１）
　プロセッサ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、ストレージ８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
（ＲＯＭ８７２、ＲＡＭ８７３）
　ＲＯＭ８７２は、プロセッサ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、プロセッサ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
　プロセッサ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
（入力装置８７８）
　入力装置８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置８７８には、マイクロフォンなどの音声入力装置が含まれる。
（出力装置８７９）
　出力装置８７９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置８７９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
（ストレージ８８０）
　ストレージ８８０は、各種のデータを格納するための装置である。ストレージ８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
（ドライブ８８１）
　ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（接続ポート８８２）
　接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
　外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
（通信装置８８３）
　通信装置８８３は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
　＜４．まとめ＞
　以上説明したように、プログラムは、情報処理装置（１０）に、
　第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動させ、
　第１のアプリケーションが表示され、第２のアプリケーションは非表示の画面（情報処理装置１０の表示部１５０）上の予め定められた位置における予め定められた操作に応答して、第２のアプリケーションのメニューを第１のアプリケーションに重畳表示させ、
　メニュー２１０から選択された拡張機能に対応する処理を実行させる。
　これにより、１つのアプリケーションを拡張するように他のアプリケーションを用いる際に、互いのアプリケーションの表示や動作を極力妨害することなく、より快適なユーザエクスペリエンスを提供することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）情報処理装置に、
　第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動させ、
　前記第１のアプリケーションが表示され、前記第２のアプリケーションは非表示の画面上の予め定められた位置における予め定められた操作に応答して、前記第２のアプリケーションのメニューを前記第１のアプリケーションに重畳表示させ、
　前記メニューから選択された前記拡張機能に対応する処理を実行させる、プログラム。
（２）前記予め定められた位置は、第１のユーザ入力に基づいて予め決定される、前記（１）に記載のプログラム。
（３）前記予め定められた操作はスワイプ操作であり、前記メニューはプルダウンメニューである、前記（１）または（２）に記載のプログラム。
（４）前記スワイプ操作は画面端からの操作であり、前記プルダウンメニューは前記画面端から展開される、前記（３）に記載のプログラム。
（５）前記メニューの重畳表示は、前記予め定められた位置における前記予め定められた操作と同一の操作によって実行される、前記情報処理装置のオペレーティングシステムの動作より優先して実行される、前記（１）～（４）のいずれかに記載のプログラム。
（６）前記拡張機能は、スクリーンショット撮影機能を少なくとも含む、前記（１）～（５）のいずれかに記載のプログラム。
（７）前記スクリーンショット撮影機能による撮影中は、前記メニューが非表示状態になる、前記（６）に記載のプログラム。
（８）前記スクリーンショット撮影機能の連写撮影時間および／または連写撮影枚数は、第２のユーザ入力に基づいて決定される、前記（６）または（７）に記載のプログラム。
（９）前記情報処理装置に、
　前記スクリーンショット撮影機能による撮影を予め実行しておき、第３のユーザ入力のあった時の一定時間前から、前記第３のユーザ入力のあった時から前記連写撮影時間の経過後までの複数の撮影画像を１つのデータファイルとして保存する
　処理をさらに実行させる、前記（８）に記載のプログラム。
（１０）前記情報処理装置に、
　前記スクリーンショット撮影機能によって撮影された複数の画像から、第４のユーザ入力に基づいて選択された１つまたは複数の画像を１つのデータファイルとして保存する
　処理をさらに実行させる、前記（６）～（９）のいずれかに記載のプログラム。
（１１）第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動し、
　前記第１のアプリケーションが表示され、前記第２のアプリケーションは非表示の画面上の予め定められた位置における予め定められた操作に応答して、前記第２のアプリケーションのメニューを前記第１のアプリケーションに重畳表示し、
　前記メニューから選択された前記拡張機能に対応する処理を実行する制御部
　を備えた、情報処理装置。
（１２）情報処理装置が、
　第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動し、
　前記第１のアプリケーションが表示され、前記第２のアプリケーションは非表示の画面上の予め定められた位置における予め定められた操作に応答して、前記第２のアプリケーションのメニューを前記第１のアプリケーションに重畳表示し、
　前記メニューから選択された前記拡張機能に対応する処理を実行する、方法。
　１０　　情報処理装置
　１１０　操作部
　１２０　記憶部
　１３０　撮影部
　１４０　センサ部
　１５０　表示部
　１６０　音声入力部
　１７０　音声出力部
　１８０　画面撮影部
　１９０　制御部

Claims (12)

  1. 　情報処理装置に、
    　第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動させ、
    　前記第１のアプリケーションが表示され、前記第２のアプリケーションは非表示の画面上の予め定められた位置における予め定められた操作に応答して、前記第２のアプリケーションのメニューを前記第１のアプリケーションに重畳表示させ、
    　前記メニューから選択された前記拡張機能に対応する処理を実行させる、プログラム。
  2. 　前記予め定められた位置は、第１のユーザ入力に基づいて予め決定される、請求項１に記載のプログラム。
  3. 　前記予め定められた操作はスワイプ操作であり、前記メニューはプルダウンメニューである、請求項１に記載のプログラム。
  4. 　前記スワイプ操作は画面端からの操作であり、前記プルダウンメニューは前記画面端から展開される、請求項３に記載のプログラム。
  5. 　前記メニューの重畳表示は、前記予め定められた位置における前記予め定められた操作と同一の操作によって実行される、前記情報処理装置のオペレーティングシステムの動作より優先して実行される、請求項１に記載のプログラム。
  6. 　前記拡張機能は、スクリーンショット撮影機能を少なくとも含む、請求項１に記載のプログラム。
  7. 　前記スクリーンショット撮影機能による撮影中は、前記メニューが非表示状態になる、請求項６に記載のプログラム。
  8. 　前記スクリーンショット撮影機能の連写撮影時間および／または連写撮影枚数は、第２のユーザ入力に基づいて決定される、請求項６に記載のプログラム。
  9. 　前記情報処理装置に、
    　前記スクリーンショット撮影機能による撮影を予め実行しておき、第３のユーザ入力のあった時の一定時間前から、前記第３のユーザ入力のあった時から前記連写撮影時間の経過後までの複数の撮影画像を１つのデータファイルとして保存する
    　処理をさらに実行させる、請求項８に記載のプログラム。
  10. 　前記情報処理装置に、
    　前記スクリーンショット撮影機能によって撮影された複数の画像から、第４のユーザ入力に基づいて選択された１つまたは複数の画像を１つのデータファイルとして保存する
    　処理をさらに実行させる、請求項６に記載のプログラム。
  11. 　第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動し、
    　前記第１のアプリケーションが表示され、前記第２のアプリケーションは非表示の画面上の予め定められた位置における予め定められた操作に応答して、前記第２のアプリケーションのメニューを前記第１のアプリケーションに重畳表示し、
    　前記メニューから選択された前記拡張機能に対応する処理を実行する制御部
    　を備えた、情報処理装置。
  12. 　情報処理装置が、
    　第１のアプリケーションに拡張機能を提供する第２のアプリケーションを起動し、
    　前記第１のアプリケーションが表示され、前記第２のアプリケーションは非表示の画面上の予め定められた位置における予め定められた操作に応答して、前記第２のアプリケーションのメニューを前記第１のアプリケーションに重畳表示し、
    　前記メニューから選択された前記拡張機能に対応する処理を実行する、方法。
PCT/JP2019/035068 2019-09-05 2019-09-05 アプリケーション拡張プログラム、情報処理装置、および方法 WO2021044601A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/035068 WO2021044601A1 (ja) 2019-09-05 2019-09-05 アプリケーション拡張プログラム、情報処理装置、および方法
EP19944603.0A EP4009153A4 (en) 2019-09-05 2019-09-05 APPLICATION EXTENSION PROGRAM, INFORMATION PROCESSING DEVICE AND METHOD
US17/638,186 US20220329686A1 (en) 2019-09-05 2019-09-05 Application extension program, information processing apparatus, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/035068 WO2021044601A1 (ja) 2019-09-05 2019-09-05 アプリケーション拡張プログラム、情報処理装置、および方法

Publications (1)

Publication Number Publication Date
WO2021044601A1 true WO2021044601A1 (ja) 2021-03-11

Family

ID=74853303

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035068 WO2021044601A1 (ja) 2019-09-05 2019-09-05 アプリケーション拡張プログラム、情報処理装置、および方法

Country Status (3)

Country Link
US (1) US20220329686A1 (ja)
EP (1) EP4009153A4 (ja)
WO (1) WO2021044601A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110825289A (zh) * 2019-10-31 2020-02-21 北京字节跳动网络技术有限公司 操作用户界面的方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015005146A1 (ja) * 2013-07-12 2015-01-15 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2015038718A (ja) * 2013-08-19 2015-02-26 株式会社ワコム 描画装置
JP2017134632A (ja) * 2016-01-28 2017-08-03 カシオ計算機株式会社 表示装置、表示制御方法及びプログラム
JP2017174029A (ja) * 2016-03-23 2017-09-28 キヤノン株式会社 画像表示装置
JP2017188833A (ja) 2016-04-08 2017-10-12 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080282160A1 (en) * 2007-04-06 2008-11-13 James Ian Tonnison Designated screen capturing and automatic image exporting
US20120249853A1 (en) * 2011-03-28 2012-10-04 Marc Krolczyk Digital camera for reviewing related images
JP5613187B2 (ja) * 2012-01-27 2014-10-22 オリンパスイメージング株式会社 撮像装置、撮像装置の制御方法、及び、撮像装置の制御をコンピュータに行わせるためのコードを備える持続性コンピュータ可読媒体
KR102172354B1 (ko) * 2013-06-28 2020-10-30 삼성전자주식회사 이미지 파일 생성 방법 및 장치
JP6819042B2 (ja) * 2016-01-14 2021-01-27 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム
US9912860B2 (en) * 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
US9883035B1 (en) * 2017-02-02 2018-01-30 Conduent Business Services, Llc Methods and systems for automatically recognizing actions in a call center environment using screen capture technology
WO2018227824A1 (zh) * 2017-06-16 2018-12-20 华为技术有限公司 一种显示方法及设备
CN110764673A (zh) * 2018-07-28 2020-02-07 华为技术有限公司 滚动截屏的方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015005146A1 (ja) * 2013-07-12 2015-01-15 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2015038718A (ja) * 2013-08-19 2015-02-26 株式会社ワコム 描画装置
JP2017134632A (ja) * 2016-01-28 2017-08-03 カシオ計算機株式会社 表示装置、表示制御方法及びプログラム
JP2017174029A (ja) * 2016-03-23 2017-09-28 キヤノン株式会社 画像表示装置
JP2017188833A (ja) 2016-04-08 2017-10-12 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4009153A4

Also Published As

Publication number Publication date
EP4009153A4 (en) 2022-08-03
EP4009153A1 (en) 2022-06-08
US20220329686A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
US20210081560A1 (en) Device, method, and graphical user interface for accessing an application in a locked device
US9977586B2 (en) Display control device, display control method, and program
JP6102588B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5129755B2 (ja) コマンド機能表示方法及びモバイルターミナル
JP2019194904A (ja) 画像のグループについてのテキスト色を生成する方法及び装置
WO2021104236A1 (zh) 一种共享拍摄参数的方法及电子设备
US10622021B2 (en) Method and system for video editing
KR102124191B1 (ko) 메시지 처리 방법 및 그 전자 장치
JP6149862B2 (ja) 表示制御装置、表示制御システムおよび表示制御方法
US20150363091A1 (en) Electronic device and method of controlling same
JP2016537918A (ja) スクロール時の画像上のキャプションのパララックスのための方法及び装置
KR20210052540A (ko) 비디오 처리 방법 및 장치, 디바이스 그리고 저장 매체
CN113918522A (zh) 一种文件生成方法、装置及电子设备
KR20150043063A (ko) 전자 장치 및 이의 정보 제공 방법
JP2006178768A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2020170453A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112567325A (zh) 信息处理设备和信息处理方法
WO2021044601A1 (ja) アプリケーション拡張プログラム、情報処理装置、および方法
KR102317619B1 (ko) 전자 장치 및 이의 제어 방법
JP5126026B2 (ja) 情報処理装置、表示制御方法およびプログラム
WO2022209395A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2022059707A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021166213A1 (ja) プログラム、情報処理装置、情報処理方法
US20240187514A1 (en) Program, information processing device, and information processing method
KR20080109324A (ko) 파일 검색 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19944603

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019944603

Country of ref document: EP

Effective date: 20220303

NENP Non-entry into the national phase

Ref country code: JP