CN111936956A - 基于特定出的拍摄范围控制显示装置的系统 - Google Patents

基于特定出的拍摄范围控制显示装置的系统 Download PDF

Info

Publication number
CN111936956A
CN111936956A CN201880091889.5A CN201880091889A CN111936956A CN 111936956 A CN111936956 A CN 111936956A CN 201880091889 A CN201880091889 A CN 201880091889A CN 111936956 A CN111936956 A CN 111936956A
Authority
CN
China
Prior art keywords
image
terminal device
display
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880091889.5A
Other languages
English (en)
Inventor
猪子寿之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TEAM LAB Inc
Original Assignee
TEAM LAB Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TEAM LAB Inc filed Critical TEAM LAB Inc
Publication of CN111936956A publication Critical patent/CN111936956A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/825—Fostering virtual characters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本发明的课题是提供一种终端装置与显示装置连带动作的显示控制系统。本发明的解决方案是一种显示控制系统具备：终端装置10，具有拍摄部；显示装置50，显示影像；以及控制装置20，控制显示装置50。终端装置10或控制装置20基于由拍摄部所拍摄的拍摄图像，特定出显示装置50所显示的影像中的拍摄范围。控制装置50基于特定出的拍摄范围，控制显示装置50所显示的影像的显示状态。借此，能做到如后述的具有互动性的画面呈现：在终端装置10的拍摄范围中所包含的对象从影像中消失、在终端装置10的拍摄范围使对象出现在影像中。

Description

基于特定出的拍摄范围控制显示装置的系统
技术领域
本发明是关于一种显示控制系统或显示控制方法，特定出在预定的影像中由终端装置所拍摄的拍摄范围，并基于所述拍摄范围控制影像的显示状态。举例而言，在本发明的系统，于投影至屏幕的影像中存在有动物的情况，能做到如后述的画面呈现：当以终端装置拍摄所述动物，则动物会从影像中消失，仿佛是由终端装置捕捉到动物。或者，还能做到如后述的画面呈现：使动物或饲料等出现在由终端装置所拍摄的影像的拍摄范围中。又，本发明还关于一种使用于像这样的系统的终端装置，或关于一种终端装置用的计算机程序。
背景技术
近年来，随着高功能且多功能的便携式终端(所谓的智能手机)的普及率升高，普遍能看到各厂商尝试通过对用户所持有的便携式终端提供具吸引力的程序内容，提高顾客前往展示会或店铺的集客力。
举例而言，在专利文献1公开一种使用所谓的AR(Augmented Reality，增强现实技术)技术的店铺集客辅助系统。在专利文献1的系统，是将预定的脚色的影像投影至屏幕，让用户以便携式终端拍摄此影像，从而特定出在此拍摄图像所包含的脚色，并令此特定出的脚色为已完成捕捉而登录至图鉴；其中，屏幕设在店铺中的商品所配置的区域。在此系统，通过网际网络将由用户的便携式终端所拍摄的图像传送至管理服务器，并在管理服务器中进行拍摄图像的解析，从而特定出在所述图像所包含的脚色。因为投影在屏幕的脚色的影像被嵌入有记号信息(例如脚色的帽子形状等)，所以管理服务器通过从拍摄图像抽出此记号信息，能特定出用户拍摄到哪个种类的脚色。
现有技术文献
专利文献
专利文献1：日本特开2016-62273号公报
发明内容
发明所欲解决的课题
然而，在专利文献1的系统，仅仅只是通过在管理服务器解析从便携式终端接收的拍摄图像，而判定便携式终端是否成功捕捉(拍摄)到脚色，即使在成功捕捉(拍摄)到脚色的情况，脚色仍会持续投影至屏幕上。在现实世界中捕捉到对象物体的情况，对象物体会移动到使用者的手边而不会留在原来的地方，但是在专利文献1的系统，因为脚色被捕捉后仍会留在屏幕上，所以可说是与现实世界的状况背道而驰。像这样，在专利文献1的系统是具有如后述的问题：无法对使用者给予彷佛实际捕捉到屏幕上的脚色的具真实感的体验。
又，在专利文献1的系统，因为是以在管理服务器判定便携式终端是否成功拍摄到脚色为前提，所以假如便携式终端拍摄到未包含脚色的屏幕上的影像，在此情况会无法特定出所述便携式终端是拍摄到影像中的哪个范围。因此，在此系统是无法做到如后述的交互式(双方向)画面呈现：使新的脚色出现在例如是由便携式终端所拍摄的拍摄范围中。
于此，本发明的主要目的在于，在用户以终端装置拍摄的系统中，能让显示装置所显示的影像做到具有真实感的交互式画面呈现。
解决课题的技术方案
本发明的第一态样是关于一种显示控制系统。显示控制系统具备：终端装置，具有拍摄部；显示装置，显示影像；以及控制装置，控制此显示装置。终端装置与控制装置是通过通信线路(网际网络或LAN)，以彼此能进行信息的传送接收的方式用无线或有线做连接。显示装置的例子则为将影像投影至屏幕的投影仪，或将影像显示在液晶面板或有机EL面板的显示器。附带一提的是，显示装置所显示的“影像”包含动态影像与静态影像。
当终端装置通过拍摄部拍摄显示装置所显示的影像，则终端装置或控制装置会基于由拍摄部所拍摄的拍摄图像，特定出显示装置所显示的影像中的拍摄范围。举例而言，在影像中包含背景与对象的情况，则解析拍摄图像并抽出背景，通过将抽出的背景与用以特定出影像中的坐标的地图信息(预先存储在终端装置或控制装置的信息)做比对，而能特定出所述影像中的拍摄范围。附带一提的是，此地图信息可为通过实施如后述的机器学习所制作的数据(完成学习的模块)：将整体影像中的一部分切取出，并预先积存多个切取的图像，将此积存的图像作为训练数据，再实施深度学习等。通过利用机器学习，即使影像为动态影像亦能提高特定出的拍摄范围的坐标的精确度。又，亦可为：终端装置基于自身的拍摄图像而特定出拍摄范围，并将所述拍摄范围的信息传送至控制装置。还可为：终端装置将拍摄图像传送至控制装置，控制装置基于所述拍摄图像而特定出拍摄范围。
之后，控制装置基于特定出的拍摄范围，控制显示装置。举例而言，能使拍摄范围所包含的对象为非显示，或者能使对象出现在拍摄范围中，或者能使表示终端装置的拍摄范围的标框即时地显示。像这样，在终端装置拍摄显示装置所显示的影像时，通过对应所述拍摄范围即时地控制影像的显示状态，能做到如后述的具有真实感的交互式呈现：例如通过终端装置所拍摄(捕捉)到的对象会从影像中消失。附带一提的是，利用终端装置所拍摄的拍摄范围的显示呈现并非限定为此处所列举者，还能应用在其他各种的方式。
在本发明的系统中，控制装置可为：以显示预定的对象的方式控制显示装置，并判定在特定出的拍摄范围中是否包含对象，且基于此处的判定结果，控制显示装置所显示的对象的显示状态。对象可为如后述者：基于控制装置所做的控制，在构成影像的世界坐标系统中即时地动作。
在本发明的系统中，控制装置优选为：在特定出的拍摄范围中包含对象的情况，以对象呈非显示的方式控制显示装置。若根据这样的方式，因为由使用者所拍摄的对象会从影像中消失，能提供仿佛使用者实际捕捉到影像中的对象的具真实感的体验。但是，对象的显示控制并非限定为此，例如可为使终端装置的拍摄范围所包含的对象的颜色改变，或可为使对象变形，或可为改变对象的行动等，能应用在各种的画面呈现。
在本发明的系统中，控制装置优选为：以预定的对象出现在特定出的拍摄范围中的方式控制显示装置。若根据这样的方式，因为使用者能让对象出现在影像中的任意位置，所以能对使用者给予具投入感的体验。又，例如还可为如后述的画面呈现：使用者让曾经从影像中捕捉到的对象出现在其他的任意场所。
在本发明的系统中，终端装置优选为：存储用以特定出影像中的坐标的地图信息，通过参照地图信息而特定出拍摄范围的坐标信息，并将拍摄范围的坐标信息传送至控制装置。虽然亦可为在控制装置侧解析拍摄图像并特定出拍摄范围，惟在所述情况当多个终端装置集中存取控制装置时，会使控制装置的负荷超载而产生程序阻塞，恐有导致处理的延误的可能性。因此，优选为：拍摄图像的解析是在终端装置侧进行，只将拍摄范围的坐标信息传送至控制装置，从而避免上述程序阻塞的产生。
在本发明的系统中，终端装置优选为还具备用以特定出自身现在位置的位置信息特定部。位置信息特定部例如是超声波感测器，其解析从设置在活动会场中的超声波产生装置所输出的超声波的频率。只要将活动会场中区分为多个区域，并在每个区域配置不同输出频率的超声波产生装置，再以终端装置解析所述超声波的频率，借此终端装置即能特定出自身现在位置。而其他的位置信息特定的例子还能列举GPS接收机等。在此情况，亦可为：终端装置或控制装置基于由拍摄部所拍摄的拍摄图像与由位置信息特定部所特定出的现在位置的信息，特定出显示装置所显示的影像中的拍摄范围。像这样，除了基于拍摄图像还基于终端装置的位置信息而特定出影像中的拍摄范围，借此能提升所述特定处理的精确度。举例而言，在影像显示在横跨会场中的广大范围的情况，可能会存在多个地方其影像中的背景为相同。在所述情况，只靠影像中的背景有可能会无法特定出终端装置的拍摄范围。于此，通过参照便携式终端的位置信息，能轻易地唯一特定出终端装置所拍摄的拍摄范围。
本发明的第二态样是关于一种终端装置。本发明的终端装置具备：拍摄部、图像解析部以及通信部。拍摄部为用以取得图像的照相机。图像解析部基于由拍摄部所拍摄的拍摄图像，特定出影像中的拍摄部所拍摄的拍摄范围。通信部将关于特定出的拍摄范围的信息传送至控制影像的显示状态的控制装置。附带一提的是，终端装置亦可具有存储部，其存储用以特定出预定的影像中的坐标的地图信息。在此情况，终端装置的图像解析部基于由拍摄部所拍摄的拍摄图像与地图信息，特定出影像中的拍摄部所拍摄的拍摄范围。
本发明的第三态样是关于一种计算机程序，用以使便携式信息通信终端作为上述第一态样的显示控制系统的终端装置发挥功能，或者作为上述第二态样的终端装置发挥功能。计算机程序可为存储在信息存储媒体者，亦可为能通过网际网络而下载者。
本发明的第四态样是关于一种控制装置，基于具有拍摄部的终端装置所拍摄的拍摄图像，控制显示装置。控制装置从终端装置接收拍摄图像，并基于该拍摄图像，特定出显示装置所显示的影像中的拍摄范围。或者，终端装置基于拍摄图像，特定出显示装置所显示的影像中的拍摄范围，控制装置再从此终端装置接收关于拍摄范围的信息。然后，控制装置基于特定出的拍摄范围，控制显示装置。
本发明的第五态样是关于一种显示控制方法。本发明的显示控制方法包含以下工序：第一工序，终端装置或控制装置基于由终端装置的拍摄部所拍摄的拍摄图像，特定出显示装置所显示的影像中的拍摄范围；以及第二工序，控制装置基于特定出的拍摄范围，控制显示装置所显示的影像。
发明效果
若根据本发明，在用户以终端装置拍摄显示装置所显示的影像的系统中，能做到具有真实感的交互式的画面呈现。
附图说明
图1是示意地表示显示控制系统的整体构成。
图2是表示构成显示控制系统的各种装置的功能方框。
图3是示意地表示捕捉动作对象的画面呈现的动作例子。
图4是表示对象捕捉处理的一例子的流程图。
图5是概念性地表示地图信息的例子。
图6是示意地表示释放动作对象的画面呈现的动作例子。
图7是示意地表示释放交互对象的画面呈现的动作例子。
图8是表示对象捕捉处理的一例子的流程图。
具体实施方式
以下，使用附图针对用以实施本发明的方式进行说明。本发明并非限定为以下说明的方式者，还包括本领域技术人员在显而易见的范围从以下的方式做适当变更者。
图1是示意地表示本发明一实施方式的显示控制系统100的整体构成。如图1所示，本发明的显示控制系统100具备：终端装置10、控制装置20以及显示装置50。终端装置10与控制装置20是通过网际网络或LAN等的通信线路而连接。终端装置10为系统的使用者所持有的便携式信息通信终端，例如能使用智能手机或平板终端。终端装置10具有照相机(拍摄部)，能拍摄显示装置50所显示的影像并取得图像。控制装置20控制显示装置50，并使其输出预定的影像。在本实施方式中，控制装置20构成为包含通过通信线路而彼此连接的管理装置30，以及绘图装置41。管理装置30例如是能与终端装置10通信的网页服务器，绘图装置41例如是如后述的区域PC：与显示装置50配置在相同的设施中，并以有线或无线连接显示装置50。显示装置50遵循控制装置20的控制，输出预定的影像。在本实施方式中，显示装置50是选用将影像投影至屏幕60的投影仪。但是，投影仪亦可替换为液晶显示器或有机EL显示器等的显示器装置。显示装置50可多台设置在活动会场中。在此情况，绘图装置40与显示装置50可为一对一对应，亦可为将多个显示装置50连接一个绘图装置40。
图2是表示显示控制系统100的功能方框。如图2所示，终端装置20具有：处理部11、存储部12、通信部13、拍摄部14、位置信息取得部15、输出部16以及操作部17。附带一提的是，在图2是举例表示作为终端装置10的功能构成的一般者。在本系统是设想存在有多台终端装置10，惟各终端装置10无需全部都具有相同构成，亦可具有不同的构成。
终端装置10的处理部11进行如后述的处理：控制终端装置10所具备的其他要素12～17。作为处理部11，能利用称为CPU或GPU的处理器。处理部11读取存储在存储部12的应用程序(计算机程序)，遵循此应用程序而控制其他要素。又，处理部11亦可将遵循应用程序的运算结果适当地对存储部12写入或读取。
又，在本实施方式中，终端装置10的处理部11具有：图像解析部11a、位置特定部11b以及对象特定部11c。图像解析部11a解析由拍摄部14所取得的拍摄图像，并特定出显示装置所显示的影像中的拍摄范围。此时，图像解析部11a能参照存储在存储部12的地图信息。此地图信息具有关于后述者的信息：影像整体的各点中的坐标位置。位置特定部11b基于位置信息取得部15所取得的信息，特定出终端装置10的自身现在位置。对象特定部11c进行如后述的处理：基于从控制装置20得到的信息而特定出拍摄图像所包含的对象、基于通过操作部17所输入的使用者指示而选择对象。这些功能部11a～11c所进行的处理的详细内容，是参照图4或图8所示的流程图于说明书中后述。
终端装置10的存储部12为如后述的要素：用以存储使用于处理部11的运算处理等的信息。若具体说明，存储部12存储有如后述的应用程序：使通用的便携式信息通信终端作为本发明的显示控制系统100的终端装置10发挥功能。此应用程序，可为经由网际网络而下载至终端装置10者，亦可为预先安装在终端装置10者。又，在存储部12除了本系统用的应用程序之外，亦可存储其他程序。当依据来自使用者的指示而启动本系统用的应用程序，则会执行遵循此程序的处理。又，在存储部12还可存储终端装置10固有的终端ID，或者可存储持有所述终端装置的使用者固有的使用者ID。又，在存储部12是存储有网际网络上的识别信息的IP地址。更进一步，在存储部12是预先存储有处理部11的图像解析部11a从拍摄图像特定出影像中的拍摄范围时所要参照的地图信息。又，在存储部12是将关于终端装置10所能捕捉或释放的对象的信息(图像数据或对象的说明等)与各对象的ID信息建立关连性并存储。存储部12的存储功能能通过例如称为HDD或SDD的非挥发性存储器而实现。又，存储部12还可具有作为如后述的存储器的功能：用以写入或读取由处理部11所执行的运算处理的中间过程等。存储部12的存储器功能可通过称为RAM或DRAM的挥发性存储器而实现。
终端装置10的通信部13为如后述的要素：用以在与控制装置20(具体而言是管理装置30)之间，通过网际网络等的通信线路而进行信息的传送接收。通信部13是遵循处理部11的控制，能将各种信息传送至控制装置20或从控制装置20接收。
拍摄部14为用以取得静态影像或动态影像的图像数据的照相机。构成拍摄部14的照相机是利用内建在终端装置10者。由拍摄部14所取得的图像数据在送往处理部11并进行预定的运算处理后，会被保存至存储部12。照相机例如是由如后述者所构成：镜头、机械快门、快门驱动器、称为CCD影像感测单元或CMOS影像感测单元的光电转换元件、从光电转换元件读取电荷量并产生图像数据的数字信号处理器(DSP)、IC存储器等。
位置信息取得部15为如后述的要素：用以取得关连于终端装置10的现在位置信息的信息。终端装置10的位置信息取得部15例如是如后述的超声波感测器：可接收从设置在活动会场中的超声波产生装置所发出的预定频率的超声波。举例而言，活动会场是区分为多个区域，并在每个区域配置产生不同频率的超声波产生装置。在此情况，各频率的超声波是作为位置信息而发挥功能。除此之外，位置信息取得部15亦可为具有进行利用GPS(Global Positioning System，全球定位系统)的定位功能的GPS定位部。具体而言，GPS定位部基于包含在多个GPS卫星所传送的电波中的电波传送时间的信息，测量接收各个电波所需要的时间，并基于表示所述时间的时间信息，计算出关于终端装置10的所在位置的经纬度的信息。
输出部16为用以对终端装置10的用户输出各种信息的要素。在处理部11所运算处理的信息是通过输出部16做输出。输出部16能选用在公知的信息通信终端所利用的各种外部输出装置。输出部16例如是显示器、喇叭、闪光灯以及振动器，但并非限定为此。输出部16是遵循终端控制部11的控制，能输出各种信息。
操作部17为用以接收使用者对终端装置10所输入的信息的要素。通过操作部17所输入的信息是被传达至处理部11。操作部17能选用在公知的信息通信终端所利用的各种输入装置。操作17例如是触控面板、按键、光标、麦克风、键盘以及鼠标，但并非限定为此。又，构成操作部17的触控面板亦可与构成输出部16的显示器一同构成触控面板显示器。
控制装置20为用以控制显示装置50的计算机。控制装置20能使显示装置50的控制反映出从终端装置10得到的信息(具体而言是关于由拍摄部所拍摄的影像的拍摄范围的信息)。如前述内容，在本实施方式中，控制装置20的功能被分散为作为网页服务器的管理装置30与作为区域PC的绘图装置40。但是，在显示装置50能通过网际网络直接与作为网页服务器的管理装置30通信的情况，控制装置20的功能可集中在此管理装置30，而在终端装置11可通过LAN直接与作为区域PC的绘图装置40通信的情况，控制装置20的功能可集中在此绘图装置40。又，管理装置30与绘图装置40亦可分别由多台计算机所架构。
管理装置30通过网际网络而连接终端装置10与绘图装置40。管理装置30基本上承担如后述的功能：即时产生影像，同时对绘图装置40传送用以显示所述影像的控制信息，使此绘图装置40控制显示装置50。如图2所示，管理装置30构成上至少包含处理部31、存储部32以及通信部33。
作为管理装置30的处理部31，能使用称为CPU或GPU的处理器。处理部31读取存储在存储部32的影像内容，即时地产生从显示装置50输出的影像。在本实施方式中，管理装置30的处理部31具有显示控制部31a与对象控制部31b。显示控制部31a以背景图像作为中心，控制欲使显示装置50显示的影像的显示状态。对象控制部31b则遵循前述的动作程序等，控制影像中所存在的对象的显示状态或动作等。
管理装置30的存储部32为如后述的要素：用以存储使用于处理部31的运算处理等的信息。在存储部32是存储有构成显示装置50所显示的影像的影像内容。影像内容例如包含：影像的背景图像(包含静态影像与动态影像)、重叠于此背景图像的对象图像、用以使此对象动作的程序等。对象包含如后述者：在构成影像的世界坐标系统中，遵循预定的动作程序做移动而采取预先设定的行动者(动作对象：Action Object)；以及自身不做动作但会对其他动作对象起作用者(交互对象：Interaction Object)。又，亦能以动作对象彼此相互作用的方式设定动作程序。存储部32能通过例如称为HDD或SDD的非挥发性存储器，或称为RAM或DRAM的挥发性存储器而实现。
管理装置30的通信部33为如后述的要素：用以在终端装置10与绘图装置40之间，通过网际网络等的通信线路而进行信息的传送接收。通信部33是遵循处理部31的控制，能将各种信息对终端装置10或绘图装置40做传送接收。
绘图装置40通过网际网络而连接管理装置30，并以有线或无线LAN连接至显示装置50。绘图装置40基本上遵循从管理装置30接收的影像的显示控制信息，使显示装置30显示影像。如图2所示，绘图装置40构成上至少包含绘图部41、存储部42以及通信部43。作为绘图装置41，能使用称为CPU或GPU的处理器。存储部42能通过例如称为HDD或SDD的非挥发性存储器，或称为RAM或DRAM的挥发性存储器而实现。通信部43为如后述的要素：用以在与管理装置30之间，通过网际网络等的通信线路而进行信息的传送接收。
显示装置50遵循来自绘图装置40的控制而显示预定的影像。作为显示装置50，能选用将影像投影至屏幕或墙壁的投影仪，亦可选用能显示影像的液晶显示器或有机EL显示器。又，显示装置50亦可为显示3维全像影像者。除此之外，还能适当选用公知的装置作为显示装置50。
接着，参照图3与图4，说明终端装置10与控制装置20(管理装置30与绘图装置40)所进行的处理的一例子。于此，针对如后述的情况的处理做说明：使用者利用终端装置10捕捉到影像中的对象的情况。
图3表示动作对象的捕捉处理的概要。如图3(a)所示，当使用者启动终端装置10的照相机，并将此照相机朝向投影有影像的屏幕60，则所述照相机所拍摄的拍摄范围在屏幕60上是以标框F做显示。附带一提的是，为了让使用者容易明白拍摄范围，优选为显示此标框F，惟标框F的显示并非必要。又，投影至屏幕60的影像中，是显示有例如仿照动物等的脚色的动作对象AO。动作对象AO是遵循预定的动作程序而在影像空间中采取预定的行动。又，在动作对象进入终端装置10的拍摄范围的状态，当使用者对终端装置10输入捕捉动作的操作，则终端装置10会从照相机取得拍摄图像。如此一来，使用者所拍摄的动作对象AO会从屏幕60上的影像消失。借此，能对使用者给予仿佛捕捉到影像中的动作对象的体验。以下参照图4，针对像这样的对象的捕捉流程做说明。
首先，使用者启动终端装置10的照相机(拍摄部14)(工序S1-1)。当使用者将终端装置10的照相机朝向屏幕60而拍摄影像，则终端装置10的图像解析部11a会即时地解析由照相机所连续拍摄的图像，并特定出影像中的拍摄范围(工序S1-2)。拍摄范围的特定是以如下方式进行。亦即，在终端装置10的存储部12是存储有表示影像整体的各点中的坐标的地图信息。在图5是概念性地表示地图信息的数据构造。在地图信息是标绘有影像整体的背景图像(图示省略)，同时还标绘所述影像中的各坐标点。因此，在本实施方式中，影像中的各坐标点对终端装置10而言被视为已知的信息。从照相机所取得的拍摄图像是设想为至少显像有部分的背景图像(虽然也设想会有拍摄图像只显像出对象而未包含背景图像的情况，惟所述情况只要令标框为未显示或者设为捕捉失败即可)。图像解析部11a是比对显像于拍摄图像中的背景图像与地图信息的背景图像，从而特定出照相机所拍摄的拍摄范围。此时，只要特定出矩形的拍摄范围中至少对角线上的2点的角部坐标信息(P1，P2)即可。而此等2点的角部坐标信息是成为用以特定出拍摄范围的信息。
附带一提的是，构成影像的背景图像亦可不只为静态影像，亦可设为动态影像。在背景图像为动态影像的情况，相较于为静态影像的情况，特定出拍摄范围会变得困难。在所述情况，是制作多个由动态影像所构成的背景图像的部分撷取图像，并对各撷取图像赋予坐标信息而积存多个训练数据。然后，以此训练数据为基础实施机器学习，将所述学习结果(完成学习的模块)作为地图信息而利用。借此，即使背景图像为动态影像，亦可提高拍摄范围的特定精确度。
接着，终端装置10的位置特定部11b会基于由位置信息取得部15所取得的位置信息，特定出拍摄位置(工序S1-3)。在位置信息取得部15是由超声波感测器所构成的情况，位置特定部11b只要基于设置在会场的超声波产生装置所产生的超声波的频率，特定出拍摄位置即可。又，位置信息取得部15亦可为GPS接收机。
接着，终端装置10的通信部13会将终端装置10的终端ID、关于拍摄范围的信息以及拍摄位置的位置信息一同传送至管理装置30(工序S1-4)。管理装置30的显示控制部31a是基于在此接收的拍摄范围信息与位置信息，特定出显示有终端装置10的照相机所朝向的影像的显示装置50。然后，管理装置30的显示控制部31a会产生如后述的显示控制命令并将所述命令传送至绘图装置40(工序S1-5)：用以在特定出的显示装置50的影像中，显示对应终端装置10的拍摄范围的标框的图像。绘图装置40是遵循从管理装置30接收的命令而控制显示装置50。借此，如图3(a)所示，通过显示装置50，在屏幕60上会投影出对应终端装置10的拍摄范围的标框F。使用者可一边观看手边的终端装置10的显示器，或者可一边观看屏幕60所显示的标框F，以动作对象AO进入照相机的拍摄范围的方式，调整照相机的朝向、角度或放大倍率。
接着，终端装置10的处理部11会判断使用者是否通过操作部17对终端装置10输入关于捕捉动作的操作(工序S1-6)。捕捉动作例如是触控显示画面上的特定部位的操作或声音的输入操作。只要没有输入捕捉动作，就会一直反复工序S1-2至工序S1-5。当输入捕捉动作，则照相机的快门会按下而取得拍摄图像(静态影像)。在所述情况，相同于工序S1-4，终端装置10的通信部13会将终端装置10的终端ID、关于拍摄范围的信息以及拍摄位置的位置信息一同传送至管理装置30(工序S1-7)。又，在此时亦可将操作终端装置10的使用者固有的使用者ID传送至管理装置30。
接着，管理装置30的对象控制部31b会基于从终端装置10所接收的拍摄范围信息与位置信息，判定所述终端装置10的拍摄范围所包含的对象(工序S1-8)。对象控制部31b为如后述的要素：基于存储在存储部32的动作程序，控制影像空间中所存在的各种对象。因此，对象控制部31b完全掌握了影像空间中所存在的各种对象的位置。对象控制部31b是比对表示拍摄范围的坐标信息与各种对象的坐标信息，判断在所述拍摄范围是否存在有可捕捉的对象。可捕捉的对象可为遵循动作程序而行动的动作对象，亦可为相对于其他动作对象而起作用的交互对象。动作对象例如是仿照动物等外观的脚色的对象。又，交互对象例如是仿照动物的饲料等的对象。在图3的例子，鹿外观的动作对象是包含在终端装置10的拍摄范围。因此，对象控制部31b会判定此鹿外观的动作对象被终端装置10所捕捉。附带一提的是，在倘若终端装置10的拍摄范围未包含对象的情况，则视为对象捕捉失败而结束此流程。
接着，管理装置30的处理部31会将关于在上述工序S1-8判定为被捕捉到的对象的信息传送至终端装置10(工序S1-9)。作为关于对象的信息，可列举对象固有的ID信息。在终端装置10的存储部12是将各对象的ID信息建立关连性，并存储有对象的图像数据或说明等的信息。因此，只要从管理装置30对终端装置10传送成为捕捉对象的对象的ID信息，终端装置10即能基于所述ID信息从存储部12读出关连于捕捉的对象的信息(图像数据或说明)。附带一提的是，关于未存储在终端装置10的存储部12的对象，则可从管理装置30对终端装置10发布对象的ID信息，除此之外还可发布关于对象的图像数据或说明的信息。像这样，终端装置10的对象特定部11c会基于从管理装置30所接收的对象的ID信息等，特定出由自身的照相机所拍摄(捕捉)到的对象(工序S1-10)。
接着，终端装置10的处理部11会将关于在工序S1-10所特定出的对象的信息显示在输出部16(显示器)(工序S1-11)。举例而言，只要显示使用者成功捕捉的对象的图像或所述对象的说明等即可。在图3(b)所示的例子，因为使用者捕捉到鹿外观的动作对象，所以在终端装置10会将鹿的图像或关于鹿的生态的文字信息等显示在显示器。又，终端装置10的处理部11会将关于在工序S1-10所特定出的对象的信息存储至存储部12(工序S1-12)。像这样，使用者所捕捉的对象能存储在终端装置10。举例而言，亦可将使用者所捕捉的对象的一览以图鉴形式显示在终端装置10。
另一方面，管理装置30的对象控制部31b会产生如后述的控制命令并传送至绘图装置40：用以使终端装置10的拍摄范围所包含的对象呈非显示。借此，绘图装置40是遵循控制命令，以如后述方式控制显示装置50(工序S1-13)：使由终端装置10所拍摄的对象消失。举例而言，如图3(b)所示，当使用者成功捕捉(拍摄)到鹿外观的动作对象AO，则与此捕捉动作连动，鹿外观的动作对象AO会从投影至屏幕60的影像消失。像这样，通过让屏幕60上的影像连动于使用者的动作，能对使用者提供更具真实感的体验。
接着，管理装置30的处理部31会将关于使用者的捕捉动作的信息存储至存储部32(工序S1-14)。举例而言，是将终端装置10固有的终端ID或使用者固有的使用者ID建立关连性，并将成功捕捉的对象的ID信息或捕捉时刻、捕捉场所(坐标)等登录至存储部32。借此，能以管理装置30管理使用者的行动履历等。
接着，参照图6至图8，说明终端装置10与控制装置20(管理装置30与绘图装置40)所进行的处理的其他例子。于此，针对如后述的情况的处理做说明：使用者利用终端装置10将影像中的对象释放。
图6是表示使用者将曾经成功捕捉的动作对象再度释放的例子。亦即，在图3中使用者虽然捕捉到鹿外观的动作对象，惟在图6则将此鹿外观的对象释放到影像中的其他场所。像这样，在本系统，能将成功捕捉的对象自由地移动至其他场所。另一方面，图7则表示使用者释放饲料的交互对象的例子。饲料的交互对象可为系统的营运者对使用者提供的道具，亦可为使用者遵循图4所示的流程而从影像中捕捉的道具。程序会设定为：当饲料的交互对象释放至影像中，则存在于所述饲料附近的动作对象会被所述饲料所引诱。像这样，使用者使用本系统能体验动作对象的捕捉或释放，或者能体验对所述动作对象喂饲料等。
在对象的释放流程，首先使用者操作终端装置10，自由地选择成为释放对象的对象(动作对象或交互对象)(工序S2-1)。在终端装置10的存储部12因为存储有使用者曾经捕捉的对象或营运所提供的对象，所以使用者可从中选择任意的对象。
工序S2-2至工序S2-6分别相同于图4所示的工序S1-2至工序S1-5的处理。亦即，以让使用者可容易明白影像中的拍摄范围的方式，将对应终端装置10的拍摄范围的标框F显示在屏幕60。
接着，终端装置10的处理部11在成为释放对象的对象被选择后，判断使用者是否通过操作部17对终端装置10输入关于释放动作的操作(工序S2-7)。释放动作的例子则相同于捕捉动作，为触控显示画面上的特定部位的操作或声音的输入操作。只要没有输入释放动作，就会一直反复工序S2-3至工序S2-6。当输入释放动作，则照相机的快门会按下而取得拍摄图像(静态影像)。在所述情况，终端装置10的通信部13会将终端ID、关于拍摄范围的信息、拍摄位置的位置信息以及关于被选择作为释放对象的对象的信息(对象的ID信息等)一同传送至管理装置30(工序S2-8)。又，在此时亦可将操作终端装置10的使用者固有的使用者ID传送至管理装置30。
接着，管理装置30的对象控制部31a会基于从终端装置10所接收的上述信息，特定出成为释放对象的对象与影像中所述对象要出现的位置(坐标)(工序S2-9)。亦即，对象控制部31基于从终端装置10所接收的对象的ID信息，特定出影像中所要出现的对象，同时还基于关于拍摄范围的信息，特定出所述对象要出现在影像中的位置。又，管理装置30的对象控制部31a会产生如后述的控制命令并将此命令传送至绘图装置40：用以使终端装置10所选择的对象出现在终端装置10的拍摄范围中。绘图装置40则遵循此控制命令，以让选择的对象显示在终端装置10的拍摄范围中的方式控制显示装置50(工序S2-10)。借此，例如图6(b)或图7(b)所示，在投影至屏幕60的影像，使用者所选择的动作对象AO或交互对象IO会出现在终端装置10的拍摄范围中。
接着，管理装置30的处理部31会将关于使用者的释放动作的信息存储至存储部32(工序S2-11)。举例而言，是将终端装置10固有的终端ID或使用者固有的使用者ID建立关连性，并将释放的对象的ID信息或释放时刻、释放场所(坐标)等登录至存储部32。借此，能以管理装置30管理使用者的行动履历等。又，即使在终端装置10中，亦能将关于使用者的释放动作的信息存储至存储部12(工序S2-12)。举例而言，可将释放的对象的ID信息或释放时刻、释放场所(坐标)等登录至存储部12。借此，例如曾经释放过的对象在下次释放流程就会无法被选择作为释放对象。又，关于释放次数具有限制的对象，则释放次数的计数会减1。
如以上内容，在本发明的系统，当由终端装置10进行捕捉或释放影像中所包含的对象，则显示装置50会连动使所述对象从影像中消失或出现。借此，若根据本系统能做到具真实感的交互式画面呈现。
以上，在本发明说明书为了表现本发明的内容，是一边参照附图一边进行本发明的实施方式的说明。但是，本发明并非限定为上述实施方式者，还包括本领域技术人员基于本发明说明书记载的事项所做的显而易见的变更方式或改良方式者。
举例而言，在本发明说明书所详细说明的实施方式，为了避免存取集中在管理装置30而产生程序效能的瓶颈，是设为在终端装置10侧解析拍摄图像并特定出影像中的拍摄范围的坐标。但是，只要令终端装置10对管理装置30传送拍摄图像，亦能在管理装置30对所述拍摄图像做解析并特定出影像中的拍摄范围的坐标。在所述情况，用以特定出影像中的坐标的地图信息并非存储在终端装置10的存储部12，而是存储在管理装置30的存储部32即可。
产业利用性
本发明例如能适用在可将脚色的图像等收藏至数字图鉴的系统。是以，本发明优选能利用在娱乐产业等。
附图标记说明
10 终端装置 11 处理部
12 存储部 13 通信部
14 拍摄部 15 位置信息取得部
16 输出部 17 操作部
20 控制装置 30 管理装置
31 处理部 32 存储部
33 通信部 40 绘图装置
41 绘图部 42 存储部
43 通信部 50 显示装置
60 屏幕 100 显示控制系统
AO 动作对象 IO 交互对象
F 标框

Claims (10)

1.一种显示控制系统，具备：
终端装置，具有拍摄部；
显示装置，显示影像；以及
控制装置，控制所述显示装置；
其特征在于，所述终端装置或所述控制装置基于由所述拍摄部所拍摄的拍摄图像，特定出所述显示装置所显示的影像中的拍摄范围，
所述控制装置基于特定出的所述拍摄范围，控制所述显示装置。
2.根据权利要求1所述的显示控制系统，其特征在于，
所述控制装置以显示预定的对象的方式控制所述显示装置，
并判定在特定出的所述拍摄范围中是否包含所述对象，
且基于所述判定结果，控制所述显示装置所显示的所述对象的显示状态。
3.根据权利要求2所述的显示控制系统，其特征在于，
所述控制装置在特定出的所述拍摄范围中包含所述对象的情况，以所述对象呈非显示的方式控制所述显示装置。
4.根据权利要求1至3中任一项所述的显示控制系统，其特征在于，
所述控制装置以预定的对象出现在特定出的所述拍摄范围中的方式控制所述显示装置。
5.根据权利要求1至4中任一项所述的显示控制系统，其特征在于，
所述终端装置存储用以特定出所述影像中的座标的地图信息，
并通过参照所述地图信息而特定出所述拍摄范围的座标信息，
且将所述拍摄范围的座标信息传送至所述控制装置。
6.根据权利要求1至5中任一项所述的显示控制系统，其特征在于，
所述终端装置还具备用以特定出自身现在位置的位置信息特定部，
所述终端装置或控制装置基于由所述拍摄部所拍摄的拍摄图像与由所述位置信息特定部所特定出的现在位置的信息，特定出所述显示装置所显示的影像中的拍摄范围。
7.一种终端装置，其特征在于，具备：
拍摄部；
图像解析部，基于由所述拍摄部所拍摄的拍摄图像，特定出所述影像中的所述拍摄部所拍摄的拍摄范围；以及
通信部，将关于特定出的所述拍摄范围的信息传送至控制所述影像的显示状态的控制装置。
8.一种计算机程序，其特征在于，用以使便携式信息通信终端作为根据权利要求7所述的终端装置发挥功能。
9.一种控制装置，基于具有拍摄部的终端装置所拍摄的拍摄图像，控制显示装置；
其特征在于，所述控制装置从所述终端装置接收所述拍摄图像，并基于该拍摄图像，特定出所述显示装置所显示的影像中的拍摄范围；或者
接收关于所述终端装置基于所述拍摄图像所特定出的所述显示装置所显示的影像中的拍摄范围的信息；
并基于特定出的所述拍摄范围，控制所述显示装置。
10.一种显示控制方法，其特征在于，包含以下工序：
终端装置或控制装置基于由所述终端装置的拍摄部所拍摄的拍摄图像，特定出显示装置所显示的影像中的拍摄范围；以及
所述控制装置基于特定出的所述拍摄范围，控制所述显示装置所显示的影像。
CN201880091889.5A 2018-04-09 2018-10-17 基于特定出的拍摄范围控制显示装置的系统 Pending CN111936956A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018074364A JP6368881B1 (ja) 2018-04-09 2018-04-09 表示制御システム，端末装置，コンピュータプログラム，及び表示制御方法
JP2018-074364 2018-04-09
PCT/JP2018/038737 WO2019198261A1 (ja) 2018-04-09 2018-10-17 特定された撮影範囲に基づいて表示装置を制御するシステム

Publications (1)

Publication Number Publication Date
CN111936956A true CN111936956A (zh) 2020-11-13

Family

ID=63036842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091889.5A Pending CN111936956A (zh) 2018-04-09 2018-10-17 基于特定出的拍摄范围控制显示装置的系统

Country Status (8)

Country Link
US (2) US20210152730A1 (zh)
EP (1) EP3779655A4 (zh)
JP (1) JP6368881B1 (zh)
CN (1) CN111936956A (zh)
AU (1) AU2018418996B2 (zh)
SG (1) SG11202009928XA (zh)
TW (1) TWI700588B (zh)
WO (1) WO2019198261A1 (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289719A (ja) * 2003-03-25 2004-10-14 Fuji Photo Film Co Ltd 撮影システム及び撮影装置
JP2006184333A (ja) * 2004-12-24 2006-07-13 Casio Comput Co Ltd 投影システム及び同システムに用いられる付加情報記録方法
US20100113148A1 (en) * 2008-11-04 2010-05-06 Quado Media Inc. Multi-player, multi-screens, electronic gaming platform and system
US20130014046A1 (en) * 2011-07-07 2013-01-10 Watts And Associates, Inc. Systems, computer implemented methods, geographic weather-data selection interface display, and computer readable medium having program products to generate user-customized virtual weather data and user-customized weather-risk products responsive thereto
US20140267803A1 (en) * 2013-03-15 2014-09-18 Olympus Imaging Corp. Photographing apparatus, image display apparatus, and display control method of image display apparatus
US20150170417A1 (en) * 2011-07-01 2015-06-18 Google Inc. Systems and Methods for Activities Solver Development in Augmented Reality Applications
CN106168848A (zh) * 2015-05-13 2016-11-30 精工爱普生株式会社 显示装置以及显示装置的控制方法
CN106254756A (zh) * 2015-06-11 2016-12-21 卡西欧计算机株式会社 拍摄装置、信息获取装置、系统和方法以及发送控制方法
CN106416235A (zh) * 2014-06-06 2017-02-15 三菱电机株式会社 影像监视系统以及影像监视方法
CN106462922A (zh) * 2014-07-03 2017-02-22 三菱电机株式会社 控制系统、终端、信息设定方法以及程序
CN107209959A (zh) * 2016-01-15 2017-09-26 株式会社ｍｅｌｅａｐ 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器
CN107528938A (zh) * 2017-07-26 2017-12-29 维沃移动通信有限公司 一种视频通话方法、终端及计算机可读存储介质
CN107659851A (zh) * 2017-03-28 2018-02-02 腾讯科技（北京）有限公司 全景图像的展示控制方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193403A (ja) * 2006-01-17 2007-08-02 Hitachi Ltd ポインティングデバイス、ポインタ指示位置制御方法およびディスプレイシステム
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
TWM491897U (zh) * 2014-05-13 2014-12-11 Chi-Chung Lin 智慧社區擴增實境系統
JP6455040B2 (ja) * 2014-09-17 2019-01-23 株式会社リコー 店舗集客支援システム、サーバ装置、プログラムおよび方法
US10068134B2 (en) * 2016-05-03 2018-09-04 Microsoft Technology Licensing, Llc Identification of objects in a scene using gaze tracking techniques
JP6981106B2 (ja) * 2017-08-29 2021-12-15 株式会社リコー 撮像装置、画像表示システム、操作方法、プログラム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289719A (ja) * 2003-03-25 2004-10-14 Fuji Photo Film Co Ltd 撮影システム及び撮影装置
JP2006184333A (ja) * 2004-12-24 2006-07-13 Casio Comput Co Ltd 投影システム及び同システムに用いられる付加情報記録方法
US20100113148A1 (en) * 2008-11-04 2010-05-06 Quado Media Inc. Multi-player, multi-screens, electronic gaming platform and system
US20150170417A1 (en) * 2011-07-01 2015-06-18 Google Inc. Systems and Methods for Activities Solver Development in Augmented Reality Applications
US20130014046A1 (en) * 2011-07-07 2013-01-10 Watts And Associates, Inc. Systems, computer implemented methods, geographic weather-data selection interface display, and computer readable medium having program products to generate user-customized virtual weather data and user-customized weather-risk products responsive thereto
US20140267803A1 (en) * 2013-03-15 2014-09-18 Olympus Imaging Corp. Photographing apparatus, image display apparatus, and display control method of image display apparatus
CN106416235A (zh) * 2014-06-06 2017-02-15 三菱电机株式会社 影像监视系统以及影像监视方法
CN106462922A (zh) * 2014-07-03 2017-02-22 三菱电机株式会社 控制系统、终端、信息设定方法以及程序
CN106168848A (zh) * 2015-05-13 2016-11-30 精工爱普生株式会社 显示装置以及显示装置的控制方法
CN106254756A (zh) * 2015-06-11 2016-12-21 卡西欧计算机株式会社 拍摄装置、信息获取装置、系统和方法以及发送控制方法
CN107209959A (zh) * 2016-01-15 2017-09-26 株式会社ｍｅｌｅａｐ 图像显示系统、图像显示系统的控制方法、图像分发系统以及头戴式显示器
CN107659851A (zh) * 2017-03-28 2018-02-02 腾讯科技（北京）有限公司 全景图像的展示控制方法及装置
CN107528938A (zh) * 2017-07-26 2017-12-29 维沃移动通信有限公司 一种视频通话方法、终端及计算机可读存储介质

Also Published As

Publication number Publication date
EP3779655A1 (en) 2021-02-17
US20210152730A1 (en) 2021-05-20
EP3779655A4 (en) 2022-04-20
SG11202009928XA (en) 2020-11-27
JP2019184776A (ja) 2019-10-24
AU2018418996B2 (en) 2022-03-10
WO2019198261A1 (ja) 2019-10-17
TW201944250A (zh) 2019-11-16
US20230127443A1 (en) 2023-04-27
AU2018418996A1 (en) 2020-10-29
TWI700588B (zh) 2020-08-01
JP6368881B1 (ja) 2018-08-01

Similar Documents

Publication Publication Date Title
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
US8994785B2 (en) Method for generating video data and image photographing device thereof
US8094242B2 (en) Object management apparatus, mobile terminal, and object management method
JP5582114B2 (ja) コンテンツ表示支援システム、コンテンツ表示支援装置、コンテンツ表示支援方法、表示プログラム、および携帯端末
US8941767B2 (en) Mobile device and method for controlling the same
US9813567B2 (en) Mobile device and method for controlling the same
JP5831764B2 (ja) 画像表示装置及びプログラム
WO2018168823A1 (ja) 画像処理装置および電子機器
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
CN110036406B (zh) 收集系统、存储有终端用程序的记录介质以及收集方法
US10069984B2 (en) Mobile device and method for controlling the same
CN111936956A (zh) 基于特定出的拍摄范围控制显示装置的系统
KR20110095443A (ko) 피사체 정보 제공 방법 및 시스템
CN104735431B (zh) 内容输出系统、内容输出装置及内容输出方法
JP7416231B2 (ja) 設置支援装置、設置支援方法、およびプログラム
WO2022168515A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP6197849B2 (ja) 画像表示装置及びプログラム
JP2022031896A (ja) コレクションシステム用の端末装置及び方法
KR20220013235A (ko) 영상 통화 수행 방법, 그 방법을 수행하는 디스플레이 기기, 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
JP2019175326A (ja) プログラム、記録媒体及び画像生成方法
KR20200031255A (ko) 인터랙션 콘텐츠에 대한 영상 데이터 공유 시스템 및 그 방법
KR20140115242A (ko) 모바일 디바이스 및 제어 방법
KR20160068227A (ko) 이미지 정렬 방식 설정 기반의 촬영 장치, 그리고 이를 이용한 이미지 정렬 방식 설정 기반의 촬영 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination