JP2011061770A - 映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システム - Google Patents

映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システム Download PDF

Info

Publication number
JP2011061770A
JP2011061770A JP2010180609A JP2010180609A JP2011061770A JP 2011061770 A JP2011061770 A JP 2011061770A JP 2010180609 A JP2010180609 A JP 2010180609A JP 2010180609 A JP2010180609 A JP 2010180609A JP 2011061770 A JP2011061770 A JP 2011061770A
Authority
JP
Japan
Prior art keywords
camera
video
user
mobile terminal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010180609A
Other languages
English (en)
Inventor
Hyeong-Baek Jeon
炯 伯 全
Sung-Beom Lee
聖 範 李
Won-Ho Lim
源 虎 林
Seob-Gon Kim
燮 坤 金
Suk-Kyun Park
錫 均 朴
Jung-Ah Park
貞 雅 朴
Yun-Shok Ahn
胤 錫 安
Sang Moon Lee
相 ▲文▼ 李
Haksung Lee
學 成 李
Seon-Bin Im
善 彬 任
Kyung-Ah Chang
京 亞 張
Do-Won Jeong
道 源 鄭
Sung-Kyu Choi
成 圭 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pantech Co Ltd
Original Assignee
Pantech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pantech Co Ltd filed Critical Pantech Co Ltd
Publication of JP2011061770A publication Critical patent/JP2011061770A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0013—Arrangements for the control of the connected apparatus by the still picture apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074—Arrangements for the control of a still picture apparatus by the connected apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074—Arrangements for the control of a still picture apparatus by the connected apparatus
    • H04N2201/0075—Arrangements for the control of a still picture apparatus by the connected apparatus by a user operated remote control device, e.g. receiving instructions from a user via a computer terminal or mobile telephone handset
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システムを提供する。
【解決手段】本発明は、映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システムに関するものであって、一つのカメラによって撮影されるユーザ映像から特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御するようにすることで、ユーザの物理的な操作なしでも、撮影制御を可能にした。
【選択図】図１

Description

本発明は、撮影制御技術に係り、特に、映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システムに関する。
従来の場合、前面部カメラと背面部カメラとを備えた移動端末において、ズームインまたはズームアウトなどの撮影制御命令は、ユーザのキーボタンまたはタッチスクリーン操作などの物理的な操作によってなされていた。一方、従来の画像通話が可能な移動端末の場合、自身の撮影制御命令は、ユーザのキーボタンまたはタッチスクリーン操作などの物理的な操作によってなされ、相手のカメラに対する制御は不可能であった。
カメラ付き移動端末を用いた撮影途中、ズームインまたはズームアウトなどの撮影制御命令をユーザのキーボタンまたはタッチスクリーン操作などの物理的な操作を通じて入力することは非常に不便であった。また、ユーザのキーボタンまたはタッチスクリーン操作などの物理的な操作の際に、移動端末が揺れて、撮影される映像がぼやけるか、焦点が合わなくなる。
したがって、本発明者は、前面部カメラと背面部カメラとを備えた移動端末や、画像通話が可能な移動端末などでユーザのキーボタンまたはタッチスクリーン操作などの物理的な操作なしでも、撮影制御が可能な技術について研究をした。
本発明は、上記課題を解決するために発明されたものであって、一つのカメラから撮影される映像から特定動作を検出した時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザの物理的な操作なしでも、撮影制御が可能な映像認識技術を利用した撮影制御システムを提供することを目的とする。
本発明の一実施形態によれば、映像認識技術を利用した撮影制御システムは、一つのカメラによって撮影されるユーザ映像から特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することを特徴とする。
本発明の一実施形態によれば、前面部カメラと背面部カメラとを備えた移動端末、又は、画像通話機能を備えた移動端末は、一つのカメラにより撮影された映像は、他のカメラの動作または他のカメラによって撮影される映像の処理を制御するために分析されることにより、ユーザの物理的な操作なしで撮影を制御することを特徴とする。
本発明の一実施形態に係る移動端末は、第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、相手移動端末の第２カメラの動作または相手移動端末の第２カメラによって撮影される映像の処理を制御する第１制御命令を生成する制御命令生成部と、前記制御命令生成部によって生成された第１制御命令を相手移動端末に送信する制御命令送信部と、相手移動端末から送信される前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する第２制御命令を受信する制御命令受信部と、前記制御命令受信部によって受信された第２制御命令に従って前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する撮影制御部と、を含むことを特徴とする。
本発明の一実施形態に係る移動端末は、第１カメラによって撮影されるユーザ映像を相手移動端末に送信する映像送信部と、相手移動端末から送信されるユーザ映像を受信する映像受信部と、前記映像受信部によって受信されたユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する撮影制御部と、を含むことを特徴とする。
本発明の一実施形態に係る移動端末は、第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、第２カメラの動作または第２カメラによって撮影される映像の処理を制御する撮影制御部と、を含むことを特徴とする。
本発明の一実施形態に係る撮影制御システムは、第１カメラは、第１ユーザの移動端末に設けられ、第２カメラは、第２ユーザの移動端末に設けられる映像認識技術を利用した撮影制御システムにおいて、前記第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する制御命令を生成する制御命令生成部と、前記制御命令生成部によって生成された制御命令を送信する制御命令送信部と、を含む第１ユーザの移動端末と、前記第１ユーザの移動端末から送信される前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する制御命令を受信する制御命令受信部と、前記制御命令受信部によって受信された制御命令に従って前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する撮影制御部と、を含む第２ユーザの移動端末と、を含むことを特徴とする。
本発明の一実施形態に係る撮影制御システムは、第１カメラは、第１ユーザの移動端末に設けられ、第２カメラは、第２ユーザの移動端末に設けられる映像認識技術を利用した撮影制御システムにおいて、前記第１カメラによって撮影されるユーザ映像を送信する映像送信部を含む第１ユーザの移動端末と、前記第１ユーザの移動端末から送信されるユーザ映像を受信する映像受信部と、前記映像受信部によって受信されたユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する撮影制御部と、を含む第２ユーザの移動端末と、を含むことを特徴とする。
本発明によれば、前面部カメラと背面部カメラとを備えた移動端末や、画像通話が可能な移動端末などで一つのカメラによって撮影される映像を分析して他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザの物理的な操作なしでも、撮影制御を可能にして、ユーザの利便性を向上させることができる。
本発明の第１実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末のブロック図である。 本発明の第１実施形態に係る映像認識技術を利用した撮影制御システムのブロック図である。 本発明の第２実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末のブロック図である。 本発明の第２実施形態に係る映像認識技術を利用した撮影制御システムのブロック図である。 本発明の第３実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末のブロック図である。 本発明に係る映像認識技術を利用した撮影制御システムの撮影制御手続きを示すフローチャートである。
以下、添付した図面を参照して説明する望ましい実施形態を通じて、本発明を当業者が容易に理解して再現できるように詳しく記述する。
本発明を説明するに当って、関連した公知機能または構成についての具体的な説明が、本発明の実施形態の要旨を不明にする虞があると判断される場合には、その詳細な説明を省略する。
本発明の明細書の全般に亘って使われる用語は、本発明の実施形態での機能を考慮して定義された用語であって、ユーザまたは運用者の意図、慣例などによって十分に変形されうる事項であるので、この用語の定義は、本明細書の全般に亘った内容に基づいて判断されなければならない。
図１は、本発明の第１実施形態に係る映像認識技術を利用した撮影制御機能を備えたユーザ移動端末１００及び相手移動端末１０５のブロック図である。この実施形態による映像認識技術を利用した撮影制御機能を備えたユーザ移動端末１００は、動作検出部１１０ａと、制御命令生成部１２０ａと、制御命令送信部１３０ａと、制御命令受信部１４０ａと、撮影制御部１５０ａと、を含む。ユーザ移動端末１００は、更に、動作設定部１０６ａと環境設定部１７０ａを含む。相手移動端末１０５は、動作検出部１１０ｂと、制御命令生成部１２０ｂと、制御命令送信部１３０ｂと、制御命令受信部１４０ｂと、撮影制御部１５０ｂと、動作設定部１６０ｂと、環境設定部１７０ｂと、を含む。
前記動作検出部１１０ａは、自身の第１カメラ２００によって撮影されるユーザ映像からユーザの特定動作を検出する。前記動作検出部１１０ｂは、自身の第２カメラ３００によって撮影されるユーザ映像から特定動作を検出する。ユーザ映像は、上述したように撮影されるものであるが、ユーザ移動端末１００のメモリに記録されるか、または格納される必要はない。ユーザの特定動作は、映像認識技術に従ってユーザの動作における変化、及び／又は表情変化を認識して、ユーザ映像の特徴の変化を分析することによって検出することができる。映像認識技術に応じたユーザ映像の分析は、２つの映像間の変化を検出するように、２つ以上の映像の分析を含んでも良い。特定動作は、動作や表情の変化を認識するためにユーザの映像に含まれる特徴点の変化を分析することにより検出されても良い。このように、ユーザは、ユーザ移動端末１００の撮影制御機能を制御するように映像認識技術に応じたユーザ映像の分析によって特定動作の検出を行っても良い。
例えば、前記動作検出部１１０ａが、ユーザ映像から当該ユーザのカメラ側への接近または遠ざかりを検出するか、当該ユーザの左側または右側への動きを検出するか、当該ユーザの左眼または右眼の瞬きを検出するか、当該ユーザの口の形状を検出するか、当該ユーザの顔の傾きを検出するか、当該ユーザの顔の左側または右側の回転を検出するか、当該ユーザ顔のしかめ面を検出するか、などのユーザの動きや表情変化などを認識することによって特定動作を検出してもよい。
前記制御命令生成部１２０ａは、前記動作検出部１１０ａによる特定動作の検出時に、相手移動端末１０５の第２カメラ３００の動作または相手移動端末１０５の第２カメラ３００によって撮影される映像の処理を制御する制御命令を生成する。
前記制御命令送信部１３０ａは、前記制御命令生成部１２０ａによって生成された制御命令を相手移動端末１０５の制御命令受信部１４０ｂに送信する。前記制御命令送信部１３０ａから送信された制御命令は、相手移動端末の第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御するために、移動通信網を通じて相手移動端末１０５に受信される。
制御命令を受信した相手移動端末１０５は、自身の第２カメラ３００の動作または自身の第２カメラ３００によって撮影される映像の処理を制御する。この詳細については、図２を参照して後述する。
ユーザ端末１００の制御命令受信部１４０ａは、相手移動端末１０５の制御命令送信部１３０ｂから送信される自身の第１カメラ２００の動作または自身の第１カメラ２００によって撮影される映像の処理を制御する制御命令を受信する。
ユーザ端末１００の撮影制御部１５０ａは、制御命令受信部１４０ａによって受信された制御命令に従って、自身の第１カメラ２００の動作または自身の第１カメラ２００によって撮影される映像の処理を制御する。
例えば、前記撮影制御部１５０ａが、自身の第１カメラ２００のズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、相手移動端末１０５により検出されたユーザの特定動作に従って自身の第１カメラ２００の動作を制御することができる。
例えば、前記撮影制御部１５０ａは、相手移動端末１０５のユーザの特定動作に従って、自身の第１カメラ２００によって撮影されるユーザ映像の表示、ユーザ映像の伝送、ユーザ映像の同期、ユーザ映像の特殊効果処理、またはユーザ映像の置き換え等を制御することができる。
図１に示すように、映像認識技術に基づく撮影制御機能を有する移動端末１００は、更に、動作設定部１６０ａを含む。動作設定部１６０ａは、動作検出部１１０ａにより検出される特定動作を設定する。すなわち、動作設定部１６０ａは、特定動作が検出された後に実行される相手移動端末１０５の第２カメラ３００の動作または第２カメラ３００により撮影された映像の処理動作に関するユーザ情報から取得する動作情報を動作設定情報として動作設定部１６０ａに格納する。動作検出部１１０ａは、特定動作が検出された場合、動作設定部１６０ａの動作設定情報を参照する。
さらに、映像認識技術に基づく撮影制御機能を有する移動端末１００は、環境設定部１７０ａを含む。環境設定部１７０ａは、撮影制御部１５０ａの動作のＯＮ／ＯＦＦ状態を設定する。すなわち、環境設定部１７０ａは、設定情報としてＯＮ／ＯＦＦ状態に関する情報を格納する。撮影制御部１５０ａの動作は、この設定情報に従って制御されてもよい。
したがって、この第１実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末１００は、一つのカメラによって撮影されるユーザ映像を映像認識技術を用いて分析して、ユーザの特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザによるボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるので、ユーザの利便性を向上させることができる。
図２は、本発明の第１実施形態に係る映像認識技術を利用した撮影制御システムのブロック図である。この映像認識技術を利用した撮影制御システムは、第１カメラ２００は、第１ユーザの移動端末１００ａに設けられ、第２カメラ３００は、第２ユーザの相手移動端末１０５に設けられて、第１カメラ２００により撮影されるユーザ映像から特定動作を検出するとき、第１ユーザの移動端末１００ａから送信される制御命令に従って、第２ユーザの移動端末１０５が、第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御するようにしたものである。
第１ユーザの移動端末１００の動作検出部１１０ａは、第１カメラ２００によって撮影されるユーザ映像から特定動作を検出する。
第１ユーザの移動端末１００の制御命令生成部１２０ａは、前記動作検出部１１０ａによる特定動作の検出時に、第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御する制御命令を生成する。
第１ユーザの移動端末１００の制御命令送信部１３０ａは、前記制御命令生成部１２０ａによって生成された制御命令を送信する。前記制御命令送信部１３０ａから送信された制御命令は、第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御するために用いられるように、移動通信網を通じて第２ユーザの相手移動端末１０５に送信される。
前記第２ユーザの相手移動端末１０５の制御命令受信部１４０ｂは、第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御するために第１ユーザの移動端末１００ａから送信される制御命令を受信する。
第２ユーザの相手移動端末１０５の撮影制御部１５０ｂは、制御命令受信部１４０によって受信された制御命令に従って、第２カメラ３００の動作または第２カメラ３００によって撮影される映像の処理を制御する。
例えば、前記撮影制御部１５０ｂは、第２カメラ３００のズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、ユーザの特定動作に従って第２カメラ３００の動作を制御することができる。
例えば、前記撮影制御部１５０ｂは、第２カメラ３００によって撮影される映像の表示、映像の伝送、映像の同期、映像の特殊効果処理、または映像の置き換え等を制御することで、ユーザの特定動作に従って第２カメラ３００によって撮影される映像の処理を制御することができる。
したがって、この実施形態に係る映像認識技術を利用した撮影制御システムは、一つのカメラによって撮影されるユーザ映像を映像認識技術を用いて分析して、ユーザの特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるので、ユーザの利便性を向上させることができる。
図３は、本発明第２実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末のブロック図である。この実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末４００は、映像送信部４１０ａと、映像受信部４２０ａと、動作検出部４３０ａと、撮影制御部４４０ａと、動作設定部４５０ａと、環境設定部４０６ａと、を含む。相手移動端末４０５は、映像送信部４１０ｂと、映像受信部４２０ｂと、動作検出部４３０ｂと、撮影制御部４４０ｂと、動作設定部４５０ｂと、環境設定部４６０ｂと、を含む。
前記映像送信部４１０ａは、自身の第１カメラ５００によって撮影されるユーザ映像を相手移動端末４０５に送信する。映像送信部４１０から送信されたユーザ映像は、移動通信網を通じて相手移動端末４０５に送信される。
このユーザ映像を受信した相手移動端末４０５は、第１カメラ５００により撮影されたユーザ映像から特定動作を検出して、自身の第２カメラ６００の動作または自身の第２カメラ６００によって撮影される映像の処理を制御する。この詳細については、図４を参照して後述する。
相手移動端末４０５の映像受信部４２０ｂは、移動端末４００から受信したユーザ映像を受信する。移動端末４００の第１カメラ５００によって撮影されたユーザ映像が相手移動端末４０５から送信されれば、相手移動端末４０５の映像受信部４２０ｂが、これを受信する。
相手移動端末４０５の動作検出部４３０ｂは、前記映像受信部４２０ｂによって受信されたユーザ映像から特定動作を検出する。前記特定動作は、映像認識技術を用いてユーザ映像に含まれる特徴点の変化を分析することで、ユーザの動きや表情変化などを認識することによって検出することができる。
例えば、相手移動端末４０５の動作検出部４３０ｂが、ユーザ映像から当該ユーザのカメラ側への接近または遠ざかりを検出するか、当該ユーザの左側または右側への動きを検出するか、当該ユーザの左眼または右眼の瞬きを検出するか、当該ユーザの口の形状を検出するか、当該ユーザ顔の傾きを検出するか、当該ユーザ顔の左側または右側の回転を検出するか、当該ユーザ顔のしかめ面を検出するか、などのユーザの動きや表情変化などを認識することによって特定動作を検出することができる。
撮影制御部４４０ｂは、相手移動端末４０５の動作検出部４３０ｂによる特定動作の検出時に、自身の第２カメラ６００の動作または自身の第２カメラ６００によって撮影される映像の処理を制御する。
例えば、相手移動端末４０５の撮影制御部４４０が、自身の第２カメラ６００のズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、ユーザの特定動作によって自身の第２カメラ６００の動作を制御することができる。
また、相手移動端末４０５の撮影制御部４４０は、自身の第２カメラ６００によって撮影される映像の表示、映像の伝送、映像の合成、映像の特殊効果処理、または映像の置き換え等を制御することで、ユーザの特定動作に従って自身の第２カメラ６００によって撮影される映像の処理を制御することができる。
また、映像認識技術に基づく撮影制御機能をそなえる移動端末４０５は、更に動作設定部４５０ｂを含む。動作設定部４５０ｂは、動作検出部４３０ｂにより検出される特定動作を設定する。すなわち、動作設定部４５０ｂは、特定動作が検出された後に実行される相手移動端末４０５の第２カメラ６００の動作または第２カメラ６００により撮影された映像の処理動作に関するユーザ情報から取得する動作情報を動作設定情報として動作設定部４５０ｂに格納する。動作検出部４３０ｂは、特定動作が検出された場合、動作設定部４５０ｂの動作設定情報を参照する。
したがって、この実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末は、一つのカメラによって撮影されるユーザ映像を映像認識技術を用いて分析して、ユーザの特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるので、ユーザの利便性を向上させることができる。
図４は、本発明の第２実施形態に係る映像認識技術を利用した撮影制御システムのブロック図である。この実施形態に係る映像認識技術を利用した撮影制御システムは、第１カメラ５００は、第１ユーザの移動端末４００に設けられ、第２カメラ６００は、第２ユーザの相手移動端末４０５に設けられて、第１カメラ５００で撮影されるユーザ映像を第１ユーザの移動端末４００が送信し、このユーザ映像を受信した第２ユーザの相手移動端末４０５が、ユーザ映像から特定動作を検出するとき、第２カメラ６００の動作または第２カメラ６００によって撮影される映像の処理を制御するようにしたものである。
前記第１ユーザの移動端末４００の映像送信部４１０ａは、第１カメラ５００によって撮影されるユーザ映像を送信する。第１ユーザの移動端末４００の映像送信部４１０ａによって送信されたユーザ映像は、移動通信網を通じて第２ユーザの移動端末４０５に送信される。
第２ユーザの相手移動端末４０５の映像受信部４２０ｂは、第１ユーザの移動端末４００から送信されるユーザ映像を受信する。第２ユーザの相手移動端末４０５の動作検出部４３０ｂは、映像受信部４２０ｂによって受信されたユーザ映像から特定行動を検出する。
第２ユーザの相手移動端末４０５の撮影制御部４４０ｂは、動作検出部４３０ｂによる特定動作の検出時に、第２カメラ６００の動作または第２カメラ６００によって撮影される映像の処理を制御する。
例えば、前記撮影制御部４４０ｂは、第２カメラ６００のズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、ユーザの特定行動に従って第２カメラ６００の動作を制御することができる。
例えば、前記撮影制御部４４０ｂは、第２カメラ６００によって撮影される映像の表示、映像の伝送、映像の合成、映像の特殊効果理、または映像の置き換え等を制御することで、ユーザの特定動作に従って第２カメラ６００によって撮影される映像の処理を制御することができる。
したがって、この実施形態に係る映像認識技術を利用した撮影制御システムは、一つのカメラによって撮影されるユーザ映像を映像認識技術を用いて分析して、ユーザの特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるので、ユーザの利便性を向上させることができる。
図５は、本発明の第３実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末のブロック図である。この実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末７００は、第１カメラ８００と第２カメラ９００とを備える。第１カメラ８００と第２カメラ９００は、移動端末７００の対向する側に配置されている。移動端末７００は、動作検出部７１０と撮影制御部７２０を含む。動作検出部７１０は、第１カメラ８００により撮影されたユーザ映像から特定動作を検出し、撮影制御部７２０は、特定動作が検出された時、第２カメラ９００の動作または第２カメラ９００により撮影された映像の処理を制御する。
前記動作検出部７１０は、自身の第１カメラ８００によって撮影されるユーザ映像から特定動作を検出する。前記ユーザの特定動作は、映像認識技術を用いてユーザ映像に含まれる特徴点の変化を分析することで、ユーザの動きや表情変化などを認識することによって検出することができる。
例えば、前記動作検出部７１０は、ユーザ映像から当該ユーザのカメラ側への接近または遠ざかりを検出するか、当該ユーザの左側または右側への動きを検出するか、当該ユーザの左眼または右眼の瞬きを検出するか、当該ユーザの口の形状を検出するか、当該ユーザ顔の傾きを検出するか、当該ユーザ顔の左側または右側の回転を検出するか、当該ユーザ顔のしかめ面を検出するか、などのユーザの動きや表情変化などを認識することによって特定動作を検出することができる。
前記撮影制御部７２０は、前記動作検出部７１０による特定動作の検出時に、自身の第２カメラ９００の動作または自身の第２カメラ９００によって撮影される映像の処理を制御する。
例えば、前記撮影制御部７２０が、第２カメラ９００のズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、ユーザの特定動作に従って第２カメラ９００の動作を制御することができる。
また、前記撮影制御部７２０は、第２カメラ９００によって撮影される映像の表示、映像の伝送、映像の合成、映像の特殊効果処理または映像の置き換え等を制御することで、ユーザの特定動作に従って第２カメラによって撮影される映像の処理を制御することができる。
したがって、この実施形態に係る映像認識技術を利用した撮影制御機能を備えた移動端末は、一つのカメラによって撮影されるユーザ映像を映像認識技術を用いて分析して、ユーザの特定動作を検出し、特定動作の検出時に、他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるので、ユーザの利便性を向上させることができる。
本発明に係る映像認識技術を利用した撮影制御機能を備えた移動端末７００は、図５に示すように、動作設定部７３０をさらに含む。動作設定部７３０は、前記動作検出部１１０、４３０、７１０によって検出される特定動作を設定する。
すなわち、動作設定部７３０は、特定動作が検出された後に実行される第２カメラ９００の動作または第２カメラ９００により撮影された映像の処理動作に関するユーザ情報から取得する動作情報を動作設定情報として動作設定部７３０に格納する。動作検出部７１０は、特定動作の検出時に動作設定部７３０の動作設定情報を参照する。
本発明に係る映像認識技術を利用した撮影制御機能を備えた移動端末７００は、環境設定部７４０をさらに含む。環境設定部７４０は、撮影制御部７２０の動作のオン／オフ状態を設定する。
すなわち、環境設定部７４０は、撮影制御部７２０の動作のオン／オフ状態を環境設定情報として保存するようにしたものである。該保存された環境設定情報によって、前記撮影制御部７２０の動作がオン／オフされてもよい。
図６を参照して、前述したような構成を有する本発明に係る映像認識技術を利用した撮影制御システムの撮影制御動作を説明する。図６は、本発明に係る映像認識技術を利用した撮影制御システムの撮影制御手順を示すフローチャートである。
第１カメラによってユーザ映像が撮影されると、ステップＳ１１０において、本発明に係る映像認識技術を利用した撮影制御システムが、第１カメラによって撮影されるユーザ映像から特定動作を検出する。
例えば、ユーザ映像から当該ユーザの第１カメラ側への接近または遠ざかりを検出することで、特定動作を検出することができる。この際、ユーザの第１カメラ側への接近または遠ざかりは、第１カメラによって撮影されるユーザ映像の大きさの変化を認識することによって検出することができる。
例えば、ユーザ映像から当該ユーザの左側または右側への動きを検出することで、特定動作を検出することができる。この際、ユーザの左側または右側への動きは、第１カメラによって撮影されるユーザ映像に含まれる特徴点の位置移動または回転または傾きなどを認識することによって検出することができる。
例えば、ユーザ映像から当該ユーザの左眼または右眼の瞬きを検出することで、特定動作を検出することができる。この際、ユーザの左眼または右眼の瞬きは、第１カメラによって撮影されるユーザ映像に含まれる左眼または右眼と関連した特徴点の変化を認識することによって検出することができる。
例えば、ユーザ映像から当該ユーザの口の形状を検出することで、特定動作を検出することができる。この際、ユーザの口の形状は、第１カメラによって撮影されるユーザ映像に含まれる口と関連した特徴点の変化を認識することによって検出することができる。
例えば、ユーザ映像から当該ユーザの顔の傾きを検出することで、特定動作を検出することができる。この際、ユーザの顔の傾きは、第１カメラによって撮影されるユーザ映像に含まれる特徴点の位置移動または回転または傾きなどを認識することによって検出することができる。
例えば、ユーザ映像から当該ユーザの顔の左側または右側の回転を検出することで、特定動作を検出することができる。この際、ユーザの顔の左側または右側の回転は、第１カメラによって撮影されるユーザ映像に含まれる特徴点の位置移動または回転または傾きなどを認識することによって検出することができる。
例えば、ユーザ映像から当該ユーザ顔のしかめ面を検出することで、特定動作を検出することができる。この際、ユーザ顔のしかめ面は、第１カメラによって撮影されるユーザ映像に含まれる目、鼻、口と関連した特徴点の変化を認識することによって検出することができる。
もし、前記ステップＳ１１０において特定動作が検出されれば、本発明による映像認識技術を利用した撮影制御システムは、ステップＳ１２０において第２カメラの動作または第２カメラによって撮影される映像の処理を制御し、ステップＳ１３０においてあらかじめ設定された撮影制御の終了命令が入力されるまでに撮影制御動作を繰り返し実行する。
例えば、前記ステップＳ１２０において、第２カメラのズームインまたはズームアウト動作を制御するか、撮影角を制御するか、撮影開始または撮影終了動作を制御することで、第１カメラにより撮影されたユーザ映像から検出されたユーザの特定動作に従って第２カメラの動作を制御することができる。
例えば、前記ステップＳ１２０において、第２カメラによって撮影される映像の表示、映像の伝送、映像の同期、映像の特殊効果処理または映像の置き換え等を制御することで、第１カメラにより撮影されたユーザ映像から検出されたユーザの特定動作に従って第２カメラによって撮影される映像の処理を制御することができる。
したがって、本発明は、前面部カメラと背面部カメラとを備えた移動端末や、画像通話が可能な移動端末などで一つのカメラによって撮影される映像の分析を通じて他のカメラの動作または他のカメラによって撮影される映像の処理を制御することで、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、撮影制御が可能になるのでユーザの利便性を向上させることができ、上述した本発明の目的を達成することができる。
次は、本発明に係る映像認識技術を利用した撮影制御システムを移動端末に適用した例を説明するものである。
例えば、本発明による映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザが第１カメラ側に近付くと検出される場合には、第２カメラをズームインさせ、遠ざかると検出される場合には、第２カメラをズームアウトさせるようにすれば、ユーザのボタン操作やタッチ操作等の物理的な操作なしでも、ユーザの第１カメラ側への接近または遠ざかり動作に従って第２カメラのズームインまたはズームアウトの制御が可能になる。
また、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザが左側に動くと検出される場合には、第２カメラの撮影角を左側に回転させ、右側に動くと検出される場合には、第２カメラの撮影角を右側に回転させるようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの左側または右側への動き動作に従って第２カメラの撮影角の制御が可能になる。
例えば、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザが左側の目を瞬くと検出される場合には、第２カメラの撮影を始め、右側の目を瞬くと検出される場合には、第２カメラの撮影を終了するようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの左眼または右眼の瞬き動作に従って第２カメラの撮影開始または撮影終了動作の制御が可能になる。
例えば、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザの口の形状が開かれたと検出される場合には、第２カメラに撮影される映像を表示し、口の形状が前に突き出たと検出される場合には、第２カメラによって撮影される映像の表示を終了するようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの口の形状に従って第２カメラによって撮影される映像表示の制御が可能になる。
例えば、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザの顔の傾きが前に傾いたと検出される場合には、第２カメラをズームインさせ、後に傾いたと検出される場合には、第２カメラをズームアウトさせるようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの顔の傾き動作に従って第２カメラのズームインまたはズームアウトの制御が可能になる。
例えば、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザの顔が左側に回転されたと検出される場合には、第２カメラによって撮影される映像と第１カメラによって撮影される映像とを左右分割合成して表示し、右側に回転されたと検出される場合には、第１カメラによって撮影される映像を第２カメラによって撮影される映像内にＰＩＰ（Ｐｉｃｔｕｒｅ Ｉｎ Ｐｉｃｔｕｒｅ）方式で合成して表示するようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの顔の左側または右側の回転動作に従って第２カメラによって撮影される映像の合成制御が可能になる。
例えば、本発明に係る映像認識技術を利用した撮影制御システムは、第１カメラによって撮影される映像からユーザの顔がしかめ面になったと検出される場合、第２カメラによって撮影される映像を他のユーザの移動端末に伝送するようにすれば、ユーザのボタン操作やタッチスクリーン操作等の物理的な操作なしでも、ユーザの顔のしかめ面の動作に従って第２カメラによって撮影される映像の伝送制御が可能になる。
一方、本発明の付加的な態様によれば、前記撮影制御部１５０、４４０、７２０が、ユーザの第１カメラ側への接近または遠ざかりの速度や回数、ユーザの左側または右側への動きの速度や回数、ユーザの左眼または右眼の瞬きの速度や回数、ユーザの口の形状の開け具合、ユーザの顔の傾き具合、ユーザの顔の左側または右側への回転速度や回数、ユーザの顔のしかめ面具合を反映して、第２カメラの動作または第２カメラによって撮影される映像の処理の制御を行うようにすることもできる。
例えば、ユーザの第１カメラ側への接近または遠ざかり速度によって、撮影制御部１５０、４４０、７２０が、第２カメラのズームインまたはズームアウト速度を可変制御するようにすることができる。
例えば、ユーザの顔が前に一回傾いたと検出される場合には、撮影制御部１５０、４４０、７２０が、第２カメラによって撮影される映像をそのまま他人の移動端末に伝送し、二回傾いたと検出される場合には、撮影制御部１５０、４４０、７２０が、第２カメラによって撮影される映像を第１カメラによって撮影される映像と合成して、他人の移動端末に伝送するようにすることもできる。
本発明は、添付した図面によって参照される望ましい実施形態を中心に説明したが、このような記載から後述する特許請求の範囲に包含される範囲内で、本発明の範疇から外れることなく多様な変形が可能であるということは明白である。
１００、４００、７００：移動端末
１０５、４０５：相手移動端末
１１０ａ、１１０ｂ、４３０ａ、４３０ｂ、７１０：動作検出部
１２０ａ、１２０ｂ：制御命令生成部
１３０ａ、１３０ｂ：制御命令送信部
１４０ａ、１４０ｂ：制御命令受信部
１５０ａ、１５０ｂ、４４０ａ、４４０ｂ、７２０：撮影制御部
１６０ａ、１６０ｂ、４５０ａ、４５０ｂ、７３０：動作設定部
１７０ａ、１７０ｂ、４６０ａ、４６０ｂ、７４０：環境設定部
２００、５００、８００：第１カメラ
３００、６００、９００：第２カメラ
４１０ａ、４１０ｂ：映像送信部
４２０ａ、４２０ｂ：映像受信部

Claims (22)

  1. 第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、
    前記動作検出部による特定動作の検出時に、相手移動端末の第２カメラの動作または相手移動端末の第２カメラによって撮影される映像の処理を制御する第１制御命令を生成する制御命令生成部と、
    前記制御命令生成部によって生成された第１制御命令を相手移動端末に送信する制御命令送信部と、
    相手移動端末から送信される前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する第２制御命令を受信する制御命令受信部と、
    前記制御命令受信部によって受信された第２制御命令に従って前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する撮影制御部と、
    を含むことを特徴とする映像認識技術を利用した撮影制御機能を備えた移動端末。
  2. 第１カメラによって撮影されるユーザ映像を相手移動端末に送信する映像送信部と、
    相手移動端末から送信されるユーザ映像を受信する映像受信部と、
    前記映像受信部によって受信されたユーザ映像から特定動作を検出する動作検出部と、
    前記動作検出部による特定動作の検出時に、前記第１カメラの動作または前記第１カメラによって撮影される映像の処理を制御する撮影制御部と、
    を含むことを特徴とする映像認識技術を利用した撮影制御機能を備えた移動端末。
  3. 第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、
    前記動作検出部による特定動作の検出時に、第２カメラの動作または第２カメラによって撮影される映像の処理を制御する撮影制御部と、
    を含むことを特徴とする映像認識技術を利用した撮影制御機能を備えた移動端末。
  4. 前記動作検出部によって検出される特定動作を設定する動作設定部をさらに含むことを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  5. 前記撮影制御部の動作のオン／オフを設定する環境設定部をさらに含むことを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  6. 前記撮影制御部は、前記第１カメラまたは前記第２カメラのズームインまたはズームアウト動作を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  7. 前記撮影制御部は、第１カメラまたは前記第２カメラの撮影角を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  8. 前記撮影制御部は、前記第１カメラまたは前記第２カメラの撮影開始または撮影終了動作を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  9. 前記撮影制御部は、前記第１カメラまたは前記第２カメラによって撮影される映像の表示を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  10. 前記撮影制御部は、前記第１カメラまたは前記第２カメラによって撮影される映像の伝送を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  11. 前記撮影制御部は、前記第１カメラまたは前記第２カメラによって撮影される映像の合成を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  12. 前記撮影制御部は、前記第１カメラまたは前記第２カメラによって撮影される映像の特殊効果処理を制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  13. 前記撮影制御部は、前記第１カメラまたは前記第２カメラによって撮影される映像の置き換えを制御することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  14. 前記動作検出部は、ユーザ映像から当該ユーザの前記第１カメラ側または前記第２カメラ側への接近または遠ざかりを検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  15. 前記動作検出部は、ユーザ映像から当該ユーザの左側または右側への動きを検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  16. 前記動作検出部は、ユーザ映像から当該ユーザの左眼または右眼の瞬きを検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  17. 前記動作検出部は、ユーザ映像から当該ユーザの口の形状を検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  18. 前記動作検出部は、ユーザ映像から当該ユーザの顔の傾きを検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  19. 前記動作検出部は、ユーザ映像から当該ユーザの顔の左側または右側の回転を検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  20. 前記動作検出部は、ユーザ映像から当該ユーザの顔のしかめ面を検出することを特徴とする請求項１ないし請求項３のうち何れか一項に記載の映像認識技術を利用した撮影制御機能を備えた移動端末。
  21. 第１カメラは、第１ユーザの移動端末に設けられ、第２カメラは、第２ユーザの移動端末に設けられる映像認識技術を利用した撮影制御システムにおいて、
    前記第１カメラによって撮影されるユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する制御命令を生成する制御命令生成部と、前記制御命令生成部によって生成された制御命令を送信する制御命令送信部と、を含む第１ユーザの移動端末と、
    前記第１ユーザの移動端末から送信される前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する制御命令を受信する制御命令受信部と、前記制御命令受信部によって受信された制御命令に従って前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する撮影制御部と、を含む第２ユーザの移動端末と、
    を含むことを特徴とする映像認識技術を利用した撮影制御システム。
  22. 第１カメラは、第１ユーザの移動端末に設けられ、第２カメラは、第２ユーザの移動端末に設けられる映像認識技術を利用した撮影制御システムにおいて、
    前記第１カメラによって撮影されるユーザ映像を送信する映像送信部を含む第１ユーザの移動端末と、
    前記第１ユーザの移動端末から送信されるユーザ映像を受信する映像受信部と、前記映像受信部によって受信されたユーザ映像から特定動作を検出する動作検出部と、前記動作検出部による特定動作の検出時に、前記第２カメラの動作または前記第２カメラによって撮影される映像の処理を制御する撮影制御部と、を含む第２ユーザの移動端末と、
    を含むことを特徴とする映像認識技術を利用した撮影制御システム。
JP2010180609A 2009-09-08 2010-08-11 映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システム Pending JP2011061770A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090084494A KR101078057B1 (ko) 2009-09-08 2009-09-08 영상인식기법을 이용한 촬영 제어 기능을 구비한 이동단말 및 영상인식기법을 이용한 촬영 제어 시스템

Publications (1)

Publication Number Publication Date
JP2011061770A true JP2011061770A (ja) 2011-03-24

Family

ID=42983553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010180609A Pending JP2011061770A (ja) 2009-09-08 2010-08-11 映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システム

Country Status (6)

Country Link
US (1) US20110058051A1 (ja)
EP (1) EP2306706B1 (ja)
JP (1) JP2011061770A (ja)
KR (1) KR101078057B1 (ja)
CN (1) CN102014198A (ja)
TW (1) TW201138440A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070141A (ja) * 2011-09-21 2013-04-18 Eastman Kodak Co 撮像装置
JP2015014672A (ja) * 2013-07-04 2015-01-22 住友電気工業株式会社 カメラ制御装置、カメラシステム、カメラ制御方法、及びプログラム
JP2017505553A (ja) * 2013-11-29 2017-02-16 インテル・コーポレーション 顔検出によるカメラ制御

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564684B2 (en) * 2011-08-17 2013-10-22 Digimarc Corporation Emotional illumination, and related arrangements
TWI582708B (zh) 2012-11-22 2017-05-11 緯創資通股份有限公司 臉部表情控制系統、表情控制之方法及其電腦系統
KR101983288B1 (ko) * 2012-11-22 2019-05-29 삼성전자주식회사 카메라 촬영 제어장치 및 방법
CN102984458A (zh) * 2012-12-18 2013-03-20 深圳市中兴移动通信有限公司 设备间共享拍摄的方法和终端
CN103108087A (zh) * 2013-02-28 2013-05-15 无锡同春新能源科技有限公司 一种用于手机拍照、摄像的智能控制装置
KR102082661B1 (ko) * 2013-07-12 2020-02-28 삼성전자주식회사 전자 장치의 촬영 이미지 생성 방법 및 장치
KR102031142B1 (ko) * 2013-07-12 2019-10-11 삼성전자주식회사 영상 디스플레이를 제어하는 전자 장치 및 방법
CN103795918A (zh) * 2013-11-29 2014-05-14 深圳市中兴移动通信有限公司 一种拍摄方法和拍摄装置
BR102014013800A8 (pt) * 2014-06-06 2018-09-11 Localiza Rent A Car S A sistema de autoatendimento com identificação automatizada do usuário
CN105516576B (zh) * 2014-09-22 2020-01-21 中兴通讯股份有限公司 一种基于口型识别的拍照方法、装置和移动终端
EP3010225B1 (en) * 2014-10-14 2019-07-24 Nokia Technologies OY A method, apparatus and computer program for automatically capturing an image
CN106303194A (zh) * 2015-05-28 2017-01-04 中兴通讯股份有限公司 远程拍摄方法、主控拍摄终端、被控拍摄终端及拍摄系统
CN105516598A (zh) * 2015-12-31 2016-04-20 上海摩软通讯技术有限公司 移动终端的拍摄控制方法及拍摄控制系统
US10038937B2 (en) * 2016-01-11 2018-07-31 International Business Machines Corporation Location-specific audio capture and correspondence to a video file
CN105718887A (zh) * 2016-01-21 2016-06-29 惠州Tcl移动通信有限公司 基于移动终端摄像头实现动态捕捉人脸摄像的方法及系统
CN106161954A (zh) * 2016-08-16 2016-11-23 北京金山安全软件有限公司 一种视频拍摄控制方法、装置及电子设备
CN106412443A (zh) * 2016-11-22 2017-02-15 维沃移动通信有限公司 一种拍摄方法及移动终端
CN106681503A (zh) * 2016-12-19 2017-05-17 惠科股份有限公司 一种显示控制方法、终端及显示装置
CN106941588B (zh) * 2017-03-13 2020-03-24 联想(北京)有限公司 一种数据处理方法及电子设备
CN107395968A (zh) * 2017-07-26 2017-11-24 Tcl移动通信科技（宁波）有限公司 移动终端及其录像操作检测处理方法、及存储介质
CN107911619A (zh) * 2017-12-28 2018-04-13 上海传英信息技术有限公司 一种智能终端的摄像系统及其摄像方法
KR101843135B1 (ko) * 2018-01-31 2018-03-28 김규혁 영상 처리 방법, 장치 및 컴퓨터 프로그램
JP2020167517A (ja) * 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび撮像装置
US11792506B2 (en) * 2022-02-09 2023-10-17 Motorola Mobility Llc Electronic devices and corresponding methods for defining an image orientation of captured images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051340A (ja) * 2003-07-30 2005-02-24 Canon Inc カメラをリモート制御するカメラ
JP2005092419A (ja) * 2003-09-16 2005-04-07 Casio Comput Co Ltd 情報処理装置およびプログラム
JP2005318259A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 画像撮影装置、画像撮影システム及び画像撮影装置制御方法
JP2006086591A (ja) * 2004-09-14 2006-03-30 Canon Inc 移動体追跡システム、撮影装置及び撮影方法
WO2008107024A1 (en) * 2007-03-02 2008-09-12 Sony Ericsson Mobile Communications Ab Remote control of an image capturing unit in a portable electronic device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188431B1 (en) * 1996-02-17 2001-02-13 Casio Computers Co., Ltd. Electronic still camera and method for communication between electronic still cameras
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
US6943774B2 (en) * 2001-04-02 2005-09-13 Matsushita Electric Industrial Co., Ltd. Portable communication terminal, information display device, control input device and control input method
US7136094B2 (en) * 2002-02-22 2006-11-14 Hewlett-Packard Development Company, L.P. Share link between image capturing devices
KR100464040B1 (ko) * 2002-12-16 2005-01-03 엘지전자 주식회사 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법
JP2004222254A (ja) 2002-12-27 2004-08-05 Canon Inc 画像処理システム、方法及びプログラム
JP4419759B2 (ja) * 2004-09-01 2010-02-24 株式会社ニコン 電子カメラシステム
US7379664B2 (en) * 2005-07-26 2008-05-27 Tinkers & Chance Remote view and controller for a camera
US7724284B2 (en) * 2005-09-29 2010-05-25 Aptina Imaging Corporation Multi-camera system and method having a common processing block
US20070254640A1 (en) * 2006-04-27 2007-11-01 Bliss Stephen J Remote control and viewfinder for mobile camera phone
US7626612B2 (en) * 2006-06-30 2009-12-01 Motorola, Inc. Methods and devices for video correction of still camera motion
CN101141628A (zh) * 2006-09-07 2008-03-12 环达电脑(上海)有限公司 移动嵌入式设备远程监控系统及方法
CN101335828A (zh) * 2007-06-26 2008-12-31 英华达(上海)电子有限公司 一种将摄录图像传输到移动终端显示的装置
CN201248116Y (zh) * 2008-08-29 2009-05-27 北京创先泰克科技有限公司 用电话机终端控制摄像装置的控制系统
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051340A (ja) * 2003-07-30 2005-02-24 Canon Inc カメラをリモート制御するカメラ
JP2005092419A (ja) * 2003-09-16 2005-04-07 Casio Comput Co Ltd 情報処理装置およびプログラム
JP2005318259A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 画像撮影装置、画像撮影システム及び画像撮影装置制御方法
JP2006086591A (ja) * 2004-09-14 2006-03-30 Canon Inc 移動体追跡システム、撮影装置及び撮影方法
WO2008107024A1 (en) * 2007-03-02 2008-09-12 Sony Ericsson Mobile Communications Ab Remote control of an image capturing unit in a portable electronic device
JP2010530144A (ja) * 2007-03-02 2010-09-02 ソニー エリクソン モバイル コミュニケーションズ， エービー 携帯型電子機器での画像撮影ユニットの遠隔制御

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013070141A (ja) * 2011-09-21 2013-04-18 Eastman Kodak Co 撮像装置
JP2015014672A (ja) * 2013-07-04 2015-01-22 住友電気工業株式会社 カメラ制御装置、カメラシステム、カメラ制御方法、及びプログラム
JP2017505553A (ja) * 2013-11-29 2017-02-16 インテル・コーポレーション 顔検出によるカメラ制御

Also Published As

Publication number Publication date
KR20110026727A (ko) 2011-03-16
TW201138440A (en) 2011-11-01
EP2306706B1 (en) 2013-08-21
EP2306706A1 (en) 2011-04-06
US20110058051A1 (en) 2011-03-10
KR101078057B1 (ko) 2011-10-31
CN102014198A (zh) 2011-04-13

Similar Documents

Publication Publication Date Title
JP2011061770A (ja) 映像認識技術を利用した撮影制御機能を備えた移動端末及び映像認識技術を利用した撮影制御システム
US20240069412A1 (en) Image pickup device and method of tracking subject thereof
TWI586167B (zh) 以臉部偵測控制相機
JP5591006B2 (ja) 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム
US20120242818A1 (en) Method for operating electronic device and electronic device using the same
US9438783B2 (en) Automatic tracking control apparatus for camera apparatus and automatic tracking camera system having same
US20150271414A1 (en) Display apparatus and display method
CN106664361B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
CN114882543A (zh) 图像处理设备、图像处理方法和计算机可读存储介质
US20160182860A1 (en) Methods for performing image capture and real-time image display on physically separated or separable devices and apparatus therefor
US9742987B2 (en) Image pickup display apparatus, image pickup display method, and recording medium
JP2012238975A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US9679391B2 (en) Image pickup system and image pickup method
JP2008182321A (ja) 画像表示システム
WO2018074262A1 (ja) 通信装置および通信方法、並びにプログラム
US9762891B2 (en) Terminal device, image shooting system and image shooting method
JP7277149B2 (ja) 撮像装置及びその制御方法
JP2006238033A (ja) 電子機器
JP6700770B2 (ja) 表示装置、その制御方法、および制御プログラム
JP2011035882A (ja) 撮像装置
JP2024148429A (ja) 撮像装置およびその制御方法
JP2023062381A (ja) 撮像装置及びその制御方法とプログラム
JP2009089171A (ja) ネットワークカメラシステム、その制御方法、及びプログラム
JP2008083077A (ja) カメラシステム
JP2010148039A (ja) テレビカメラ装置の電子台本装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140107