JP2019194904A - 画像のグループについてのテキスト色を生成する方法及び装置 - Google Patents

画像のグループについてのテキスト色を生成する方法及び装置 Download PDF

Info

Publication number
JP2019194904A
JP2019194904A JP2019124769A JP2019124769A JP2019194904A JP 2019194904 A JP2019194904 A JP 2019194904A JP 2019124769 A JP2019124769 A JP 2019124769A JP 2019124769 A JP2019124769 A JP 2019124769A JP 2019194904 A JP2019194904 A JP 2019194904A
Authority
JP
Japan
Prior art keywords
images
color
text
matching color
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2019124769A
Other languages
English (en)
Inventor
ボス,ネイル
Voss Neil
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2019194904A publication Critical patent/JP2019194904A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/029Insert-editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像の組をまとめて自動的にグループ化し、メディアデバイスでの提示のためにその画像の組でのオーバーレイのためにテキスト色を選択する。【解決手段】システムは、まとめてグループ化されるべき画像の組を識別し1305、その画像のグループにおいて最も突出した色を識別し1310、所定数の色からその色に最も近い一致色を見つけ1315、一致色を用いて、画像のグループにオーバーレイされるテキストを彩色する1320。【選択図】図13

Description

ポータブル型電子デバイスは、ますます普遍的になりつつある。例えば、携帯電話機、音楽プレーヤー、カメラ、タブレット、等のような、それらのデバイスは、デバイスの組み合わせを含み、よって、複数のオブジェクトを持ち運ぶことを不必要にする。例えば、Apple(登録商標)のiPhone(登録商標)又はSamsung(登録商標)のGalaxy(登録商標)アンドロイド(登録商標)フォンのような、現在のタッチスクリーン型携帯電話機は、例えば、ビデオ及び静止画カメラ、グローバルポジショニングナビゲーションシステム、インターネットブラウザ、テキスト及び電話、ビデオ及び音楽プレーヤー、他を含む。それらのデバイスは、例えば、WiFi(登録商標)、有線、及びセルラー(例えば、3G)のような複数のネットワークにおいて、データを送信及び受信することをしばしば可能にされる。
ポータブル型電子デバイスにおける二次的要素の品質は、絶えず改善してきた。例えば、初期の“カメラ付き電話機”は、固定焦点レンズであって且つフラッシュなしの低解像度センサから成った。今日、多くの携帯電話機は、フル高精細ビデオ機能、編集及びフィルタリングツール、並びに高精細ディスプレイを備える。それらの改善された機能により、多くのユーザは、自身の主たる写真撮影デバイスとしてそれらのデバイスを使用している。従って、より一層改善された性能及びプロ仕様の組み込み型写真撮影ツールに対する要求が存在する。加えて、ユーザは、単に写真を印刷するだけでなく、より多くの方法で他者と自身のコンテンツを共有し且つ容易にそうしたいと望んでいる。ユーザは、例えば、YouTube(登録商標)のような、ビデオストレージサイト又はソーシャルメディアサイトへコンテンツをアップロードしてよい。しかし、ユーザは、共有する前にそれらの写真を編集したいと望むことがあり、この編集は、理想的には、モバイルデバイスで行われ得る。ユーザは、ビデオの長さを編集したり、色フィルタ、輝度又は他のビデオ効果を変更したりしたいと望むことがある。それらの機能は、モバイルデバイスで一般的に利用可能でないので、ユーザは、編集を実行するために最初にコンテンツをコンピュータにダウンロードしなければならない。これは、ユーザの能力水準をしばしば超え、あるいは、実際的であるために必要とされる時間及び労力がかかり過ぎるので、ユーザは、ビデオコンテンツを共有することをしばしば断念させられる。そのような共有方法には、電子メール、テキスト、又はソーシャルメディアサイト、例えば、Facebook(登録商標)、twitter(登録商標)、YouTube(登録商標)、等が含まれ得る。
ユーザ入力が限られているデバイスにおいてビデオ及び画像を編集することに伴って存在する問題のいくつかを多少とも解決するよう、タスクのいくつかはデバイスによって自動化されてよい。それらのタスクは、ユーザの好みや、過去のユーザの行動に従って自動化され、あるいは、アプリケーションによって自動化されてよい。問題は、ユーザが画像、画像のグループ又はビデオにキャプションをオーバーレイしたいと望む場合に現れる。どの色も、全ての画像及びビデオに適切でない。タイトルが画像にオーバーレイされる場合に、それらはデフォルトの色を通常は有し、あるいは、ユーザが色を選択する。デフォルトの色は満足のいくものでないことがある。ユーザが選択した色は、最も満足のいくものでないことがあり、ユーザが夫々の画像において色を設定するのに時間を取る。画像の複数のグループが存在する場合に、画像のグループごとに異なる色のテキスト又はキャプションを有することが望ましいことがある。ビデオにおいては、色が変化するので、ユーザは、キャプションがビデオ全体を通して見えることを確かにするよう、単一のビデオにおいて何回もキャプションの色を変えなければならない。実際に、ほとんどのシステムは、デフォルトの色テキスト設定を使用する。これは、画像からそれ自体をしばしば識別可能でない。多数のユーザインタラクションなしで画像、画像のグループ又はビデオにオーバーレイされるキャプションを適用する方法を有することが望ましい。
この概要は、詳細な説明において以下で更に記載される概念の抜粋を簡単に紹介するために設けられている。概要は、請求されている対象の重要な特徴又は必須の特徴を特定するよう意図されず、更には、請求されている対象の適用範囲を制限するために使用されるよう意図されない。
画像の組をまとめて自動的にグループ化し、メディアデバイスでの提示のためにその画像の組でのオーバーレイのためにテキスト色を選択する方法及び装置が開示される。システムは、まとめてグループ化されるべき画像の組を識別し、その画像のグループにおいて最も突出した色を識別し、所定数の色からその色に最も近い一致色を見つけ、一致色を用いて、画像のグループにオーバーレイされるテキストを彩色する。
本開示のそれら及び他の態様、特徴及び利点は記載され、すなわち、添付の図面に関連して読まれるべき好適な実施形態の以下の詳細な説明から明らかになるであろう。図面において、同じ参照符号は、図を通して同様の要素を表す。
モバイル電子デバイスの例となる実施形態のブロック図を示す。 本開示に従うアクティブ表示を備える例となるモバイルデバイスディスプレイを示す。 本開示に従う画像安定化及びリフレーミングのための例となるプロセスを示す。 本開示に従うキャプチャ初期化を備える例となるモバイルデバイスディスプレイを示す。 本開示に従って画像又はビデオを開始する例となるプロセスを示す。 本開示の態様に従う自動ビデオセグメンテーションの例となる実施形態を示す。 本開示に従ってビデオをセグメント化する方法を示す。 本開示の一態様に従うライトボックスアプリケーションを示す。 ライトボックスアプリケーション内で実行され得る様々な例となる動作を示す。 本開示の一態様に従う例となるキャプション色生成アプリケーションを示す。 本開示の例となる態様に従う色選択チャートを示す。 本開示の一態様に従う画像の例となるグループを示す。 本開示の一態様に従って画像のグループのためのテキスト色を生成する例となるプロセスを示す。
ここで示される例は、本開示の好適な実施形態を表し、そのような例は、如何なる方法によっても本開示の適用範囲を制限するものとして解釈されるべきではない。
図1を参照すると、モバイル電子デバイスの例となる実施形態のブロック図が示されている。表されているモバイル電子デバイスは携帯電話機100であるが、本開示は、例えば、音楽プレーヤー、カメラ、タブレット、グローバルポジショニングナビゲーションシステム、テレビジョン、コンピュータシステム、セットトップボックス、ゲーム機、等のような、いくつのデバイスにおいても同様に実施されてよい。携帯電話機は、通常は、電話呼び出し及びテキストメッセージを送信及び受信する能力、セルラーネットワーク又はローカル無線ネットワークのいずれかを通じてインターネットと相互作用する能力、ピクチャ及び画像を撮影する能力、オーディオ及びビデオコンテンツを再生する能力、並びにアプリケーション(例えば、ワードプロセッシング、プログラム、又はビデオゲーム)を実行する能力を備える。多くの携帯電話機はGPSを有し、更には、ユーザインターフェイスの部分としてタッチスクリーンパネルを有する。
携帯電話機は、他の主たるコンポーネントの夫々へ結合されているメインプロセッサ150を有する。メインプロセッサ150は、単一のプロセッサであってよく、あるいは、当業者によって知られているように、1つよりも多い通信上結合されたプロセッサであってよい。メインプロセッサ150(複数であってよい。)は、例えば、ネットワークインターフェイス110及び120、カメラ140、タッチスクリーン170、並びに他の入出力(I/O)インターフェイス180のような、様々なコンポーネントの間で情報を転送する。メインプロセッサ150は、また、直接に当該デバイスにおける、又はオーディオ/ビデオインターフェイスを通じて外部デバイスにおける再生のためにオーディオ及びビデオコンテンツを処理する。メインプロセッサ150は、例えば、カメラ140、タッチスクリーン170、及びUSBインターフェイス130のような、様々なサブデバイスを制御するよう動作する。メインプロセッサ150は、コンピュータと同様にデータを扱うために使用される携帯電話機におけるサブルーチンを実行するよう更に動作する。例えば、メインプロセッサは、写真がカメラ140によって撮影された後に、画像ファイルを処理するために使用されてよい。そのような処理は、クロッピング、圧縮、色及び輝度の調整、テキストの挿入、テキストの彩色、等を含んでよい。
セルネットワークインターフェイス110は、メインプロセッサ150によって制御され、セルラー無線ネットワークにわたって情報を受信及び送信するために使用される。この情報は、例えば、時分割多重アクセス(TDMA;time division multiple access)、符号分割多重アクセス(CDMA;code division multiple access)又は直交周波数分割多重化(OFDM;orthogonal frequency-division multiplexing)のような、様々なフォーマットにおいて符号化されてよい。情報は、セルネットワークインターフェイス110を通じて当該デバイスから送信及び受信される。インターフェイスは、情報を送信のための適切なフォーマットに符号化及び復号するために使用される複数のアンテナ、符号化器、復調器、等を有してよい。セルネットワークインターフェイス110は、ボイス若しくはテキスト送信を容易にするために、又はインターネットから情報を送信及び受信するために使用されてよい。情報は、ビデオ、オーディオ、及び/又は画像を含んでよい。
無線ネットワークインターフェイス120、又はWiFiネットワークインターフェイスは、WiFiネットワークにわたって情報を送信及び受信するために使用される。この情報は、例えば、802.11g、802.11b、802.11ac、等のような、種々のWiFi規格に従う様々なフォーマットにおいて符号化され得る。インターフェイスは、情報を送信のための適切なフォーマットに符号化及び復号し、情報を復調のために復号するために使用される複数のアンテナ、符号化器、復調器、等を有してよい。WiFiネットワークインターフェイス120は、ボイス若しくはテキスト送信を容易にするために、又はインターネットから情報を送信及び受信するために使用されてよい。この情報は、ビデオ、オーディオ、及び/又は画像を含んでよい。
ユニバーサルシリアルバス(USB)インターフェイス130は、情報を、通常はコンピュータ又は他のUSB対応デバイスへ、有線リンクにわたって送信及び受信するために使用される。USBインターフェイス130は、情報を送信及び受信し、インターネットへ接続し、ボイス及びテキスト呼び出し等を送信及び受信するために使用され得る。加えて、有線リンクは、モバイルデバイスのセルネットワークインターフェイス110又はWiFiネットワークインターフェイス120を用いてUSB対応デバイスを他のネットワークへ接続するために使用されてよい。USBインターフェイス130は、構成情報をコンピュータへ送信及び受信するためにメインプロセッサ150によって使用され得る。
メモリ160、又はストレージデバイスは、メインプロセッサ150へ結合されてよい。メモリ160は、モバイルデバイスの動作に関連し且つメインプロセッサ150によって必要とされる具体的な情報を記憶するために使用されてよい。メモリ160は、ユーザによって記憶及び検索されるオーディオ、ビデオ、写真、又は他のデータを記憶するために使用されてよい。
入出力(I/O)インターフェイス180は、電話呼び出し、オーディオの記録及び再生、又は音声駆動制御とともに使用するためのボタン、スピーカ/マイクロホンを含む。モバイルデバイスは、タッチスクリーンコントローラを通じてメインプロセッサ150へ結合されているタッチスクリーン170を有してよい。タッチスクリーン170は、容量性及び抵抗性タッチセンサの1つ以上を用いるシングルタッチ又はマルチタッチスクリーンのいずれかであってよい。スマートフォンは、例えば、それだけに限られないが、オン/オフボタン、駆動ボタン、ボリューム制御、リンガー制御、及びマルチボタンキーパッド又はキーボードのような、更なるユーザコントロールを更に有してよい。
これより図2を参照すると、本開示に従うアクティブ表示200を備えた例となるモバイルデバイスディスプレイが示されている。例となるモバイルデバイスアプリケーションは、ユーザがあらゆるフレーミングにおいて記録し且つ自身のデバイスを撮影中に自由に回転させることを可能にし、撮影中にデバイスのビューファインダでのオーバーレイにおいて最終の出力を視覚化し、最終的に最終の出力においてデバイスの位置付けを補正するよう動作する。
例となる実施形態に従って、ユーザが撮影を開始するときに、ユーザの現在の位置付けが考慮され、デバイスのセンサに基づく重力のベクトルが水平線を合わせるために使用される。例えば、デバイスのスクリーン及び関連する光センサが横長より縦長である縦向き210、又はデバイスのスクリーン及び関連する光センサが縦長より横長である横向き250のような、夫々のとり得る位置付けについて、最適な目標アスペクト比が選択される。はめ込み長方形225は、所与の(現在の)位置付けについての所望の最適アスペクト比を鑑みて、センサの最大境界に適合するセンサ全体内に記される。センサの境界は、補正のための“猶予(breathing room)”を提供するためにわずかに水増しされる。このはめ込み長方形225は、デバイス自体の回転と逆方向において本質的に回転することによって、回転220、230、240を補償するよう変形される。回転は、デバイスの内蔵ジャイロスコープからサンプリングされる。変形された内側長方形225は、センサ全体の最大使用可能境界から水増し分を引いたものの内側に最適に記される。デバイスの現在の最たる位置付けに応じて、変形された内側長方形225の大きさは、回転の量に対して、2つの最適なアスペクト比の間を補間するよう調整される。
例えば、縦向きのために選択された最適なアスペクト比が正方形(1:1)であり、横向きのために選択された最適なアスペクト比が幅広(16:9)であった場合に、表記の長方形は、それが1つの位置付けから他の位置付けへ回転されるときに1:1から16:9の間を最適に補間する。表記の長方形は、サンプリングされ、次いで、最適な出力寸法にあるよう変形される。例えば、最適な出力寸法が4:3であり、サンプリングされた長方形が1:1である場合には、サンプリングされた長方形は、アスペクトフィルド(aspect filled)(必要に応じてデータをクロッピングして、最適に1:1のエリアを完全に満たす。)又はアスペクトフィット(aspect fit)(‘レターボクシング’又は‘ピラ―ボクシング’により如何なる未使用エリアも黒く塗りつぶして、最適に1:1エリアの内側に完全に合う。)のいずれかである。終わりに、結果は固定アスペクトアセットであり、コンテンツフレーミングは、補正の間に、動的に提供されたアスペクト比に基づき調整する。故に、例えば、1:1から16:9のコンテンツから成る16:9のビデオは、最適に満たされた状態260(16:9部分の間)とピラーボックスを取り付けた状態(1:1部分の間)との間を行ったり来たりする。
全ての動きの総計が最適な出力アスペクト比の選択に考慮され且つ重み付けされるところの更なる精緻化が実施される。例えば、ユーザが、縦長のコンテンツがわずかであって‘大部分が横長’であるビデオを記録する場合には、出力フォーマットは横長アスペクト比である(縦長セグメントにピラーボックスを挿入する。)。ユーザが、大部分が縦長であるビデオを記録する場合には、反対のことが起こる(ビデオは縦長であるよう、出力長方形の境界の外にある如何なる横長コンテンツもクロッピングして最適に出力を満たす。)。
これより図3を参照すると、本開示に従う画像安定化及びリフレーミングのための例となるプロセス300が示されている。システムは、カメラのキャプチャモードが起動されることに応答して、初期化される(310)。初期化は、ハードウェア又はソフトウェアボタンに従って、又はユーザの行動に応答して生成される他の制御信号に応答して、開始されてよい。デバイスのキャプチャモードが起動されると、モバイルデバイスセンサは、ユーザ選択に応答して選択される(320)。ユーザ選択は、タッチスクリーンデバイスでの設定を通じて、メニューシステムを通じて、又は如何にしてボタンが作動されるのかに応答して、なされてよい。例えば、一度押下されたボタンは、フォトセンサを選択してよく、一方、途切れることなく押下されたままであるボタンは、ビデオセンサを示してよい。加えて、所定の時間、例えば、3秒間、ボタンを押したままであることは、ビデオが選択されたことを示してよく、モバイルデバイスでのビデオ記録は、ボタンが2度目に作動されるまで続く。
適切なキャプチャセンサが選択されると、システムは、次いで、回転センサに測定を要求する(330)。回転センサは、ジャイロスコープ、加速度計、軸配向センサ、光センサ、等であってよく、モバイルデバイスの位置の水平及び/又は垂直の現れを決定するために使用される。測定センサは、周期的な測定を制御プロセッサへ送信して、モバイルデバイスの水平及び/又は垂直の向きを連続的に示してよい。よって、デバイスが回転されると、制御プロセッサは、表示を絶えず更新し、且つ、連続的な一貫した水平線を有するようにビデオ又は画像をセーブすることができる。
回転センサがモバイルデバイスの垂直及び/又は水平の向きのインジケーションを返した後、モバイルデバイスは、ビデオ又は画像のキャプチャの向きを示すようディスプレイ上ではめ込み長方形を表す(340)。モバイルデバイスが回転されると、システムプロセッサは、引き続き、はめ込み長方形を、回転センサから受け取った回転測定と同期させる(350)。ユーザは、任意に、例えば、1:1、6:9、16:9のような、好適な最終のビデオ若しくは画像比、又はユーザに選択されたあらゆる他の比を示してよい。システムは、また、モバイルデバイスの位置付けに従う異なる比ごとのユーザ選択を記憶してよい。例えば、ユーザは、垂直の向きにおいて記録されるビデオについては1:1比を、一方、水平の向きにおいて記録されるビデオについては16:9比を示してよい。この事例では、システムは、モバイルデバイスが回転されると、連続的に又は漸増的にビデオをリスケーリングしてよい(360)。よって、ビデオは、1:1の位置付けから始まってよいが、ユーザが撮影中に垂直から水平の向きへ回転することに応答して、16:9の位置付けにおいて終わるよう漸次的にリスケーリングされ得る。任意に、ユーザは、開始又は終了の位置付けがビデオの最終の比を決定することを示してよい。
これより図4を参照すると、本開示に従うキャプチャ初期化400を備える例となるモバイルデバイスディスプレイが示されている。例となるモバイルデバイスは、画像又はビデオを捕捉するタッチトーンディスプレイを表すよう示されている。本開示の態様に従って、例となるデバイスのキャプチャモードは、多数の動作に応答して起動されてよい。モバイルデバイスのハードウェアボタン410のいずれかは、キャプチャシーケンスを開始するよう押し下げられてよい。代替的に、ソフトウェアボタン420は、キャプチャシーケンスを開始するようタッチスクリーンを通じて作動されてよい。ソフトウェアボタン420は、タッチスクリーンに表示されている画像430にオーバーレイされてよい。画像430は、画像センサによって捕捉されている現在の画像を示すビューファインダの役目をする。上述された表記の長方形440も画像にオーバーされてよく、捕捉される画像又はビデオのアスペクト比を示す。
これより図5を参照すると、本開示に従って画像又はビデオキャプチャを開始する例となるプロセス500が示されている。イメージングソフトウェアが開始されると、システムは、画像キャプチャを開始するためのインジケーションを待つ。画像キャプチャのインジケーションがメインプロセッサによって受け取られると(510)、デバイスは、画像センサから送信されたデータをセーブし始める(520)。加えて、システムはタイマを起動する。システムは、次いで、画像センサからのデータをビデオデータとして捕捉し続ける。キャプチャが停止(530)されたことを示す、キャプチャのインジケーションからの第2のインジケーションに応答して、システムは、画像センサからのデータをセーブすることを止め、タイマを停止させる(535)。
システムは、次いで、タイマの値を所定の時間閾値と比較する(540)。所定の時間閾値は、例えば、1秒といった、ソフトウェアプロバイダによって決定されたデフォルト値であってよく、あるいは、それは、ユーザによって決定された設定可能な設定であってよい。タイマの値が所定の閾値に満たない場合は(540)、システムは、静止画像が所望であったと決定し、ビデオキャプチャの第1のフレームを静止画像として静止画像フォーマット(例えば、JPEG、等)においてセーブする(560)。システムは、任意に、他のフレームを静止画像として選択してよい。タイマの値が所定の閾値よりも大きい場合は(540)、システムは、ビデオキャプチャが所望であったと決定する。システムは、次いで、キャプチャデータをビデオファイルとしてビデオファイルフォーマット(例えば、MPEG、等)においてセーブする(550)。システムは、初期化モードへ戻り、キャプチャモードが再び起動されるのを待ってよい。モバイルデバイスが静止画像キャプチャ及びビデオキャプチャのために異なるセンサを備えている場合は、システムは、任意に、静止画像センサからの静止画像をセーブし、ビデオ画像センサからのキャプチャデータをセーブし始めてよい。タイマの値が所定の時間閾値と比較されるとき、所望のデータがセーブされ、一方、不要なデータはセーブされない。例えば、タイマの値が閾時間値を越える場合は、ビデオデータがセーブされ、画像データは捨てられる。
これより、図6を参照すると、自動ビデオセグメンテーション600の例となる実施形態が示されている。システムは、可能な限り秒単位における所定の時間インターバルに近いセグメントへとスライスされるビデオを計算及び出力することを目標としている自動ビデオセグメンテーションを対象とする。加えて、セグメントは、セグメント化されるビデオの属性に応じて、より長くても、又はより短くてもよい。不格好に、例えば、話し言葉の途中で、コンテンツを分けることは、好ましくない。タイムライン610が示されており、9つのセグメント(1〜9)に分けられたビデオを表す。セグメントの夫々は、約8秒の長さである。原のビデオは、少なくとも1分4秒の長さを有する。
この例となる実施形態では、夫々のビデオセグメントについて選択された時間インターバルは8秒である。この当初の時間インターバルは、より長くても、又はより短くてもよく、あるいは、任意に、ユーザによって設定可能であってよい。8秒のベースタイミングインターバルは、様々なタイプのネットワーク上でダウンロードするための適当なデータ伝送サイズを持った管理可能なデータセグメントに目下相当するものとして、選択された。約8秒のクリップは、モバイルプラットフォームにおいて試験的に配信されるビデオコンテンツのシングルクリップをエンドユーザが吟味すると期待する妥当な平均存続期間である。約8秒のクリップは、知覚的に覚えやすい期間であってよく、エンドユーザは、理論上は、それが表示する一層多くのコンテンツのより良い視覚的記憶を持ち続けることができる。加えて、8秒は、現代の洋楽の最も一般的なテンポである毎分120の拍子での8ビートのイーブン楽節長さである。これは、近似的に、最も一般的な楽節長さである4小節(16ビート)の小楽節の存続期間(音楽のテーマ又はセクションの全体を含む存続時間)である。このテンポは、平均的な活動心拍数に知覚的にリンクされて、行為及び活動を示唆するとともに、覚醒を増進させる。更に、小さい既知のサイズクリップを有することは、ビデオ圧縮率及びバンド幅が、8メガビット=1メガバイトであるとして、例えばメガビット毎分といった、8進数の数の周囲で概して算出されることを鑑みて、より容易なバンド幅計算を助ける。従って、ビデオの各セグメントは、毎秒1メガビットで符号化される場合に、約1メガバイトである。
これより図7を参照すると、本開示に従ってビデオをセグメント化する方法700が示されている。知覚的に優れた編集境界においてビデオセグメントを8秒の理想的なセグメントへと手続き上分けるために、ビデオコンテンツを解析するための多数のアプローチがシステム内で適用されてよい。第1に、最初の決定は、ビデオコンテンツが他のアプリケーションから発せられたものであるのか、それとも、目下のモバイルデバイスにより記録されたものであるのかについて、ビデオコンテンツの性質に関して行われてよい(720)。コンテンツが他のソース又はアプリケーションから発せられたものである場合は、ビデオコンテンツは、最初に、シーンブレイク検出を用いて、明らかな編集境界について解析される(725)。如何なる統計的に有意な境界も、所望の8秒インターバル又はその最も近くでの境界における強調により、マークされてよい(730)。ビデオコンテンツが目下のモバイルデバイスにより記録されたものである場合には、センサデータは、記録の間にログを取られてよい(735)。これは、デバイスの加速度計からの全ての軸におけるデバイスの動きの差分及び/又はデバイスのジャイロスコープに基づく全ての軸におけるデバイスの回転を含んでよい。このログを取られたデータは、いずれかの所与のベクトルについて時間にわたる平均の大きさに対して統計的に有意である動きの開始の差分を見つけるよう解析されてよい。それらの差分は、所望の8秒インターバルに最も近い境界における強調により、ログを取られてよい(740)。
ビデオコンテンツは、編集選択を知らせることができる更なるキューについて更に知覚的に解析され得る。デバイスのハードウェア、ファームウェア、又はOSが、顔ROI選択を含む、何らかの組み込み型関心領域(ROI;region of interest)検出を提供する場合に、それは、シーン内のあらゆるROIにマークするために利用される(745)。それらのROIの開始出現又は消失(すなわち、それらがフレームにおいて現れ且つフレームから消える時に最も近い時点)は、所望の8秒インターバルに最も近い境界における強調により、ログを取られ得る。
全体の振幅に対するオーディオに基づいた開始検出は、零交差、ノイズフロア、又は移動平均電力レベルのいずれかに対する統計的に有意な振幅の変化(増大又は低減)を探す(750)。統計的に有意な変化は、所望の8秒インターバルに最も近い境界における強調によりログを取られる。スペクトルバンド範囲内の振幅に対するオーディオに基づいた開始検出は、オーディオ信号をFFTアルゴリズムにより多数の重なり合ったFFTビンへと変換することに依存する。変換されると、夫々のビンは、それ自身の移動平均に対す
る統計的に有意な振幅の変化について慎重に解析されてよい。次いで、全てのビンはまとめて平均化され、全てのバンドにわたる最も統計的に有意な結果が、所望の8秒インターバルに最も近い境界における強調により、開始としてログを取られる。この方法の中で、オーディオは、バンドを選択的に強調する/強調を抑制するようコムフィルタにより前処理され得る。例えば、通常の人間の発話の範囲内のバンドは、強調されてよく、一方、ノイズと同じ意味の高周波バンドは、強調を抑制されてよい。
コンテンツ内の平均の動きの視覚的解析は、適切なセグメンテーション点を確立するのを助けるようビデオコンテンツについて決定され得る(755)。実時間の性能特性に必要とされる有限なフレーム分解能及びサンプリングレートで、フレーム内の平均の動きの大きさは決定され、時間にわたる統計的に有意な変化を探して、所望の8秒インターバルに最も近い境界における強調により結果のログを取るために使用され得る。加えて、コンテンツの平均の色及び輝度は、所望の8秒インターバルに最も近い境界における強調により統計的に有意な変化のログを取るために、記録されたデータの簡単な低分解能解析を用いて決定され得る。
上記の解析のいずれか又は全てが完了すると、最終のログ出力は、夫々の結果を全体平均へと重み付けるよう解析されてよい(760)。解析データのこの後処理パスは、全ての個別的な解析プロセスの重み付け及び平均化をなされた結果に基づき、時間において最も有望な点を見つける。所望の8秒インターバル又はその最も近くでの最終の最も強固な平均点は、断片化編集決定のためのモデルを形成する出力として計算される。
後処理ステップ760は、ビデオ内の前述のマークされた点のいずれか又は全てを好ましいセグメンテーション点のインジケータと見なしてよい。種々の決定因子が重み付けされ得る。また、例えば8秒といった好ましいセグメンテーション長さからあまりにかけ離れている決定点は、好ましいセグメンテーション長さに最も近い点よりも低く重み付けされてよい。
これより図8を参照すると、本開示の一態様に従うライトボックスアプリケーション800が示されている。ライトボックスアプリケーションは、ビデオ及びメディアの時間に基づいた編集を改善するためにリスト主導の選択プロセスを使用する方法及びシステムを対象とする。ライトボックスアプリケーションは、垂直の向き810及び水平の向き820の両方において示されている。ライトボックスアプリケーションは、セグメント化されたビデオがセーブされた後に起動されてよい。代替的に、ライトボックスアプリケーションは、ユーザコマンドに応答して起動されてよい。セグメントの夫々は、夫々について生成されたプレビューを用いて、起こる順序で最初にリストアップされる。プレビューは、ビデオセグメント又はビデオセグメントの部分から取られた単一の画像であってよい。更なるメディアコンテンツ又はデータがライトボックスアプリケーションに加えられ得る。例えば、他のソースから受け取られた写真又はビデオは、ユーザが、受け取られたコンテンツを共有若しくは編集したり、又はそれらの受け取られたコンテンツを新たに生成されたコンテンツと結合したりすることを可能にするよう、ライトボックスのリストに含まれてよい。このように、アプリケーションは、ビデオ及びメディアの時間に基づいた編集を、簡単なリスト主導の選択プロセスの中で可能にする。
ライトボックスアプリケーションは、編集上の決定を共有する中心点として使用されてよい。ライトボックスは、ユーザが、即座に且つ容易にコンテンツを見て、何を保持すべきか、何を捨てるべきか、及びいつどのように他者と共有すべきかを決定することを可能にする。ライトボックス機能は、カメラとともに、チャネルブラウジングとともに、又は他の場所からメディアをインポートする点として、働いてよい。ライトボックスビューは、最近のメディアのリスト又はメディアのグループ分けされた組を含んでよい。夫々のアイテム、画像又はビデオは、キャプション、存続期間、及びとり得るグループ数とともに、サムネイルとして表示される。キャプションは、自動的に又はユーザによって生成されてよい。存続期間は、メディアコンテンツの重み及びペースをユーザに提示するために、簡易化されてよい。ライトボックスのタイトルバーは、逆戻り、アイテムのインポート、又はメニューを開くことに対するナビゲーションとともに、アイテム数を伴ってライトボックスセットのカテゴリを含んでよい。
ライトボックスの横向き表示820は異なるレイアウトを提供し、一方の側には、メディアアイテムがリストアップされており、他方の側には、任意に、何らかの直ちに評価可能な形式で、共有方法がリストアップされている。これは、Facebook(登録商標)、twitter(登録商標)、又は他のソーシャルメディアアプリケーションのリンク又はプレビューを含んでよい。
これより図9を参照すると、ライトボックスアプリケーション内で実行され得る様々な例となる動作900が示されている。例えば、組み込み型カメラ機能によって捕捉され、デバイスの既存のメディアライブラリからインポートされ、場合により、他のアプリケーションにより記録若しくは生成され、又はウェブベースのソースからダウンロードされ、あるいは、関連するアプリケーション内で直接に公開されたコンテンツから精選されるメディアは、全てがプレビューモードにおいてライトボックス内に集められる(905)。ライトボックスは、例えば、メディアが収集された時間のグルーピングのように、イベントに基づきグループに分類して簡単な垂直リストにおいてメディアを提示する。夫々のアイテムは、メディアの所与の部分についてのサムネイル又は簡易化した存続期間を含むリスト行によって表される。いずれかのアイテムをタップすることによって、メディアは、直接にそのアイテムに関して表示する拡大パネルにおいてプレビューされ得る。
ライトボックスアプリケーションは、任意に、アイテムをプレビューする拡大アイテムビューを有してよい(910)。拡大アイテムビュー910は、メディアアイテムを処理すること、見出しをつけること、及びそれを共有することに対するオプションを顕在化させる。クローズボタンをタップすることでアイテムは閉じられ、あるいは、その下にある他のアイテムをタップすることでアイテムは閉じられ、他のアイテムが開かれる。
ライトボックスアプリケーション内を上又は下にスクロールすることは、ユーザがメディアアイテムをナビゲートすることを可能にする(915)。ヘッダは、リストの上にとどまってよく、あるいは、それは、コンテンツの上に浮かんでよい。リストの終わりまでスクロールすること(920)は、他のより古いリストへのナビゲーションを有効にしてよい。より古いリストの先頭は、ドラッグしながら引っ張ることで示されてよい。引っ張った後にドラッグすることで、より古いリストへ移る。アイテムを保持しながらドラッグすること(925)は、ユーザがアイテムを並べ替えること、又は1つのアイテムを他のアイテムの上にドラッグすることでそれらのアイテムを結合することを可能にする。アイテムを左へスワイプすること(930)は、そのアイテムをライトボックスから削除する。アイテムの削除は、ライトボックスアプリケーションだけでなく、デバイスからそれらを削除してもしなくてもよい。アイテムをドラッグして、他のアイテムの上にドロップすること(935)は、アイテムをグループにまとめるために、又はドラッグされたアイテムをグループと結びつけるために使用されてよい。アイテムを一緒にピンチすること(940)は、ピンチ範囲内にあった全てのアイテムをグループにまとめる。まとめられたアイテムのプレビューの際には、それらは順次に再生し、アイテム数を示す。アイテム数は、まとめられたアイテムをプレビューウィンドウの下に展開するようタップされ得る(945)。長方形のライトボックスアイテムは、次いで、展開されたアイテムが行として表示されることを可能にするよう押し下げられてよい。
アイテムは、ライトボックスアプリケーション内からそれらをドラッグすることによって操作され得る。アイテムは、例えば930のように、いずれかのアイテムを左にドラッグすることによって、ライトボックスアプリケーションから削除され得る。いずれかのアイテムを右にドラッグすることによって、そのアイテムは、速やかに公開するよう進められ得る(950)。これにより、ユーザが1つ又は多数の共有場所で所与のアイテムのメディアを共有することを可能にするスクリーンへ移る(955)。プレビューの際に共有ボタンをタップすることも、アイテムの共有を可能にしてよい。いずれかのアイテムを押しながら保持することによって、それはドラッグ可能になり、その時点で、アイテムは、リスト全体におけるその位置を再編成するよう上下にドラッグされ得る。リストにおける時間は、垂直方向に上から下へ表される。例えば、一番上のアイテムは、メディアが順次に実行される場合に時間において最初である。アイテムのいずれかの丸ごとのグループ(単一のイベントヘディングの下で保たれる。)は、集合的にプレビューされ得(時間順に全てのアイテムから成る単一のプレビューとして順次に再生される。)、単一のリストアイテムとして同じジェスチャ及び制御手段を用いて集合的に削除又は公開され得る。ビデオ又は時間に基づいたメディアを含むいずれかのアイテムをプレビューする場合に、再生は、関連するリストアイテム行を左から右へドラッグすることで制御され得る。現在の時点は、ユーザによって再生の間にオフセット時点へとドラッグされ得る短い線によってマークされる。ビデオ又は時間に基づいたメディアを含むいずれかのアイテムをプレビューする場合に、関連するリストアイテム行を水平方向に2本の指でピンチすることによって、原メディアを最終の再生出力としてトリミングするためにピンチ及びドラッグされ得る選択範囲が画定される。画像又は静止画を含むいずれかのアイテムをプレビューする場合に、関連するリストアイテム行を左から右へ又は右から左へドラッグすることによって、捕捉されたいずれかの更なる隣接フレームは、選択的に“スクラブ”され得る。例えば、単一の写真キャプチャの間にカメラが複数のフレームの出力を記録する場合に、このジェスチャは、ユーザがフレームを繰り返し表示して、最良のフレームを最終の静止フレームとして選択することを可能にすることができる。
最近公開された(1つ又は多数の公開先にアップロードされた)アイテムは、ライトボックスリストから自動的にクリアされる。時間切れであるか、又は長期の無活動期間(例えば、数日間)よりも長い間ライトボックスに存在するアイテムは、ライトボックスリストから自動的にクリアされる。ライトボックスメディアは、同じライトボックスビューを組み込む他のアプリケーションの全てがメディアの同じ現在のプールから共有するように、デバイスにおいて中央のユビキタスな記憶場所に成り立つ。これは、マルチメディアアセット編集におけるマルチアプリケーション協調を簡単にし且つ同期させる。
これより図10を参照すると、本開示の一態様に従う例となるキャプション色生成アプリケーション1000が示されている。1つの図は、ユーザがキャプションをオーバーレイしたいと望む原画像1010を示す。キャプションは、ユーザ入力を通じて生成されるか、あるいは、アプリケーションによって自動的に生成されてよい。アプリケーションは、画像のコンテンツを認識してよく、類似した画像をインターネット又はデータベースから検索し、その類似した画像に関連するメタデータ又はキャプションを調べて、キャプションのテキストを生成してよい。第2の図は、キャプション1030が画像にオーバーレイされている変更後の画像1020を示す。キャプションの色は、目に心地良いが、依然としてキャプションを見る者にとって判読可能にするように、画像に対して明暗を有するよう選択されている。
例となるキャプション色生成アプリケーション1000は、画像において最も突出した色を決定するアルゴリズムを使用する。主色(predominant color)は、画像において最も頻繁に使用されている色である。支配色(dominant color)は、画像において最も影響を有し、従って、画像の定義色として見る者に現れる色である。例えば、画像は大部分
が黒であるが、大きな赤い形状が表示されている場合には、見る者は、実際には主色が黒である場合に、その画像を主に赤と定義し得る。このように、支配色及び主色は同じでないことがある。この例となる実施形態では、赤が画像における主色である。システムは、多種多様な方法において色の突出を決定してよい。システムは、画像において色の平均をとり、この平均に応答してキャプションの色を選択し、これを主色として選択する。画像は、最も共通して使用されている色を探し、これを主色として選択してよい。アプリケーションは、次いで、キャプションの色として主色を使用し、又は不連続な複数の所定の色の中から一色を選択してよい。
これより図11を参照すると、本開示の例となる態様に従う色選択チャートが示されている。システムは、主色1110を不連続な複数の所定の色1120と照合するよう動作する。システム設計者は、メモリの問題、美学、等に起因して特定の色を使用したいと望むことがある。例えば、システムは、黒若しくは白、又は何らかのパステルカラーを使用したくないことがある。代替的に、システムは、主色を後退色(recessive color)と照合するよう動作してよい。後退色は、支配色とは違って、背景へと遠ざかる。そのような後退色、例えば、ラベンダー、ピンク又はグレーは、周囲の色の性質を呈する。対照的な後退色は、それらがキャプションを読むことができるようにする場合に支配色よりも好ましいが、それらがオーバーレイされる画像又はビデオから注意をそらさない。照合が行われると、キャプション又はテキストが一致色においてオーバーレイされる。
システムは、次いで、キャプションを表示する位置を選択してよい。キャプションは、例えば、左下といった、デフォルトの位置において表示されてよく、あるいは、キャプションは、画像の色位置の解析の後に配置されてよい。デフォルトの位置の場合において、システムは、画像又はビデオ内でデフォルトの位置に近接する主色を決定してよい。このようにして、キャプションは、画像とキャプションテキストとの間の所望レベルのコントラストを依然として有する。画像及びキャプションを表示することは、表示スクリーンにおいて表示すること、又は表示デバイスへ結合するのに適した信号を生成することを意味してよいことが理解されるべきである。
代替的に、システムは、画像の連続若しくはグループのために又はビデオのために同じ色のキャプションを使用したいと望むことがある。この場合に、システムは、主色について夫々の画像を解析し、次いで、最も共通する主色を選んで、この最も共通する主色を、全ての画像にオーバーレイされるキャプションのテキスト色として使用してよい。システムは、全てのフレーム又は複数のフレームにわたって最も小さい色変化を有する画像の連続内の位置を決定してよい。この位置は、キャプションを配置するための位置として選択されてよい。画像の全ての連続内のこの位置の主色は、次いで、上述された方法に従ってテキスト色を選択するよう解析される。テキスト色は、全ての画像又はビデオフレームにおいてその位置でキャプションを表示するために使用される。
これより図12を参照すると、画像1200の集合が示されている。画像1200は、電話機100のカメラ機能140を用いて捕捉される。ユーザは、例えば、友人及び家族と共有される画像のグループを作成したと望んでよい。画像のグループは、ユーザによって選択されてよく、あるいは、メモリ160に記憶されている情報及び/又はインターフェイス110、120、130、GPS機能、クロック機能、等によって供給される情報を用いてプロセッサ150によって自動的に作成されてよい。画像を自動的にグループ化するための幾つかの例となる方法は、プロセッサ150によってメモリ160において捕捉された画像1200とともに記憶されている時間スタンプ若しくはデータに基づき画像をグループ化すること、GPU機能によって供給されて、プロセッサ150によってメモリ160において捕捉された画像1200とともに記憶されている位置情報に基づき画像をグループ化すること、プロセッサ150がメモリ160において記憶されている画像1200に対して画像処理技術を実行することによって識別される画像の視覚属性(例えば、色、オブジェクト、輝度、等)によって画像をグループ化すること、プロセッサ150が画像1200の集合における各画像とインターフェイス110、120、130を介してアクセスされる画像のデータベースとを比較した後に画像をグループ化することを含んでよい。図12に示される例では、画像1200の集合は、(ユーザによって、又は自動化されたプロセスによって)画像の3つのグループ1205、1210、1215に分割又はグループ化される。それらの画像のグループ1205、1210、1215は、ユーザがある期間にわたって従事した多数の活動(例えば、ユーザが1日、一週間、一月、季節、生涯、等にわたって従事した活動)を表してよい。例えば、画像の第1のグループ1205は、遊園地又は複数の遊園地で捕捉された画像であってよい。画像の第2のグループ1210は、海辺又は複数の海辺で捕捉された画像であってよい。画像の第3のグループ1215は、野球の試合又は複数の野球の試合で捕捉された画像であってよい。上述されたように、当然ながら、それらの画像のグループ1205、1210、1215は、ユーザによって、例えば、ユーザがタッチスクリーン170を介してプロセッサ150へ命令を与えることによって作成されるか、あるいは、プロセッサ150によって、例えば、時間、日付、場所、視覚属性データ、又は画像比較データに基づき、自動的に作成されてよい。また、当然ながら、画像の各グループは、ビデオ又はビデオのグループであってもよい。
ユーザが、例えば、友人及び家族へ見せるために、画像1200の集合を提供(例えば、表示、電子メールを送信、ソーシャルネットワーク上に投稿、等)する場合に、画像の各グループ1205、1210、1215は画像自体の内容に加えて何らかの方法で関係づけられる場合が有用であり得る。これは、視聴者に対して画像の各グループ1205、1210、1215を一元管理しながら、画像1200のより大きい集合において画像の各グループ1205、1210、1215を未だ区別することを助ける。すなわち、ユーザが画像の各グループ1205、1210、1215の間で自身の視聴を移す場合に、視聴者が一組のピクチャから他の組のピクチャへ移動していることを視聴者が理解するのを助けることが有益である。本開示は、画像のグループごとに異なる色をつけられたテキストを提供することによって、画像のグループのそのような一元化を提供することを対象とする。
これより図13を参照すると、画像のグループごとにテキスト色を生成する例となるプロセス1300が示されている。最初に、プロセッサ150は、ステップ1305で、画像の第1の組をまとめてグループ化する(画像のグループ1205)。上述されたように、このグループ化又は分割は、ユーザがタッチスクリーン170を介してプロセッサ150へ命令を与えることによって手動で、あるいは、当業者に知られているように、プロセッサ150が時間、日付、場所、視覚属性データ、画像比較データ、等を使用することによって自動的に、行われてよい。次に、ステップ1310で、プロセッサ150は、画像の第1の組において主色を決定するよう画像の第1の組を解析する。この解析は、図10において示され且つ上述された主色解析と同様である。次いで、ステップ1315で、プロセッサ150は、画像の第1の組についての主色を複数の色と比較して、画像の第1の組についての一致色を決定する。一致色のこの決定は、図11において示され且つ上述された色照合プロセスと同様である。一致色が決定されると、一致色における第1のテキスト(例えば、タイトル、名称、場所、等)がステップ1320で生成され、ステップ1325で、表示のために画像の第1の組とともに供給される。表示のための供給は、当業者に知られているように、タッチスクリーン170において表示すること、メモリ160に記憶すること、又はインターフェイス110、120、130を介して若しくはI/O180を介して送信すること(電子メール、投稿、等)を含むが、それらに限られない。その後、ステップ1330で、プロセッサ150は、画像の第2の組をまとめてグループ化する(例えば、画像のグループ1210)。上述されたように、グループ化又は分割は、ユーザがタッチスクリーン170を介してプロセッサ150へ命令を与えることによって手動で、あるいは、当業者に知られているように、プロセッサ150が時間、日付、場所、視覚属性データ、画像比較データ、等を使用することによって自動的に、行われてよい。次に、ステップ1335で、プロセッサ150は、画像の第2の組において主色を決定するよう画像の第2の組を解析する。この解析は、図10において示され且つ上述された主色解析と同様である。次いで、ステップ1340で、プロセッサ150は、画像の第2の組についての主色を複数の色と比較して、画像の第2の組についての一致色を決定する。一致色のこの決定は、図11において示され且つ上述された色照合プロセスと同様である。次に、ステップ1345で、プロセッサ150は、画像の第2の組についての一致色が画像の第1の組についての一致色と同じであるかどうかを判定する。画像の第2の組についての一致色が画像の第1の組についての一致色と同じでない場合は、プロセッサ150は、ステップ1350で、画像の第2の組についての一致色において第2のテキスト(例えば、タイトル、名称、場所、等)を生成し、ステップ1335で、表示のために画像の第2の組とともに一致色における第2のテキストを供給する。表示のための供給は、当業者に知られているように、タッチスクリーン170において表示すること、メモリ160に記憶すること、又はインターフェイス110、120、130を介して若しくはI/O180を介して送信すること(電子メール、投稿、等)を含むが、それらに限られない。画像の第2の組についての一致色が画像の第1の組についての一致色と同じである場合には、プロセッサ150は、ステップ1360で、画像の第2の組についての代替色を決定する。代替色の決定は、例えば、画像の第2の組において次に最も近い主色を選択すること、利用可能な不連続な複数の所定の色の中から2番目に近い一致色を選択すること、又はそれら2つの選択プロセスの何らかの組み合わせを含んでよい。代替色が決定されると、プロセッサ150は、ステップ1365で、代替色において第2のテキスト(例えば、タイトル、名称、場所、等)を生成し、ステップ1370で、表示のために画像の第2の組とともに代替色における第2のテキストを供給する。表示のための供給は、当業者に知られているように、タッチスクリーン170において表示すること、メモリ160に記憶すること、又はインターフェイス110、120、130を介して若しくはI/O180を介して送信すること(電子メール、投稿、等)を含むが、それらに限られない。当然ながら、プロセス1300は、彩色されたテキストが画像の更なる組(例えば、画像のグループ1215)のために必要とされる場合に続くことができる。
図示及び上述された要素は、様々な形のハードウェア、ソフトウェア又はそれらの組み合わせにおいて実施されてよいことが理解されるべきである。望ましくは、それらの要素は、プロセッサ、メモリ及び入出力インターフェイスを含み得る1つ以上の適切にプログラミングされた汎用デバイスにおいてハードウェアとソフトウェアとを組み合わせて実施される。本明細書は、本開示の原理を説明する。よって、明らかなように、当業者であれば、ここで明示的に記載又は図示されていなくても、本開示の原理を具現し且つその適用範囲内に含まれる様々な配置を想到可能である。ここで挙げられている全ての例及び条件付き言語は、当該技術を促進させることに本発明者によって寄与される概念及び本開示の原理を読者が理解するのを助けるための情報提供を目的とし、そのような具体的に挙げられている例及び条件に制限されないものとして解釈されるべきである。更に、本開示の原理、態様、及び実施形態、並びにその具体例をここで挙げている全ての記述は、それらの構造上及び機能上の等価物を包含するよう意図される。加えて、そのような等価物は、現在知られている等価物及び将来開発される等価物(すなわち、構造に関わらず、同じ機能を実行する開発されたあらゆる要素)の両方を含むことが意図される。よって、例えば、当業者には当然に、これにより提示されているブロック図は、本開示の原理を具現する実例となる回路構成の概念図を表す。同様に、明らかなように、如何なるフローチャート、フロー図、状態遷移図、擬似コード、等も、コンピュータ可読媒体において実質的に表現され、故にコンピュータ又はプロセッサによって(そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと)実行され得る様々なプロセスを表す。
本願は、2013年9月16日付けで出願された米国特許仮出願第61/878245号及び2014年5月27日付けで出願された米国特許仮出願第62/003281号に基づく優先権を主張するものである。

Claims (22)

  1. 画像の第1の組をグループ化するステップと、
    主色を決定するよう前記画像の第1の組を解析するステップと、
    前記画像の第1の組についての一致色を決定するよう前記主色を複数の色と比較するステップと、
    前記一致色において第1のテキストを生成するステップと、
    表示のために前記画像の第1の組とともに前記一致色における前記第1のテキストを供給するステップと
    を有する方法。
  2. 画像の第2の組をグループ化するステップと、
    主色を決定するよう前記画像の第2の組を解析するステップと、
    前記画像の第2の組についての一致色を決定するよう前記主色を複数の色を比較するステップと、
    前記画像の第2の組についての一致色が前記画像の第1の組についての一致色と同じであるかどうかを判定するステップと
    を更に有する請求項1に記載の方法。
  3. 前記画像の第2の組についての一致色が前記画像の第1の組についての一致色とは異なると決定される場合に、前記画像の第2の組についての一致色において第2のテキストを生成するステップと、
    表示のために前記画像の第2の組とともに前記一致色における前記第2のテキストを供給するステップと
    を更に有する請求項2に記載の方法。
  4. 前記画像の第2の組についての一致色が前記画像の第1の組についての一致色と同じであると決定される場合に、前記画像の第2の組についての代替色において第2のテキストを生成するステップと、
    表示のために前記画像の第2の組とともに前記代替色における前記第2のテキストを供給するステップと
    を更に有する請求項2に記載の方法。
  5. 前記供給するステップは、表示すること、表示のために記憶すること、及び表示のために送信することのうちの少なくとも1つを含む、
    請求項1に記載の方法。
  6. 前記グループ化するステップは、ユーザ入力に応答する、
    請求項1に記載の方法。
  7. 前記グループ化するステップは、前記画像の第1の組のグループ化を容易にするために、時間データ、日付データ、位置データ、視覚属性データ、及び画像比較データのうちの少なくとも1つを使用することを含む、
    請求項1に記載の方法。
  8. 前記一致色は前記主色である、
    請求項1に記載の方法。
  9. 前記一致色は後退色である、
    請求項1に記載の方法。
  10. 前記一致色は支配色である、
    請求項1に記載の方法。
  11. 前記画像の第1の組はビデオである、
    請求項1に記載の方法。
  12. 画像の集合を記憶するメモリと、
    前記記憶された画像の集合から画像の第1の組をグループ化し、該画像の第1の組を解析して主色を決定し、該主色を複数の色と比較して前記画像の第1の組についての一致色を決定し、該一致色において第1のテキストを生成し、表示のために前記画像の第1の組とともに前記一致色における前記第1のテキストを供給するプロセッサと
    を有する装置。
  13. 前記プロセッサは、画像の第2の組をグループ化し、該画像の第2の組を解析して主色を決定し、該主色を複数の色を比較して前記画像の第2の組についての一致色を決定し、前記画像の第2の組についての一致色が前記画像の第1の組についての一致色と同じであるかどうかを判定する、
    請求項12に記載の装置。
  14. 前記プロセッサは、前記画像の第2の組についての一致色が前記画像の第1の組についての一致色とは異なると決定される場合に、前記画像の第2の組についての一致色において第2のテキストを生成し、表示のために前記画像の第2の組とともに前記一致色における前記第2のテキストを供給する、
    請求項13に記載の装置。
  15. 前記プロセッサは、前記画像の第2の組についての一致色が前記画像の第1の組についての一致色と同じであると決定される場合に、前記画像の第2の組についての代替色において第2のテキストを生成し、表示のために前記画像の第2の組とともに前記代替色における前記第2のテキストを供給する、
    請求項13に記載の装置。
  16. 前記プロセッサは、前記画像の第1の組とともに前記一致色における前記第1のテキストを表示すること、表示のために記憶すること、及び表示のために送信することのうちの少なくとも1つによって、表示のために前記画像の第1の組とともに前記一致色における前記第1のテキストを供給する、
    請求項12に記載の装置。
  17. 前記プロセッサは、ユーザ入力に応答して前記画像の第1の組をグループ化する、
    請求項12に記載の装置。
  18. 前記プロセッサは、時間データ、日付データ、位置データ、視覚属性データ、及び画像比較データのうちの少なくとも1つを用いて前記画像の第1の組をグループ化する、
    請求項12に記載の装置。
  19. 前記一致色は前記主色である、
    請求項12に記載の装置。
  20. 前記一致色は後退色である、
    請求項12に記載の装置。
  21. 前記一致色は支配色である、
    請求項12に記載の装置。
  22. 前記画像の第1の組はビデオである、
    請求項12に記載の装置。
JP2019124769A 2013-09-16 2019-07-03 画像のグループについてのテキスト色を生成する方法及び装置 Withdrawn JP2019194904A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361878245P 2013-09-16 2013-09-16
US61/878,245 2013-09-16
US201462003281P 2014-05-27 2014-05-27
US62/003,281 2014-05-27

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016542001A Division JP2016539430A (ja) 2013-09-16 2014-08-28 画像のグループについてのテキスト色を生成する方法及び装置

Publications (1)

Publication Number Publication Date
JP2019194904A true JP2019194904A (ja) 2019-11-07

Family

ID=51539355

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016541997A Pending JP2016538657A (ja) 2013-09-16 2014-08-27 複数のユーザコメントを検索してコンテンツにオーバーレイすることによるビデオのブラウジング
JP2016542001A Pending JP2016539430A (ja) 2013-09-16 2014-08-28 画像のグループについてのテキスト色を生成する方法及び装置
JP2016542004A Pending JP2016537744A (ja) 2013-09-16 2014-08-29 タッチスクリーン付きスマートフォン/カメラでのビデオ編集のためのジェスチャに基づいたインタラクティブなグラフィカルユーザインターフェイス
JP2019124769A Withdrawn JP2019194904A (ja) 2013-09-16 2019-07-03 画像のグループについてのテキスト色を生成する方法及び装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2016541997A Pending JP2016538657A (ja) 2013-09-16 2014-08-27 複数のユーザコメントを検索してコンテンツにオーバーレイすることによるビデオのブラウジング
JP2016542001A Pending JP2016539430A (ja) 2013-09-16 2014-08-28 画像のグループについてのテキスト色を生成する方法及び装置
JP2016542004A Pending JP2016537744A (ja) 2013-09-16 2014-08-29 タッチスクリーン付きスマートフォン/カメラでのビデオ編集のためのジェスチャに基づいたインタラクティブなグラフィカルユーザインターフェイス

Country Status (6)

Country Link
US (3) US20160227285A1 (ja)
EP (3) EP3047396A1 (ja)
JP (4) JP2016538657A (ja)
KR (3) KR20160056888A (ja)
CN (3) CN105580013A (ja)
WO (4) WO2015038338A1 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237386B2 (en) 2012-08-31 2016-01-12 Google Inc. Aiding discovery of program content by providing deeplinks into most interesting moments via social media
US9401947B1 (en) * 2013-02-08 2016-07-26 Google Inc. Methods, systems, and media for presenting comments based on correlation with content
WO2015038338A1 (en) * 2013-09-16 2015-03-19 Thomson Licensing Browsing videos by searching multiple user comments and overlaying those into the content
US20150348325A1 (en) * 2014-05-27 2015-12-03 Thomson Licensing Method and system for stabilization and reframing
US9942464B2 (en) * 2014-05-27 2018-04-10 Thomson Licensing Methods and systems for media capture and seamless display of sequential images using a touch sensitive device
CN106797499A (zh) * 2014-10-10 2017-05-31 索尼公司 编码装置和方法、再现装置和方法以及程序
AU2015359323B2 (en) * 2014-12-12 2018-10-18 Nagravision S.A. Method and graphic processor for managing colors of a user interface
US10109092B1 (en) * 2015-03-24 2018-10-23 Imagical LLC Automated text layout, color and other stylization on an image or video, and the tracking and application of user color preferences
CN104935980B (zh) * 2015-05-04 2019-03-15 腾讯科技(北京)有限公司 互动信息处理方法、客户端及服务平台
CN104936035B (zh) 2015-06-19 2018-04-17 腾讯科技(北京)有限公司 一种弹幕处理方法及系统
US10671234B2 (en) * 2015-06-24 2020-06-02 Spotify Ab Method and an electronic device for performing playback of streamed media including related media content
CN104980809B (zh) * 2015-06-30 2019-03-12 北京奇艺世纪科技有限公司 一种弹幕处理方法和装置
CN105893012A (zh) * 2015-12-01 2016-08-24 乐视网信息技术(北京)股份有限公司 用于在安卓系统中生成视频截图的方法和装置
CN106940621B (zh) * 2016-01-05 2020-03-03 腾讯科技(深圳)有限公司 图片处理的方法和装置
CN105635822A (zh) * 2016-01-07 2016-06-01 天脉聚源(北京)科技有限公司 一种视频弹幕处理方法及装置
US10622021B2 (en) * 2016-02-19 2020-04-14 Avcr Bilgi Teknolojileri A.S Method and system for video editing
US9940007B2 (en) 2016-02-24 2018-04-10 International Business Machines Corporation Shortening multimedia content
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
CN106227737B (zh) * 2016-07-11 2019-12-03 北京创意魔方广告有限公司 快速生成广告图片平台
KR102630191B1 (ko) * 2016-08-18 2024-01-29 삼성전자 주식회사 전자 장치 및 전자 장치 제어 방법
EP3482286A1 (en) * 2016-11-17 2019-05-15 Google LLC Media rendering with orientation metadata
CN108230077A (zh) * 2016-12-21 2018-06-29 北京嘀嘀无限科技发展有限公司 移动网络设备的预约车辆显示方法和装置
US10652618B2 (en) * 2017-02-16 2020-05-12 Facebook, Inc. Transmitting video clips of viewers' reactions during a broadcast of a live video stream
CN106878632B (zh) * 2017-02-28 2020-07-10 北京知慧教育科技有限公司 一种视频数据的处理方法和装置
CN107172444B (zh) * 2017-03-30 2019-07-09 武汉斗鱼网络科技有限公司 一种网络直播重连方法及系统
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107818785A (zh) * 2017-09-26 2018-03-20 平安普惠企业管理有限公司 一种从多媒体文件中提取信息的方法及终端设备
US11363352B2 (en) 2017-09-29 2022-06-14 International Business Machines Corporation Video content relationship mapping
US10587919B2 (en) 2017-09-29 2020-03-10 International Business Machines Corporation Cognitive digital video filtering based on user preferences
CN108600851B (zh) * 2018-03-26 2019-05-07 掌阅科技股份有限公司 用于电子书的直播方法、电子设备及计算机存储介质
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
CN108804184B (zh) * 2018-05-29 2021-10-01 维沃移动通信有限公司 一种显示控制方法及终端设备
CN108829845A (zh) * 2018-06-20 2018-11-16 北京奇艺世纪科技有限公司 一种音频文件播放方法、装置及电子设备
US10650861B2 (en) * 2018-06-22 2020-05-12 Tildawatch, Inc. Video summarization and collaboration systems and methods
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
CN109143628B (zh) * 2018-09-14 2021-09-28 武汉帆茂电子科技有限公司 一种在液晶模组实时显示Flick,Vcom数值的装置及方法
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
CN109344318B (zh) * 2018-10-15 2020-05-15 北京字节跳动网络技术有限公司 用于处理信息的方法和装置
CN109408748A (zh) * 2018-10-15 2019-03-01 北京字节跳动网络技术有限公司 用于处理信息的方法和装置
US11678031B2 (en) * 2019-04-19 2023-06-13 Microsoft Technology Licensing, Llc Authoring comments including typed hyperlinks that reference video content
US11785194B2 (en) 2019-04-19 2023-10-10 Microsoft Technology Licensing, Llc Contextually-aware control of a user interface displaying a video and related user text
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN110366002B (zh) * 2019-06-14 2022-03-11 北京字节跳动网络技术有限公司 视频文件合成方法、系统、介质和电子设备
US11336832B1 (en) * 2019-08-30 2022-05-17 Gopro, Inc. Systems and methods for horizon leveling videos
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
CN111601150A (zh) * 2020-06-05 2020-08-28 百度在线网络技术(北京)有限公司 视频的处理方法和装置
CN111752440A (zh) * 2020-06-29 2020-10-09 北京字节跳动网络技术有限公司 一种多媒体内容展示方法及装置
CN111787223B (zh) * 2020-06-30 2021-07-16 维沃移动通信有限公司 视频拍摄方法、装置和电子设备
CN111857517B (zh) * 2020-07-28 2022-05-17 腾讯科技(深圳)有限公司 视频的信息处理方法、装置、电子设备及存储介质
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112328136B (zh) * 2020-11-27 2023-09-19 腾讯科技(深圳)有限公司 评论信息的显示方法、装置、设备及存储介质
CN114615510B (zh) * 2020-12-08 2024-04-02 抖音视界有限公司 直播界面显示方法及设备
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
CN114666648B (zh) * 2022-03-30 2023-04-28 阿里巴巴(中国)有限公司 视频播放方法及电子设备

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910006465B1 (ko) * 1988-12-31 1991-08-26 삼성전자 주식회사 영상신호와 보색관계를 가지는 문자를 영상신호에 삽입하는 문자 합성장치
US6711291B1 (en) * 1999-09-17 2004-03-23 Eastman Kodak Company Method for automatic text placement in digital images
US20040128317A1 (en) * 2000-07-24 2004-07-01 Sanghoon Sull Methods and apparatuses for viewing, browsing, navigating and bookmarking videos and displaying images
KR20040041082A (ko) * 2000-07-24 2004-05-13 비브콤 인코포레이티드 멀티미디어 북마크와 비디오의 가상 편집을 위한 시스템및 방법
JP2002049907A (ja) * 2000-08-03 2002-02-15 Canon Inc デジタルアルバム作成装置およびデジタルアルバム作成方法
KR20020026111A (ko) * 2000-09-30 2002-04-06 구자홍 디지털 방송 수신기의 자동 온스크린 디스플레이 색상변경방법
US7774817B2 (en) * 2001-01-31 2010-08-10 Microsoft Corporation Meta data enhanced television programming
US7050109B2 (en) * 2001-03-02 2006-05-23 General Instrument Corporation Methods and apparatus for the provision of user selected advanced close captions
KR100828354B1 (ko) * 2003-08-20 2008-05-08 삼성전자주식회사 자막 위치 제어 장치 및 방법
JP4704224B2 (ja) * 2005-03-04 2011-06-15 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
US8120623B2 (en) * 2006-03-15 2012-02-21 Kt Tech, Inc. Apparatuses for overlaying images, portable devices having the same and methods of overlaying images
US7735101B2 (en) * 2006-03-28 2010-06-08 Cisco Technology, Inc. System allowing users to embed comments at specific points in time into media presentation
US7646392B2 (en) * 2006-05-03 2010-01-12 Research In Motion Limited Dynamic theme color palette generation
FR2910769B1 (fr) * 2006-12-21 2009-03-06 Thomson Licensing Sas Procede de creation d'un resume d'un document audiovisuel comportant un sommaire et des reportages, et recepteur mettant en oeuvre le procede
JP4673862B2 (ja) * 2007-03-02 2011-04-20 株式会社ドワンゴ コメント配信システム、コメント配信サーバ、端末装置、コメント配信方法、及びプログラム
TR200709081A2 (tr) * 2007-12-28 2009-07-21 Vestel Elektron�K Sanay� Ve T�Caret A.�. Görüntü sistemleri için dinamik renkli kullanıcı.
JP5151753B2 (ja) * 2008-07-10 2013-02-27 株式会社Jvcケンウッド ファイル検索装置、ファイル検索方法および音楽再生装置ならびにプログラム
US20100277496A1 (en) * 2008-09-16 2010-11-04 Ryouichi Kawanishi Data display device, integrated circuit, data display method, data display program, and recording medium
WO2010095783A1 (ko) * 2009-02-23 2010-08-26 한국과학기술원 터치 스크린 제어 방법 및 이를 이용하는 터치 스크린 장치
US20110304584A1 (en) * 2009-02-23 2011-12-15 Sung Jae Hwang Touch screen control method and touch screen device using the same
US8860865B2 (en) * 2009-03-02 2014-10-14 Burning Moon, Llc Assisted video creation utilizing a camera
WO2010114528A1 (en) * 2009-03-31 2010-10-07 Hewlett-Packard Development Company, L.P. Background and foreground color pair
US20100306232A1 (en) * 2009-05-28 2010-12-02 Harris Corporation Multimedia system providing database of shared text comment data indexed to video source data and related methods
US20100303365A1 (en) * 2009-05-29 2010-12-02 Min Zhang Methods and apparatus to monitor a multimedia presentation including multiple content windows
US20100318520A1 (en) * 2009-06-01 2010-12-16 Telecordia Technologies, Inc. System and method for processing commentary that is related to content
KR101816113B1 (ko) * 2009-07-16 2018-01-08 블루핀 랩스, 인코포레이티드 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
CN101667188A (zh) * 2009-07-24 2010-03-10 刘雪英 一种在博客上实现音频视频留言和评论的方法和系统
US8780134B2 (en) * 2009-09-30 2014-07-15 Nokia Corporation Access to control of multiple editing effects
US20110090155A1 (en) * 2009-10-15 2011-04-21 Qualcomm Incorporated Method, system, and computer program product combining gestural input from multiple touch screens into one gestural input
US8436821B1 (en) * 2009-11-20 2013-05-07 Adobe Systems Incorporated System and method for developing and classifying touch gestures
US9628673B2 (en) * 2010-04-28 2017-04-18 Microsoft Technology Licensing, Llc Near-lossless video summarization
US20110280476A1 (en) * 2010-05-13 2011-11-17 Kelly Berger System and method for automatically laying out photos and coloring design elements within a photo story
US8811948B2 (en) * 2010-07-09 2014-08-19 Microsoft Corporation Above-lock camera access
US8588548B2 (en) * 2010-07-29 2013-11-19 Kodak Alaris Inc. Method for forming a composite image
WO2012065037A1 (en) * 2010-11-12 2012-05-18 Colormodules Inc. Method and system for color matching and color recommendation
US20120127198A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Selection of foreground characteristics based on background
CN102547433A (zh) * 2010-12-07 2012-07-04 华录文化产业有限公司 一种基于播放时间点的互动评论方法和装置
CN102693242B (zh) * 2011-03-25 2015-05-13 开心人网络科技(北京)有限公司 一种网络评论信息的共享方法和系统
CN102780921B (zh) * 2011-05-10 2015-04-29 华为终端有限公司 在观看节目时获取评论信息的方法、系统和装置
US9066145B2 (en) * 2011-06-30 2015-06-23 Hulu, LLC Commenting correlated to temporal point of video data
JP5156879B1 (ja) * 2011-08-25 2013-03-06 パナソニック株式会社 情報提示制御装置及び情報提示制御方法
US9354763B2 (en) * 2011-09-26 2016-05-31 The University Of North Carolina At Charlotte Multi-modal collaborative web-based video annotation system
US20130091522A1 (en) * 2011-10-05 2013-04-11 Sony Corporation, A Japanese Corporation Method to display additional information on screen
JP5845801B2 (ja) * 2011-10-18 2016-01-20 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN102523492B (zh) * 2011-11-18 2015-04-22 深圳创维-Rgb电子有限公司 一种互动评论系统的评论方法、电视机及移动终端
US20130145248A1 (en) * 2011-12-05 2013-06-06 Sony Corporation System and method for presenting comments with media
US20130204833A1 (en) * 2012-02-02 2013-08-08 Bo PANG Personalized recommendation of user comments
JP2015084004A (ja) * 2012-02-10 2015-04-30 パナソニック株式会社 通信装置
US9131192B2 (en) * 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US8963962B2 (en) * 2012-03-06 2015-02-24 Apple Inc. Display of multiple images
US9041727B2 (en) * 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
CN102722580A (zh) * 2012-06-07 2012-10-10 杭州电子科技大学 一种下载视频网站动态生成视频评论的方法
JP5571269B2 (ja) * 2012-07-20 2014-08-13 パナソニック株式会社 コメント付き動画像生成装置およびコメント付き動画像生成方法
US9397844B2 (en) * 2012-09-11 2016-07-19 Apple Inc. Automated graphical user-interface layout
CN102905170B (zh) * 2012-10-08 2015-05-13 北京导视互动网络技术有限公司 视频的弹幕方法及系统
CN103034722B (zh) * 2012-12-13 2016-03-30 合一网络技术(北京)有限公司 一种网络视频评论聚合装置及方法
US20140188997A1 (en) * 2012-12-31 2014-07-03 Henry Will Schneiderman Creating and Sharing Inline Media Commentary Within a Network
WO2015038338A1 (en) * 2013-09-16 2015-03-19 Thomson Licensing Browsing videos by searching multiple user comments and overlaying those into the content

Also Published As

Publication number Publication date
KR20160058103A (ko) 2016-05-24
EP3047362B1 (en) 2019-04-17
WO2015038351A8 (en) 2016-07-21
EP3047644A1 (en) 2016-07-27
WO2015038338A1 (en) 2015-03-19
WO2015038342A1 (en) 2015-03-19
WO2015038356A1 (en) 2015-03-19
CN105874780B (zh) 2019-04-09
EP3047362A1 (en) 2016-07-27
CN105706437A (zh) 2016-06-22
CN105874780A (zh) 2016-08-17
EP3047396A1 (en) 2016-07-27
CN105580013A (zh) 2016-05-11
JP2016537744A (ja) 2016-12-01
US20160232696A1 (en) 2016-08-11
KR20160056888A (ko) 2016-05-20
JP2016538657A (ja) 2016-12-08
KR20160055813A (ko) 2016-05-18
WO2015038351A1 (en) 2015-03-19
WO2015038356A9 (en) 2015-07-23
US20160283097A1 (en) 2016-09-29
US20160227285A1 (en) 2016-08-04
EP3047644B1 (en) 2018-08-08
JP2016539430A (ja) 2016-12-15
EP3047362B8 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
JP2019194904A (ja) 画像のグループについてのテキスト色を生成する方法及び装置
AU2013381005B2 (en) Method and apparatus for using a list driven selection process to improve video and media time based editing
JP6175518B2 (ja) 自動ビデオセグメント化のための方法および装置
US10496243B2 (en) Method and apparatus for color detection to generate text color
US20150348588A1 (en) Method and apparatus for video segment cropping
JP2019220207A (ja) 撮影効果のためにジェスチャを使用するための方法および装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190704

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191111

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20200501