JP2018077557A - Contents display method - Google Patents
Contents display method Download PDFInfo
- Publication number
- JP2018077557A JP2018077557A JP2016217061A JP2016217061A JP2018077557A JP 2018077557 A JP2018077557 A JP 2018077557A JP 2016217061 A JP2016217061 A JP 2016217061A JP 2016217061 A JP2016217061 A JP 2016217061A JP 2018077557 A JP2018077557 A JP 2018077557A
- Authority
- JP
- Japan
- Prior art keywords
- information
- content
- input
- display
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Auxiliary Devices For Music (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、楽譜等のコンテンツの表示を更新する技術に関する。 The present invention relates to a technique for updating display of content such as a score.
電子的に記録された楽譜を表示装置に表示する技術が知られている。特許文献１には、表示装置に楽譜の一部のページを表示し、表示されるページをフットスイッチにより切り替える技術が記載されている。
A technique for displaying electronically recorded musical scores on a display device is known.
特許文献１に記載の技術においては、複数の入力系統から入力される情報に応じて表示の更新をすることができなかった。これに対し本発明は、複数の入力系統から入力される情報に応じてコンテンツの表示を更新する技術を提供する。
In the technique described in
本発明は、１または複数ページからなるコンテンツのデータを取得するステップと、外部の第１システムから前記コンテンツ上の位置を指定する第１情報を受信するステップと、前記第１システムと異なる第２システムから前記コンテンツ上の位置を指定する第２情報の入力を受け付けるステップと、前記第１情報および前記第２情報を統合するステップと、前記統合された情報を用いて前記コンテンツの表示を更新するステップとを有するコンテンツ表示方法を提供する。 The present invention includes a step of acquiring content data consisting of one or a plurality of pages, a step of receiving first information designating a position on the content from an external first system, and a second different from the first system. Receiving an input of second information specifying a position on the content from the system; integrating the first information and the second information; and updating the display of the content using the integrated information A content display method including steps.
このコンテンツ表示方法は、前記第１システムと機能が異なる外部の第３システムから前記コンテンツに関する第３情報を受信するステップを有し、前記統合するステップにおいて、前記第１情報、前記第２情報、および前記第３情報が統合されてもよい。 The content display method includes a step of receiving third information related to the content from an external third system having a function different from that of the first system. In the integrating step, the first information, the second information, And the third information may be integrated.
前記第３情報は、複数のコンテンツの中から一のコンテンツを特定する情報であってもよい。 The third information may be information for specifying one content from a plurality of contents.
前記第３情報は、複数の楽器の中から一の楽器を特定する情報であってもよい。 The third information may be information specifying one musical instrument from a plurality of musical instruments.
本発明によれば、複数の入力系統から入力される情報に応じてコンテンツの表示を更新することができる。 According to the present invention, display of content can be updated according to information input from a plurality of input systems.
１．構成
図１は、一実施形態に係るコンテンツ表示システム１０の機能構成を例示する図である。コンテンツ表示システム１０は、演奏者Ｐによる楽器Ｉの演奏と同期してコンテンツの表示を更新するシステムである。コンテンツとは、１または複数ページからなる表示オブジェクトを含むデータをいい、例えば、楽譜である。コンテンツ表示システム１０は、コンテンツ表示装置１、コンテンツデータベース２、楽器同定システム３、楽曲同定システム４、および演奏追従システム５を有する。
1. Configuration FIG. 1 is a diagram illustrating a functional configuration of a
コンテンツデータベース２は、複数のコンテンツを記憶したデータベースである。楽器同定システム３は、演奏音が入力されると、その演奏音を発した楽器を同定（特定）する。楽器同定システム３は、楽器を指定する情報（以下「楽器情報」という）を出力する。楽曲同定システム４は、演奏音が入力されると、その演奏音がコンテンツデータベース２に記憶されている楽曲のうちどの楽曲であるか同定（特定）する。楽曲同定システム４は、楽曲を指定する情報（以下「楽曲情報」という）を出力する。演奏追従システム５は、演奏音が入力されると、楽曲同定システム４により同定された楽曲のうち、今どの部分が演奏されているか判断する。演奏追従システム５は、楽曲内の位置を示す情報（以下「位置情報」という。位置情報は、例えば小節番号を表す）を出力する。
The
コンテンツ表示装置１は、コンテンツを表示する装置である。コンテンツ表示装置１は、外部システム（この例では、楽器同定システム３、楽曲同定システム４、および演奏追従システム５）および内部システム（後述）から入力される情報に応じて、コンテンツの表示を更新する。コンテンツ表示装置１は、記憶手段１１、表示手段１２、表示制御手段１３、受信手段１４、操作手段１５、および統合手段１６を有する。
The
記憶手段１１は、各種のデータおよびプログラムを記憶する。この例で、記憶手段１１は、コンテンツデータベース１１１を記憶する。コンテンツデータベース１１１は、複数のコンテンツ（例えば、複数の楽曲の楽譜）が記録されたデータベースである。表示手段１２は、コンテンツを表示する。表示制御手段１３は、表示手段１２における表示を制御する。受信手段１４は、外部システムから情報を受信する。この例で、受信手段１４は、楽器同定システム３、楽曲同定システム４、および演奏追従システム５から情報を受信する。操作手段１５は、ユーザの操作入力を受け付け、受け付けた操作入力に応じた情報（以下「操作情報」という）を出力する。操作手段１５は、上記の内部システムの一例である。統合手段１６は、受信手段１４により受信された情報および操作手段１５により受け付けられた操作入力を統合する。すなわち、統合手段１６は、外部システムおよび内部システムから入力される情報を統合する。統合手段１６は、これらを統合した情報を出力する。表示制御手段１３は、統合手段１６から出力される情報に応じて、表示手段１２の表示を更新する。
The storage unit 11 stores various data and programs. In this example, the storage unit 11 stores a
図２は、コンテンツ表示装置１のハードウェア構成を例示する図である。コンテンツ表示装置１は、ＣＰＵ（Central processing Unit）１０１、メモリ１０２、ストレージ１０３、入出力ＩＦ１０４、ディスプレイ１０５、および入力装置１０６を有するコンピュータ装置、具体的には例えばタブレット端末である。ＣＰＵ１０１は、プログラムを実行してコンテンツ表示装置１の他の要素を制御する制御装置である。メモリ１０２は主記憶装置であり、例えばＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含む。ＲＯＭは、コンテンツ表示装置１を起動するためのプログラム等を記憶する。ＲＡＭは、ＣＰＵ１０１がプログラムを実行する際のワークエリアとして機能する。ストレージ１０３は補助記憶装置であり、各種のデータおよびプログラムを記憶する。ストレージ１０３は、例えば、ＨＤＤ（Hard Disk Drive）およびＳＳＤ（Solid State Drive）の少なくとも一方を含む。入出力ＩＦ１０４は、他の装置との間で情報の入出力を行うためのインターフェースであり、例えば、無線通信インターフェースまたはＮＩＣ（Network Interface Controller）を含む。ディスプレイ１０５は情報を表示する装置であり、例えばＬＣＤ（Liquid Crystal Display）を含む。入力装置１０６は、コンテンツ表示装置１に情報を入力するための装置であり、例えば、タッチスクリーン、キーパッド、ボタン、マイクロフォン、およびカメラの少なくとも１つを含む。
FIG. 2 is a diagram illustrating a hardware configuration of the
この例で、ストレージ１０３はコンピュータ装置をコンテンツ表示装置１として機能させるためのプログラム（以下「コンテンツ表示プログラム」という）を記憶する。ＣＰＵ１０１がコンテンツ表示プログラムを実行することにより、コンピュータ装置に図１の機能が実装される。メモリ１０２およびストレージ１０３の少なくとも一方は記憶手段１１の一例である。ディスプレイ１０５は表示手段１２の一例である。ＣＰＵ１０１は、表示制御手段１３および統合手段１６の一例である。ＣＰＵ１０１および入出力ＩＦ１０４は、受信手段１４の一例である。ＣＰＵ１０１および入力装置１０６は、操作手段１５の一例である。
In this example, the
なお、詳細な説明は省略するが、コンテンツデータベース２、楽器同定システム３、楽曲同定システム４、および演奏追従システム５は、それぞれ、例えば汎用のコンピュータ装置に専用のソフトウェアをインストールすることにより実装される。コンテンツデータベース２、楽器同定システム３、楽曲同定システム４、および演奏追従システム５のうち少なくとも２つのシステムが、同一のコンピュータ装置にインストールされてもよい。楽器同定、楽曲同定、および演奏追従としては、それぞれ公知の技術を用いることができるので、ここでは詳細な説明は省略する。楽器同定システム３、楽曲同定システム４、および演奏追従システム５には、演奏者による演奏音が入力される。より詳細には、演奏音はマイクロフォン（図示略）により電気信号に変換され、この電気信号が楽器同定システム３、楽曲同定システム４、および演奏追従システム５に入力される。なお、コンテンツデータベース２、楽器同定システム３、楽曲同定システム４、および演奏追従システム５の少なくとも一部は、ネットワーク上のサーバに実装されてもよい。
Although the detailed description is omitted, the
２．動作概要
図３は、コンテンツ表示装置１の一実施形態に係る動作を例示するシーケンスチャートである。図３のフローは、例えば、コンテンツ表示装置１においてコンテンツ表示プログラムが起動されたことを契機として開始される。以下において表示制御手段１３等の機能構成要素を処理の主体として記載するが、これはコンテンツ表示プログラム等のソフトウェアを実行するＣＰＵ１０１等のハードウェアが処理を行うことを意味する。
2. Overview of Operation FIG. 3 is a sequence chart illustrating an operation according to an embodiment of the
外部のシステムから情報を受信する（ステップＳ１１）と、受信手段１４は、受信した情報を統合手段１６に供給する（ステップＳ１２）。外部のシステムから供給される情報は、その情報の送信元のシステムの識別情報およびシステムから出力される情報本体を含む。情報本体は、楽器同定システム３においては楽器情報であり、楽曲同定システム４においては楽曲情報であり、演奏追従システム５においては位置情報である。なお、外部システムは、それぞれ、独立したタイミングで情報を出力する。例えば、いずれの外部システムも、それぞれ独自の間隔で、定期的に繰り返し情報を出力する。
When information is received from an external system (step S11), the receiving
ステップＳ１１およびステップＳ１２の処理と並行して、操作手段１５は、ユーザの操作を受け付ける（ステップＳ１３）。ユーザの操作を受け付けると、操作手段１５は、受け付けた操作を示す操作情報を統合手段１６に供給する（ステップＳ１４）。
In parallel with the processing of step S11 and step S12, the operation means 15 accepts a user operation (step S13). When receiving the user operation, the
ステップＳ１５において、統合手段１６は受信手段１４から入力された情報および操作手段１５から入力された情報を統合する。以下、受信手段１４から入力される情報と操作手段１５から入力される情報とを統合する処理を統合処理という。受信手段１４から入力される情報および操作手段１５から入力される情報は、いずれも、コンテンツの表示を更新するためのコマンド（命令）であると理解することができ、その意味で、統合手段１４は、コンテンツの表示を更新するためのコマンドを統合するものであると言える。また、情報の統合とは、複数系統のうち一の系統から新たな情報が入力されたとき、他の系統から既に入力された情報を考慮して、その新たな情報をそのまま後段に出力するか、少なくとも一部を改変して後段に出力するか、または無視する（その情報を後段に出力しない）か選択する処理であると言える。統合処理は予め決められたアルゴリズムに従って行われる。統合手段１６は、統合処理により得られた情報を出力する（ステップＳ１６）。
In step S <b> 15, the
統合処理は、所定のイベントによりトリガされる。統合処理をトリガするイベントは、例えば、いずれかの系統から新たな情報が入力されたというイベントである。別の例で、統合処理をトリガするイベントは、統合処理が前回行われてから所定の時間が経過したというイベントであってもよい。さらに別の例で、統合処理をトリガするイベントは、統合処理されていない情報の量がしきい値に達したというイベントであってもよい。 The integration process is triggered by a predetermined event. The event that triggers the integration process is, for example, an event that new information is input from any of the systems. In another example, the event that triggers the integration process may be an event that a predetermined time has elapsed since the integration process was last performed. In yet another example, the event that triggers the integration process may be an event that the amount of information that has not been integrated has reached a threshold value.
統合手段１６から情報が入力されると、表示制御手段１３は、入力された情報に従って表示手段１２に表示されるコンテンツを更新する（ステップＳ１７）。コンテンツの表示の更新とは、表示手段１２に表示される画像が更新されることをいい、具体的には、例えば、コンテンツが複数ページに区分されている場合において、表示の対象となるページをあるページから別のページに変更することをいう。
When information is input from the
外部のシステムからの情報の入力および操作手段１５における操作の受け付けは、時々刻々と行われる。ステップＳ１５からＳ１７の処理は、統合処理をトリガするイベントに応じた頻度で繰り返し実行される。 Input of information from an external system and reception of operation in the operation means 15 are performed every moment. Steps S15 to S17 are repeatedly executed at a frequency corresponding to an event that triggers the integration process.
３．動作例
３−１．動作例１：電子楽譜の表示更新
図４は、コンテンツ表示装置１の画面を例示する図である。この例で、コンテンツは電子楽譜であり、ある楽器の演奏者が、コンテンツ表示装置１のユーザである。電子楽譜のデータは、複数の楽器のパート譜から構成される総譜（スコア）のデータを含む。コンテンツ表示装置１は、これら複数の楽器のうち入力される楽器情報により特定される一の楽器のパート譜を表示する。すなわち、コンテンツ表示装置１は、演奏者が演奏している楽器のパート譜を表示する。演奏者は、コンテンツ表示装置１に表示されるパート譜を見ながら楽器を演奏する。
3. Example of operation 3-1. Operation Example 1: Display Update of Electronic Musical Score FIG. 4 is a diagram illustrating a screen of the
コンテンツ表示装置１に表示される画面は、楽譜表示領域９１および操作領域９２を含む。楽譜表示領域９１は、楽譜（この例ではパート譜）を表示するための領域である。この例で、楽譜は五線譜の形式で表示される。楽譜表示領域９１のサイズは限られているので、所定の表示単位がｍ個表示される（ｍは正の自然数。図の例ではｍ＝４）。表示単位は、表示を更新する際の最小単位であり、この例ではパート譜１行分である。１行にはｎ個の小節（ｎは正の自然数。図の例ではｎ＝３）が含まれる。すなわち楽譜表示領域９１には、パート譜がｎ×ｍ小節分、表示される。ｎおよびｍの値は、楽譜表示領域９１のサイズおよび表示倍率等の要素により決定される。例えば、演奏中に表示倍率が変更されると、楽譜表示領域におけるｎおよびｍの値は、表示倍率の変更に伴って動的に変化する。
The screen displayed on the
楽譜のうち表示される部分は、楽譜内の基準位置に基づいて決められる。具体的には、基準位置が楽譜表示領域９１内の特定の領域に位置するように表示される部分が決められる。基準位置は、例えば、位置情報または操作情報により指定される位置である。特定の領域は、例えば、第１行に相当する領域である。すなわち、演奏者により今まさに演奏されている小節９１１を含む行が第１行に表示される。なお、楽譜表示領域９１において、今まさに演奏されている小節９１１の表示上の外観を他の小節と異ならせてもよい。外観の異ならせ方は、例えば、背景色を異ならせる、点滅させる、および楽譜の表示色を異ならせる、のうち少なくとも１つの手法による。
The portion to be displayed of the score is determined based on the reference position in the score. Specifically, the portion to be displayed is determined so that the reference position is located in a specific area in the
操作領域９２は、ユーザの操作を受け付ける操作子の画像オブジェクトを表示するための領域である。この例では、操作領域９２には、画像オブジェクト９２１〜９２３が表示される。画像オブジェクト９２１は、基準位置を１表示単位戻す指示を受け付けるための画像オブジェクトである。画像オブジェクト９２２は、基準位置を１表示単位進める指示を受け付けるための画像オブジェクトである。画像オブジェクト９２３は、基準位置をｋ単位（ｋは２以上の自然数）進める指示を受け付けるための画像オブジェクトである。
The
楽譜表示領域９１には、演奏者が現在演奏している小節を含むパート譜が表示される。例えば、演奏者が、現在演奏している部分よりもパート譜を先読みしたいと考えたときに、演奏者は、画像オブジェクト９２２または９２３に相当する位置をタッチして、現在演奏している位置よりも先の位置を含むパート譜を表示するよう指示をする。
In the
図５は、統合処理および表示制御の、より具体的な動作例を示すフローチャートである。以下、図４の画面例を参照しつつ、統合処理および表示制御の動作例を説明する。なお、この例で、統合処理をトリガするイベントは、新たな情報が入力されたというイベントである。 FIG. 5 is a flowchart illustrating a more specific operation example of the integration process and the display control. Hereinafter, an operation example of integration processing and display control will be described with reference to the screen example of FIG. In this example, the event that triggers the integration process is an event that new information has been input.
ステップＳ１５１において、統合手段１６は、入力された情報が、楽器情報、楽曲情報、位置情報、および操作情報のいずれであるか判断する。入力された情報が楽器情報であると判断された場合（Ｓ１５１：Ａ）、統合手段１６は処理をステップＳ１５２に移行する。入力された情報が楽曲情報であると判断された場合（Ｓ１５１：Ｂ）、統合手段１６は処理をステップＳ１５４に移行する。入力された情報が位置情報であると判断された場合（Ｓ１５１：Ｃ）、統合手段１６は処理をステップＳ１５６に移行する。入力された情報が操作情報であると判断された場合（Ｓ１５１：Ｄ）、統合手段１６は処理をステップＳ１５８に移行する。
In step S151, the
ステップＳ１５２において、統合手段１６は、入力された楽器情報が、前回入力された楽器情報（例えば３０秒間隔で繰り返し楽器情報が入力される場合において、３０秒前に入力された楽器情報）と同じ楽器を示しているか判断する。統合手段１６は、この比較のため、少なくとも過去１回分の楽器情報を記憶する。両者が同じ楽器を示していると判断された場合（Ｓ１５２：ＹＥＳ）、統合手段１６は、処理をステップＳ１５１に移行する。両者が異なる楽器を示していると判断された場合（Ｓ１５２：ＮＯ）、統合手段１６は、処理をステップＳ１５３に移行する。
In step S152, the integration means 16 inputs the instrument information that is the same as the instrument information previously input (for example, the instrument information input 30 seconds before when the instrument information is repeatedly input at intervals of 30 seconds). Determine if you are showing an instrument. The integration means 16 stores at least the past instrument information for this comparison. When it is determined that both indicate the same musical instrument (S152: YES), the
ステップＳ１５３において、統合手段１６は、入力された楽器情報を表示制御手段１３に出力する。楽器情報が入力されると、表示制御手段１３は、記憶手段１１に記憶されているコンテンツデータベースに含まれる楽譜の中から、現在表示しているパート譜を含む総譜のうち、入力された楽器情報により指定されるパート譜を読み出す（ステップＳ１７１）。表示制御手段１３は、読み出したパート譜を表示する（ステップＳ１７２）。楽器情報により示される楽器が前回と今回で異なっているということは、演奏されている楽器が変更されたということである。例えば、当初、演奏者がトランペットを演奏していたところ、楽器を持ち替えてソプラノサックスの演奏を開始したという状況である。なおこのとき、表示制御手段１３は、ソプラノサックスのパート譜のうち、それまで演奏されていたトランペットの演奏における位置情報（小節番号）で指定される位置の楽譜を表示してもよい。
In step S153, the
ステップＳ１５４において、統合手段１６は、入力された楽曲情報が、前回入力された楽曲情報（例えば１０秒間隔で繰り返し楽器情報が入力される場合において、１０秒前に入力された楽器情報）と同じ楽曲を示しているか判断する。統合手段１６は、この比較のため、少なくとも過去１回分の楽曲情報を記憶する。両者が同じ楽曲を示していると判断された場合（Ｓ１５４：ＹＥＳ）、統合手段１６は、処理をステップＳ１５１に移行する。両者が異なる楽器を示していると判断された場合（Ｓ１５４：ＮＯ）、統合手段１６は、処理をステップＳ１５５に移行する。
In step S154, the
ステップＳ１５５において、統合手段１６は、入力された楽曲情報を表示制御手段１３に出力する。楽曲情報が入力されると、表示制御手段１３は、記憶手段１１に記憶されているコンテンツデータベースに含まれる楽譜の中から、入力された楽曲情報により指定される楽曲の楽譜を読み出す（ステップＳ１７３）。表示制御手段１３は、読み出した楽譜を表示する（ステップＳ１７４）。楽曲情報により示される楽曲が前回と今回で異なっているということは、演奏されている楽曲が変更されたということである。例えば、当初、演奏者がＸという楽曲を演奏していたところ、曲を変更してＹという楽曲の演奏を開始したという状況である。なおこのとき、表示制御手段１３は、読み出された楽譜に含まれるパート譜のうち、それまで表示されていた別の楽曲のパート譜と同じ楽器のパート譜を表示してもよい。
In step S <b> 155, the
ステップＳ１５６において、統合手段１６は、入力された位置情報により示される楽曲内の位置が、直近に行われた操作を示す操作情報により示される楽曲内の位置よりも後であるか判断する。統合手段１６は、この比較のため、操作情報により示される楽曲内の位置のうち少なくとも最新のものを記憶する。位置情報により示される楽曲内の位置が操作情報により示される楽曲内の位置よりも後であると判断された場合（Ｓ１５６：ＹＥＳ）、統合手段１６は、処理をステップＳ１５７に移行する。
In step S156, the
ステップＳ１５７において、統合手段１６は、入力された位置情報を表示制御手段１３に出力する。位置情報が入力されると、表示制御手段１３は、その時点で表示の対象となっているパート譜のうち、位置情報で指定される小節が基準位置となるようにパート譜の表示を更新する（ステップＳ１７５）。
In step S157, the
ステップＳ１５６において、位置情報により示される楽曲内の位置が操作情報により示される楽曲内の位置よりも前であると判断された場合（Ｓ１５６：ＮＯ）、統合手段１６は、処理をステップＳ１５１に移行する。これはすなわち、後から入力された位置情報により示される楽曲内の位置が、位置情報の入力以前の直近の操作情報により示される楽曲内の位置よりも前である場合には、位置情報による位置の指定を無視することに相当する。操作情報は演奏者の意図的な基準位置の変更を反映しているので、例えばユーザがパート譜の先読みのため基準位置として第１００小節を操作により指定した場合において、実際の演奏位置が第８０小節であったときに、表示の基準位置を位置情報に応じて第８０小節に変更してしまうとユーザの意図に反した表示更新が行われる場合がある。この例では、このような表示更新が起こる可能性を低減するため、位置情報の入力以前の直近の操作情報により示される楽曲内の位置よりも前である場合には、位置情報による位置の指定を無視する。
If it is determined in step S156 that the position in the music indicated by the position information is before the position in the music indicated by the operation information (S156: NO), the
ステップＳ１５８において、統合手段１６は、入力された操作情報を表示制御手段１３に出力する。この例で、操作情報は、基準位置の変化を指定する情報を含む。例えば、画像オブジェクト９２２に相当する位置がタッチされた場合、操作情報は、基準位置を１加算することを示す。あるいは、画像オブジェクト９２３に相当する位置がタッチされた場合、操作情報は、基準位置をｋ加算することを示す。操作情報が入力されると、表示制御手段１３は、その時点で表示されているパート譜を、基準位置が操作情報で指定されるものとなるように表示を更新する（ステップＳ１７５）。
In step S158, the
この例によれば、コンテンツ表示装置１は、複数のシステム（楽器同定システム３、楽曲同定システム４、演奏追従システム５、および操作手段１５）から入力された情報を統合し、統合された情報を用いてコンテンツの表示を更新する。コンテンツ表示システム１０に情報を入力するシステムは外部システム（楽器同定システム３、楽曲同定システム４、および演奏追従システム５）を含んでいるため、これらを全て単一の装置に実装する場合と比較して、機能追加または機能変更等のシステムの改変が容易である。
According to this example, the
３−２．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
3-2. Modifications The present invention is not limited to the above-described embodiments, and various modifications can be made. Hereinafter, some modifications will be described. Two or more of the following modifications may be used in combination.
操作情報の入力方法は実施形態で例示したものに限定されない。例えば、演奏者が演奏する楽器に操作情報入力用の操作子（例えば、ペダル、フットスイッチ、レバー、ダイヤル、またはボタン）を設け、この操作子に対して行われた操作に応じて、操作情報を示す信号を楽器が出力してもよい。この場合、コンテンツ表示システム１０は、受信手段１４を介してこの信号を受信する。別の例で、楽器およびコンテンツ表示装置１とは別個の装置にこの操作子を設けてもよい。
The method for inputting operation information is not limited to that exemplified in the embodiment. For example, an operator for inputting operation information (for example, a pedal, a foot switch, a lever, a dial, or a button) is provided on the musical instrument played by the performer, and the operation information according to the operation performed on the operator. The instrument may output a signal indicating In this case, the
あるいは、コンテンツ表示装置１は、マイクロフォンを介した音声入力により操作情報を受け付けてもよい。例えば、演奏者が「進む」と発声すると、操作手段１５は、この音声入力を、基準位置を１表示単位加算する操作として認識する。あるいは、演奏者が「１２１小節」と発声すると、操作手段１５は、この音声入力を、第１２１小節を基準位置とする操作として認識する。
Alternatively, the
以上で説明した入力方法が全て併用されてもよい。例えば、コンテンツ表示装置１は、以下の情報の入力を受け付けることができる。
（１）楽器同定システム３からの楽器情報。
（２）楽曲同定システム４からの楽曲情報。
（３）演奏追従システム５からの位置情報。
（４）コンテンツ表示装置１のタッチスクリーン上の位置の指定による操作情報。
（５）コンテンツ表示装置１のマイクロフォンを介した音声入力による操作情報。
（６）楽器に設けられた操作子から入力された操作情報。
統合手段１６は、例えば上記（１）〜（６）の情報に対してそれぞれ優先度を設定し、２つの情報による表示更新が競合した場合には、２つの情報に設定された優先度に基づいて２つの情報のいずれを採用するか決定する。２つの情報による表示更新が競合する場合とは、これら２つの情報が同じパラメータ（例えば基準位置）を異なる値に変更させるためのものである場合をいう。一例としては、人間の直接的な操作により指定される情報（上記（４）〜（６））の優先度は相対的に高く、システムにより自動的に指定される情報（上記（１）〜（３））の優先度は相対的に低く設定される。
All the input methods described above may be used in combination. For example, the
(1) Musical instrument information from the musical
(2) Music information from the music identification system 4.
(3) Position information from the
(4) Operation information by designating a position on the touch screen of the
(5) Operation information by voice input via the microphone of the
(6) Operation information input from an operator provided on the musical instrument.
For example, the
楽譜を表示する具体的な方法は実施形態で例示したものに限定されない。パート譜は例えばページに割り付けられ、この割り付けは固定されていてもよい。表示単位はページである。この場合、楽譜表示領域９１に表示されるのは、パート譜のうち基準位置を含む１または複数のページである。なお、パート譜のデータには、位置情報と表示単位とを対応付ける情報（例えば、第１ページは第１〜第２０小節の楽譜を含む等）が含まれる。表示制御手段１３は、この情報を参照して表示を更新する。例えば、演奏追従システム５から入力される位置情報が第１〜第２０小節を示している間、楽譜の表示は更新されず、第２１小節を示す位置情報が入力されると、表示制御手段１３は、表示手段１２に表示される画像を第２ページの画像に更新する。
The specific method for displaying the score is not limited to that exemplified in the embodiment. The part score is assigned to a page, for example, and this assignment may be fixed. The display unit is a page. In this case, what is displayed in the
上述の実施形態においては、コンテンツ表示装置１のユーザが演奏者である例を説明したが、コンテンツ表示装置１のユーザと演奏者とは同一人物でなくてもよい。例えば、演奏者とは異なるユーザがコンテンツ表示装置１を使用してもよい。この場合において、演奏者はコンピュータまたはロボットでもよい。つまり、楽器同定システム３、楽曲同定システム４、および演奏追従システム５への入力は自動演奏による演奏音であってもよい。
In the above-described embodiment, the example in which the user of the
上述の実施形態においては演奏音を集音したマイクロフォンから出力される音信号が楽器同定システム３、楽曲同定システム４、および演奏追従システム５に入力される例を説明したが、音信号に代えて、電子楽器から出力される演奏データ（例えば、ＭＩＤＩ（Musical Instrument Digital Interface）データ等の演奏シーケンスを示すデータ）が楽器同定システム３、楽曲同定システム４、および演奏追従システム５に入力されてもよい。
In the above-described embodiment, the example in which the sound signal output from the microphone that collects the performance sound is input to the musical
操作手段１５が受け付ける操作は、基準位置を変更する指示を入力するためのものに限定されない。例えば、楽譜の表示倍率の変更など、基準位置の変更を伴わないものであってもよい。 The operation accepted by the operation means 15 is not limited to the one for inputting an instruction to change the reference position. For example, the reference position may not be changed, such as changing the display magnification of a score.
コンテンツ表示システム１０の構成は実施形態で例示したものに限定されない。例えば、楽器同定システム３、楽曲同定システム４、および演奏追従システム５の少なくとも一部は省略されてもよい。
The configuration of the
４．他の実施形態
４−１．コンテンツ再生システム
図６は、一実施形態に係るコンテンツ再生システム６０の機能構成を例示する図である。コンテンツ再生システム６０は、システムの外部から入力されるトリガと同期してコンテンツの再生を進行させるシステムである。なお、コンテンツ再生システム６０は、コンテンツ表示システム１０を一般化したシステムである。コンテンツ再生システム６０とコンテンツ表示システム１０との関係については後述する。
4). Other Embodiments 4-1. Content Playback System FIG. 6 is a diagram illustrating a functional configuration of a
コンテンツ再生システム６０は、コンテンツ再生装置６、第１システム７、および第２システム８を有する。コンテンツ再生装置６は、コンテンツを再生する装置である。コンテンツ表示システム１０におけるコンテンツ表示装置１は、コンテンツ再生装置６の一例である。コンテンツ表示システム１０は、コンテンツ再生の一例としてコンテンツの表示に特化したものである。第１システム７は、外部から入力される第１トリガに応じて情報を出力する装置であり、コンテンツ再生装置６の外部システムである。コンテンツ表示システム１０における楽器同定システム３、楽曲同定システム４、および演奏追従システム５は、それぞれ、第１システム７の一例である。第２システム８は、第１トリガとは異なる第２トリガに応じて情報を出力する装置である。第２システム８は、コンテンツ再生装置６の内部システムであってもよいし、外部システムであってもよい。図６では内部および外部の双方に図示している。コンテンツ表示システム１０における操作手段１５は、第２システム８の一例である（この例では内部システムである）。
The
コンテンツ再生装置６は、記憶手段６１、再生手段６２、再生制御手段６３、受信手段６４、および統合手段６６を有する。記憶手段６１は、コンテンツデータベース６１１を記憶する。コンテンツデータベース６１１は、１以上のコンテンツが記録されたデータベースである。ここで、コンテンツとは、出力される映像または音声の少なくとも一部が時間の経過に伴って変化するデータをいい、例えば、楽譜、電子書籍、映像、または音声のデータをいう。再生手段６２は、コンテンツを再生する。再生制御手段６３は、再生手段におけるコンテンツの再生を制御する。受信手段６４は、第１システム７から情報を受信する。統合手段６６は、第１システム７および第２システム８から入力される情報を統合する。統合手段６６は、これらを統合した情報を出力する。再生制御手段６３は、統合手段６６から出力される情報に応じて再生手段６２におけるコンテンツの再生を進行させる。
The
より具体的には、コンテンツにおいてはその再生シーケンスが定義されており、再生制御手段６３は、その再生シーケンスに従ってコンテンツの再生を制御する。再生シーケンスが定義されているとは、コンテンツのデータが複数に細分化されており、あるトリガが入力されると細分化されたデータの特定の一部が再生されるようにデータが構造化されていることをいう。 More specifically, the playback sequence is defined for the content, and the playback control means 63 controls the playback of the content according to the playback sequence. When a playback sequence is defined, the content data is subdivided into multiple pieces, and the data is structured so that a specific part of the subdivided data is played when a certain trigger is input. It means that
コンテンツ再生装置６は、例えば、コンテンツ表示装置１と同様のハードウェア構成を有する。ストレージ１０３はコンピュータ装置をコンテンツ再生装置６として機能させるためのプログラム（以下「コンテンツ再生プログラム」という）を記憶している。ＣＰＵ１０１がコンテンツ再生プログラムを実行することにより、図６に示される機能が実装される。
The
図７は、コンテンツ再生装置６の一実施形態に係る動作を例示するシーケンスチャートである。図６のフローは、例えば、コンテンツ再生装置６においてコンテンツ再生プログラムが起動されたことを契機として開始される。以下において再生制御手段６３等の機能構成要素を処理の主体として記載するが、これはコンテンツ再生プログラム等のソフトウェアを実行するＣＰＵ１０１等のハードウェアが処理を行うことを意味する。
FIG. 7 is a sequence chart illustrating an operation according to an embodiment of the
第１システム７は、第１トリガに関する情報を出力する（ステップＳ６１）。第１システム７から情報を受信すると、受信手段６４は、受信した情報を統合手段６６に供給する（ステップＳ６２）。第１システム７から供給される情報は、例えば、その情報の送信元のシステムの識別情報およびシステムから出力される情報本体を含む。なお、第１システム７が単一の機能しか有さない場合（単一の種類の情報しか出力しない場合）、第１システム７は、送信元のシステムの識別情報を含まなくてもよい。
The
ステップＳ６１およびステップＳ６２の処理と並行して、第２システム８は、第２トリガに関する情報を出力する（ステップＳ６４）。第２システム８がコンテンツ再生装置６の外部システムである場合、この情報は受信手段６４を介して入力される。受信手段６４は、受信した情報を統合手段６６に供給する。第２システム８がコンテンツ再生装置６の内部システムである場合、この情報は受信手段６４を介さず直接統合手段６６に供給される。
In parallel with the processing of step S61 and step S62, the
ステップＳ６５において、統合手段６６は第１システム７から入力された情報および第２システム８から入力された情報を統合する。統合手段６６は、統合処理により得られた情報を出力する（ステップＳ６６）。統合処理は、所定のイベントによりトリガされる。
In step S65, the
統合手段１６から情報が入力されると、再生制御手段６３は、入力された情報に従って再生手段６２におけるコンテンツの再生を進行させる（ステップＳ６７）。コンテンツの再生の進行とは、時間の経過に伴って映像および音声少なくとも一方の出力が変化するデータにおいて、時間軸を進行させることをいう。統合処理をトリガするイベントは、例えば、いずれかの系統から新たな情報が入力されたというイベントである。ステップＳ６５からＳ６７の処理は、統合処理をトリガするイベントに応じた頻度で繰り返し実行される。以下、コンテンツ再生システム６０の動作例をいくつか説明する。
When information is input from the
４−２．動作例２：電子書籍の再生
この例で、コンテンツは絵本の電子書籍であり、コンテンツの再生は絵本のページを表示することをいう。第１トリガはユーザが絵本を朗読する音声（以下「朗読音声」という）であり、第１システム７は、入力される朗読音声を解析して絵本内のどの位置が朗読されているか特定する。第１システム７は、絵本内の位置を示す情報を出力する。第２トリガは絵本のページをめくるための操作である。第２システム８は、この操作を検知すると、ページめくりを指定する情報を出力する。統合手段６６は、朗読音声から得られた位置を示す情報と、ページめくり操作から得られた情報とを統合する。例えば、統合手段６６は、ページめくり操作から得られた情報を、朗読音声から得られた位置を示す情報よりも優先して統合する。より詳細には、例えば第２ページを朗読している最中にページめくり操作が行われたときは、朗読されているのが第２ページであったとしても、コンテンツ再生装置６においては第３ページが表示される。
4-2. Operation Example 2: Playing an Electronic Book In this example, the content is an electronic book of a picture book, and the playback of the content means displaying a page of the picture book. The first trigger is voice that the user reads the picture book (hereinafter referred to as “reading voice”), and the
この例によれば、電子書籍を表示するシステムにおいて、朗読音声によるページめくりと操作入力によるページめくりとを統合することができる。 According to this example, in the system for displaying an electronic book, page turning by reading voice and page turning by operation input can be integrated.
４−３．動作例３：アニメーションの再生
この例で、コンテンツはスプライトアニメーションであり、コンテンツの再生はアニメーションの画像オブジェクトが画面内で移動することをいう。第１トリガはユーザの話し声であり、第１システム７は、入力される音声に応じて、画面内の位置を示す情報を出力する。第２トリガは画像オブジェクトの動きを指定するための操作である。第２システム８は、この操作を検知すると、画像オブジェクトの動きを指定する情報を出力する。統合手段６６は、ユーザの音声から得られた位置を示す情報と、ユーザの操作から得られた情報とを統合する。例えば、統合手段６６は、ユーザの操作から得られた情報を、ユーザの音声から得られた情報よりも優先して統合する。より詳細には、第１システム７は、ユーザの音声のピッチまたはトーンに応じた軌跡で画像オブジェクトを移動させるための情報を生成する。これに対し第２システム８は、例えばユーザがタッチスクリーンにおいて左から右にフリック入力をしたときには、画像オブジェクトを画面の左から右に高速で移動させる。この高速移動が完了するまでの間は、統合手段６６は、ユーザの音声によらずに、画像オブジェクトを画面の左から右に移動させる。
4-3. Operation Example 3: Reproduction of Animation In this example, the content is a sprite animation, and the reproduction of the content means that the animation image object moves within the screen. The first trigger is a user's speaking voice, and the
この例によれば、アニメーションの画像オブジェクトを表示するシステムにおいて、ユーザの音声による画像オブジェクトの移動と、操作入力による画像オブジェクトの移動とを統合することができる。 According to this example, in a system that displays an animated image object, the movement of the image object by the user's voice and the movement of the image object by the operation input can be integrated.
４−４．動作例４：手書きストロークの表示
この例で、コンテンツはページに割り付けられたプレゼンテーションであり、コンテンツの再生はプレゼンテーションのページを進めることをいう。第１トリガはユーザのペン入力である。第１システム７は表示装置およびタッチデバイス（例えばタッチスクリーン）を有し、コンテンツ再生装置６において表示されるものと同じコンテンツが表示される。第１システム７は、ユーザがタッチデバイス上でペンを移動させると、ペンの軌跡に応じた画像オブジェクトを生成する。すなわち、第１システム７のユーザは、コンテンツ上に手書きの書き込みをすることができる。なおこの場合、第１システム７のユーザは、第２システム８のユーザとは別のユーザである。ここでは、第１システム７のユーザを第１ユーザといい、第２システム８のユーザを第２ユーザという。例えば第２ユーザはプレゼンテーションの話者であり、第１ユーザはプレゼンテーションの聴衆である。第１システム７は、例えば、タッチデバイス上で一定期間入力が無い場合、プレゼンテーションのページを進めるための情報を出力する。第２トリガは、プレゼンテーションのページを進めるための操作である。第２システム８は、この操作を検知すると、プレゼンテーションのページを進めるための情報を出力する。統合手段６６は、第１ユーザのペン入力から得られた情報と、第２ユーザの操作から得られた情報を統合する。例えば、統合手段６６は、第２ユーザの操作から得られた情報を、第１ユーザのペン入力から得られた情報よりも優先して統合する。より詳細には、統合手段６６は、第１ユーザのペン入力が行われている間であっても、第２ユーザによりページを進める操作が入力されたときには、プレゼンテーションのページを強制的に進める。
4-4. Operation Example 4: Display of Handwritten Stroke In this example, the content is a presentation assigned to a page, and the reproduction of the content means that the page of the presentation is advanced. The first trigger is a user's pen input. The
この例によれば、プレゼンテーションを表示するシステムにおいて、ユーザのペン入力によるページめくりの停止と、操作入力によるページめくり進行とを統合することができる。 According to this example, in the system for displaying the presentation, it is possible to integrate the page turning stop by the user's pen input and the page turning progress by the operation input.
４−５．動作例５：録音音声の再生
この例で、コンテンツはあらかじめ録音された歌唱音声であり、コンテンツの再生は歌唱音声を再生（出力）することをいう。第１トリガは楽器の演奏音から得られる情報である。第１システム７は上述の演奏追従システム５と同様のシステムであり、入力された演奏音から楽曲内の位置を示す情報を出力する。第２トリガは歌唱音声を所定の楽曲内位置まで早送りまたは巻き戻しするための操作である。第２システム８は、この操作を検知すると、録音音声の再生を所定の楽曲内位置まで移動させるための情報を出力する。統合手段６６は、演奏音から得られた楽曲内の位置を示す情報と、ユーザの操作により指定される楽曲内の位置を示す情報とを統合する。例えば、統合手段６６は、ユーザの操作から得られた情報を、演奏音から得られた位置情報よりも優先して統合する。より詳細には、頭統合手段６６は、楽器の演奏と同期して歌唱音声を出力するが、ユーザにより所定の楽曲内位置まで再生位置を進める操作が入力されたときには、再生位置を強制的に移動する。
4-5. Operation Example 5: Reproduction of Recorded Voice In this example, the content is a pre-recorded singing voice, and the reproduction of the content means playing (outputting) the singing voice. The first trigger is information obtained from the performance sound of the musical instrument. The
この例によれば、録音音声を再生するシステムにおいて、演奏音との同期と、操作入力による楽曲内位置の指定とを統合することができる。 According to this example, in the system for reproducing the recorded sound, the synchronization with the performance sound and the designation of the position in the music by the operation input can be integrated.
５．変形例
動作例１〜５はあくまで例示であり、本発明はこれらに限定されない。コンテンツ、第１トリガ、および第２トリガ、並びにこれらの組み合わせはどのようなものであってもよい。例えば、コンテンツが楽譜であり、第１トリガがペン入力であり、第２トリガが演奏音であってもよい。
5. Modifications The operation examples 1 to 5 are merely examples, and the present invention is not limited to these. The content, the first trigger, the second trigger, and combinations thereof may be any. For example, the content may be a score, the first trigger may be a pen input, and the second trigger may be a performance sound.
統合手段１６または統合手段６６における統合処理のアルゴリズムは、動作例で例示したものに限定されない。例えば、第１トリガおよび第２トリガが、いずれも共通のパラメータの値を増減させるものである場合において、第１トリガおよび第２トリガに関する情報を取捨選択する処理に代わり、第１トリガに関する情報により指定される値および第２トリガに関する情報により指定される値の平均値を計算する等の演算処理が行われてもよい。この場合、統合手段１６または統合手段６６は、この演算処理により得られた情報を出力する。
The algorithm of the integration process in the
コンテンツ表示システム１０およびコンテンツ再生システム６０のハードウェア構成は実施形態で例示したものに限定されない。例えば、コンテンツ表示装置１は、汎用のコンピュータ装置ではなく電子楽器等の特定用途のコンピュータ装置に実装されてもよい。また、コンテンツ表示システム１０およびコンテンツ再生システム６０の機能とハードウェアとの対応関係は実施形態で例示したものに限定されない。例えば、コンテンツ表示装置１またはコンテンツ再生装置６の機能の一部は、ネットワーク上のサーバ装置に実装されてもよい。
The hardware configurations of the
コンテンツ表示プログラムまたはコンテンツ再生プログラムは、光ディスク、磁気ディスク、半導体メモリなどの記憶媒体により提供されてもよいし、インターネット等の通信回線を介してダウンロードされてもよい。 The content display program or the content reproduction program may be provided by a storage medium such as an optical disk, a magnetic disk, or a semiconductor memory, or may be downloaded via a communication line such as the Internet.
１…コンテンツ表示システム、２…コンテンツデータベース、３…楽器同定システム、４…楽曲同定システム、５…演奏追従システム、６…コンテンツ再生装置、７…第１システム、８…第２システム、１０…コンテンツ表示システム、１１…記憶手段、１２…表示手段、１３…表示制御手段、１４…受信手段、１５…操作手段、１６…統合手段、６０…コンテンツ再生システム、６１…記憶手段、６２…再生手段、６３…再生制御手段、６４…受信手段、６６…統合手段、９１…楽譜表示領域、９２…操作領域、１０１…ＣＰＵ、１０２…メモリ、１０３…ストレージ、１０４…入出力ＩＦ、１０５…ディスプレイ、１０６…入力装置、９１１…小節、９２１…画像オブジェクト、９２２…画像オブジェクト、９２３…画像オブジェクト
DESCRIPTION OF
Claims (4)
外部の第１システムから前記コンテンツ上の位置を指定する第１情報を受信するステップと、
前記第１システムと異なる第２システムから前記コンテンツ上の位置を指定する第２情報の入力を受け付けるステップと、
前記第１情報および前記第２情報を統合するステップと、
前記統合された情報を用いて前記コンテンツの表示を更新するステップと
を有するコンテンツ表示方法。 Obtaining content data comprising one or more pages;
Receiving first information specifying a position on the content from an external first system;
Receiving an input of second information specifying a position on the content from a second system different from the first system;
Integrating the first information and the second information;
Updating the display of the content using the integrated information.
前記統合するステップにおいて、前記第１情報、前記第２情報、および前記第３情報が統合される
請求項１に記載のコンテンツ表示方法。 Receiving third information related to the content from an external third system having a function different from that of the first system;
The content display method according to claim 1, wherein in the integrating step, the first information, the second information, and the third information are integrated.
請求項２に記載のコンテンツ表示方法。 The content display method according to claim 2, wherein the third information is information for specifying one content from among a plurality of contents.
請求項２に記載のコンテンツ表示方法。 The content display method according to claim 2, wherein the third information is information for specifying one musical instrument from among a plurality of musical instruments.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016217061A JP2018077557A (en) | 2016-11-07 | 2016-11-07 | Contents display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016217061A JP2018077557A (en) | 2016-11-07 | 2016-11-07 | Contents display method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018077557A true JP2018077557A (en) | 2018-05-17 |
Family
ID=62150681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016217061A Pending JP2018077557A (en) | 2016-11-07 | 2016-11-07 | Contents display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018077557A (en) |
-
2016
- 2016-11-07 JP JP2016217061A patent/JP2018077557A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11137826B2 (en) | Multi-track playback of media content during repetitive motion activities | |
| US11348561B2 (en) | Performance control method, performance control device, and program | |
| JP4356027B2 (en) | Information processing apparatus and method, and program | |
| EP2760014A1 (en) | Method for making audio file and terminal device | |
| US20150053067A1 (en) | Providing musical lyrics and musical sheet notes through digital eyewear | |
| US10799795B1 (en) | Real-time audio generation for electronic games based on personalized music preferences | |
| US10748515B2 (en) | Enhanced real-time audio generation via cloud-based virtualized orchestra | |
| US20180005618A1 (en) | Information processing method, terminal device and computer storage medium | |
| JP5549521B2 (en) | Speech synthesis apparatus and program | |
| JP6682953B2 (en) | Music score display control method, music score display control device, music score display control program | |
| US20210335331A1 (en) | Image control system and method for controlling image | |
| JP2015163982A (en) | Voice synthesizer and program | |
| CN112883223A (en) | Audio display method and device, electronic equipment and computer storage medium | |
| JP2013092912A (en) | Information processing device, information processing method, and program | |
| JP2018077557A (en) | Contents display method | |
| CN113821189A (en) | Audio playing method and device, terminal equipment and storage medium | |
| US9508329B2 (en) | Method for producing audio file and terminal device | |
| JP2015060207A (en) | Music data display device, music data presentation method, and program | |
| JP5935815B2 (en) | Speech synthesis apparatus and program | |
| JP6736934B2 (en) | Music player and program | |
| JP6149917B2 (en) | Speech synthesis apparatus and speech synthesis method | |
| JP2021018551A (en) | Information apparatus, automatic setting method, and automatic setting program | |
| JP4648707B2 (en) | Program, information storage medium, and game system | |
| US20230245636A1 (en) | Device, system and method for providing auxiliary information to displayed musical notations | |
| WO2024024105A1 (en) | Sound reproduction device, program, and reproduction control method |